코삼비-카르후넨-뢰브 정리

확률 과정의 이론적으로, Karhunen–Loève 정리(카리 Karhunen과 미셸 Loève의 이름을 딴), 또한으로 알려진 Kosambi–Karhunen–Loève theorem[1][2]은 표현의 확률 과정으로 무한 일차 결합의 직교 함수와 유사한 푸리에 시리즈 표현 기능에 한정적 interva.l.변환은 Hoteling 변환 및 고유 벡터 변환이라고도 하며, 이미지 처리 및 많은 ^[3]분야에서 데이터 분석에 널리 사용되는 PCA(주성분 분석) 기술과 밀접하게 관련되어 있습니다.

이 형태의 무한 급수에 의해 주어진 확률적 ^[4][5]과정은 Damodar Dharmananda Kosambi에 의해 처음 고려되었다.확률적 과정에는 그러한 많은 확장이 존재한다. 과정이 [a, b]에 걸쳐 색인화되면, L([a, b])의² 직교 정규 기저에 의해 그러한 형태로 확장이 발생한다.Karhunen-Loéve 정리의 중요성은 그것이 총 평균 제곱 오차를 최소화한다는 점에서 최고의 근거를 제공한다는 것이다.

계수가 고정수이고 확장기준이 사인파 함수(즉, 사인 및 코사인 함수)로 구성된 푸리에 급수와 달리 카르후넨-뢰브 정리의 계수는 랜덤 변수이며 확장기준은 프로세스에 따라 달라집니다.실제로 이 표현에 사용되는 직교 기저 함수는 공정의 공분산 함수에 의해 결정됩니다.Karhunen-Loéve 변환은 확장을 위한 최상의 기반을 만들기 위해 프로세스에 적응한다고 생각할 수 있습니다.

기술적 연속성 조건을 만족하는 중심 확률 과정 {X_t}(_{t ∈ [a, b]}전체 tθ [a, b]에 대해 중심 평균 E[X_t] = 0)의 경우, X는 분해를 인정한다.

${\displaystyle X_{t}=\sum _{k=1}^{\infty}Z_{k}e_{k}(t)}$

여기서_k Z는 쌍으로 상관되지 않은 랜덤 변수이고 함수_k e는 L([a, b])에서² 쌍으로 직교하는 [a, b]의 연속 실수값 함수입니다.따라서 랜덤계수_k Z는 확률공간에서 직교하는 반면 결정론적_k 함수 e는 시간영역에서 직교하기 때문에 확장이 쌍직교라고 말할 수 있다.중심화되지 않은 공정_t X의 일반적인 경우 중심화 공정인 X - E[X_t]를 고려하여_t 중심화 공정의 경우로 되돌릴 수 있습니다.

또한 프로세스가 가우스인 경우 랜덤_k 변수 Z는 가우스이며 확률적으로 독립적입니다.이 결과는 Karhunen-Loéve 변환을 일반화합니다.[0, 1]에 대한 중심 실확률 과정의 중요한 예는 비너 과정이다; 카르후넨-뢰브 정리는 그것에 대한 표준 직교 표현을 제공하기 위해 사용될 수 있다.이 경우 확장은 사인파 함수로 구성됩니다.

상기의 상관없는 랜덤 변수로의 확장은 카르후넨-로브 확장 또는 카르후넨-로브 분해라고도 한다.경험적 버전(예: 표본에서 계산된 계수를 사용하여), Karhunen-Loéve 변환(KLT), 주성분 분석, 적절한 직교 분해(POD), 경험적 직교 함수(기상학과 지구물리학에 사용되는 용어) 또는 Hoteling 변환으로 알려져 있다.

공식화

• 이 기사 전체에 걸쳐, 우리는 공분산_X 함수 K(s, t)와 함께 확률 공간(δ, F, P)에 걸쳐 정의되고 닫힌 간격[a, b]에 걸쳐 색인화된 제곱 적분 가능한 제로 평균 랜덤 프로세스_t X를 고려할 것이다.다음과 같은 것이 있습니다.

$\displaystyle \forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega,F,\mathbf {P}),}$

$\displaystyle \forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,}$

$\displaystyle \forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{t}]}$

• 다음과 같이 정의된 선형 연산자_KX T를 K에_X 관련짓습니다.

$디스플레이 스타일T_{K_{X}}}&:L^{2}([a,b])&\to L^{2}([a,b])\\&:f\mapsto T_{K_{X}f&=\int _{a}^{b}K_{X}(s,\cdot)f,ds\end{aligned}}}$

T는 선형 연산자이므로_KX, 두 번째 종류의 동종 프레드홀름 적분 방정식을 푸는 것으로 발견되는 고유값 θ와_k 고유함수_k e에 대해 말하는 것이 이치에 맞는다.

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s),ds=\lambda_{k}e_{k}(t)}$

정리서

정리.X를 확률 공간(δ, F, P)에 걸쳐 정의되고 연속 공분산 함수_X K(s, t)로 닫힌 경계 구간 [a, b]에 걸쳐 지수화된 0-평균 제곱 적분 확률 과정이라고 가정하자_t.

그러면_X K(s,t)는 Mercer 커널이고 e를 각각의 고유값 θ를_k 가진_KX T의 고유함수에 의해 형성된 L([a, b])에² 대한 직교 정규 기저로 놔두면_kt X는 다음과 같은 표현을 받아들인다.

${\displaystyle X_{t}=\sum _{k=1}^{\infty}Z_{k}e_{k}(t)}$

여기서 컨버전스는 L², 균일한 t 및

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t),dt}$

또한 랜덤 변수_k Z는 평균이 0이고 상관 관계가 없으며 분산이 있습니다_k. †

$\displaystyle \mathbf {E} [Z_{k}]= 0,~\forall k\in \mathbb {N} \qquad {mbox {and} \qquad \mathbf {E} [Z_{i}Z_{j} =\delta _{ij}\in\mathbbbbbb {j} \in\mathbbb\in,\in\mathbbbbbbb}$

Mercer의 정리를 일반화하면 간격 [a, b]를 다른 콤팩트 공간 C로 대체할 수 있으며, [a, b]의 르베게 측정치를 C를 지원하는 보렐 측정치로 대체할 수 있습니다.

증명

• 공분산 함수_X K는 Mercer 커널의 정의를 만족합니다.머서의 정리에 의해, 결과적으로 L([a,b])의² 직교 정규 기저를 형성하는 T의_KX 고유값과 고유함수의 집합 δ, e_k(t)가_k 존재하며_X, K는 다음과 같이 표현될 수 있다.

${\displaystyle K_{X}(s,t)=\sum _{k=1}^{\infty}\displayda _{k}e_{k}(s)e_{k}(t)}$

• 공정_t X는 고유 함수 e의_k 관점에서 다음과 같이 확장할 수 있습니다.

${\displaystyle X_{t}=\sum _{k=1}^{\infty}Z_{k}e_{k}(t)}$

여기서 계수(랜덤 변수) Z는_k 각 고유 함수에 대한 X의_t 투영에 의해 주어진다.

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t),dt}$

• 그 후 우리는 다음을 도출할 수 있다.

${\displaystyle {t}\mathbf {E} [Z_{k}&=\mathbf {E} \left[\int _ {a}^{b}(t), dt\right]=\int _ {a}^{b}\mathbf {E}{t}{t}{t}\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left [X_{t}X_{s}\right]e_{j}(t)e_{i}(s),ds\&=\int _{a}^{b}{B},X}_{x}_right]$

여기서_k 우리는 e가 T의_KX 고유함수이고 직교정규함수라는 사실을 사용했다.

• 이제 컨버전스가 L에 있음을² 나타냅니다.

${\displaystyle S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t)}$

그 후, 다음과 같이 입력합니다.

${\displaystyle {e}\mathbf {E} \left[\left X_{t}-S_{N}\right ^{2}\left]&=\mathbf {E} \left[X_{t}^2}\right]+\mathbf {E} \left[S_{N^{2}\mathbf}\2\right]\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}Z_{\ell}Z_{{k}(t)e_{\ell}(t)\right]\mathbf {E} \left[\sum_{k}\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _a}^{b}X_{t}{S}{n}\s}\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^2}\end{aligned}}$

머서의 정리에 의해 0이 된다.

카르후넨-러브 변환의 특성

특수 케이스:가우스 분포

공동 가우스 랜덤 변수의 평균 한계는 공동 가우스이며, 공동 가우스 랜덤(중심) 변수는 직교하는 경우에만 독립적이기 때문에 다음과 같은 결론을 내릴 수 있다.

정리.변수_i Z는 공동 가우스 분포를 가지며 원래 프로세스 {X_t}_t이(가) 가우스이면 확률적으로 독립적입니다.

가우스의 경우 변수_i Z는 독립적이기 때문에 더 많은 것을 말할 수 있습니다.

$\displaystyle \lim _{N\to\infty}\sum _{i=1}^{N}e_{i}(t)Z_{i}(\mega)=X_{t}(\mega)}$

거의 확실합니다.

Karhunen-Loéve 트랜스폼은 프로세스를 관련짓습니다.

이것은 Z의_k 독립성의 결과입니다.

Karhunen-Loéve 확장은 총 평균 제곱 오차를 최소화합니다.

도입부에서, 우리는 잘린 Karhunen-Love 확장이 잘린 결과로 인한 총 평균 제곱 오류를 감소시킨다는 점에서 원래의 공정의 최선의 근사치라고 언급했다.이러한 특성 때문에 KL 변환은 에너지를 최적으로 압축한다고 흔히 말합니다.

보다 구체적으로 L([a, b])의² 임의의 직교 정규 기저_k {f}에 대해 프로세스 X를_t 다음과 같이 분해할 수 있습니다.

${\displaystyle X_{t}(\mega)=\sum _{k=1}^{\infty}A_{k}(\mega)f_{k}(t)}$

어디에

${\displaystyle A_{k}(\displaystyle)=\int _{a}^{b}X_{t}(\displaystyle)f_{k}(t)(dt)$

그리고 우리는 X를 유한합계로 근사할_t 수 있다.

${\displaystyle {X}_{t}((오메가)=\sum _{k=1}^{N}A_{k}((오메가)f_{k}(t)}$

를 지정합니다.

주장. 이러한 모든 근사치 중에서 KL 근사는 총 평균 제곱 오차를 최소화하는 것입니다(고유값을 내림차순으로 배열했을 경우).

설명분산

중요한 관찰은 KL 팽창의 랜덤 계수_k Z는 상관관계가 없기 때문에, 비에나예메 공식은 X의_t 분산이 단순히 합계의 개별 성분의 분산의 합이라고 주장한다.

$\displaystyle \operatorname {var} [X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}\operatorname {var}[Z_{k}=\sum _infty }{\infty}_{k}{k}{k}{k}{k}^{t}}}}^{{{t}}}}}}}^{{{{t}}}}}}}}}}}}}}}}}}{{{{\s$

[a, b] 위에 통합하고 e의_k 직교 정규성을 사용하면 프로세스의 총 분산이 다음과 같이 계산됩니다.

$\displaystyle \int _{a}^{b}\operatorname {var} [X_{t}],dt=\sum _{k=1}^{\infty}\displayda _{k}$

특히 N-절단 근사치의 총 분산은 다음과 같습니다.

$\displaystyle \sum _{k=1}^{N}\lambda _{k}.}$

결과적으로, N-절단 확장은 다음을 설명합니다.

${\displaystyle {\frac _{k=1}^{n}\lambda _{k}}{\sum _{k=1}^{\infty }}\sumda _{k}}}$

분산의 95%를 설명하는 근사치에 만족하면 다음과 같은 N${\displaystyle n\mathbb{}}$N \ $displaystyle$N \ $in$\ $mathbb { N }$을(를) 결정해야 합니다.

${\displaystyle {\frac _{k=1}^{k}{\sum _{k=1}^{\infty}\sumda _{k}}\geq 0.95.}$

카르후넨-로브 팽창은 최소 표현 엔트로피 특성을 갖는다.

X ${\displaystyle t_{}}$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{k}}}$ k ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}{}_{}}$ W ${\displaystyle k_{}}$ ${\displaystyle {\phi }_{}}$k (${\displaystyle t}$ $){$ $display style$ X_${t}=\sum$_{$k=1$}^{\$infty }W_{$k}\$varphi _{k$}(t$)$로 $표현$된 경우, 일부 직교 기준 ${\displaystyle {\phi }_{}}$k$t)$ 및 \displaystyle \$varphi(t)$_varphi {t$}$_k}에$$ 대해 다음과 같습니다.${\displaystyle {}_{{}^{}}^{}}$${\displaystyle \underset{}{\overset{}{L}}}$ ${\displaystyle {{}^{}}_{\mathrm{}}^{}}$$]{\displaystyle \underset{}{\overset{}{}}}$ {{$displaystyle p_{k}$= \$mathbb${E} [ $W _$ ${k }$^{2} / $\mathbb${$E$ } [ $X$_ {$t$} _ { $L }$ } ${\displaystyle \underset{}{\overset{}{=<img\; alt="\{\backslash displaystyle\; p\_\{k\}=\backslash mathbb\; \{E\}\; [|W\_\{k\}|^\{2\}]/\backslash mathbb\; \{E\}\; [|X\_\{t\}|\_\{L^\{2\}\}^\{2\}]\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/d508243f2e679ea109f53d5f05dab97da287d79d"\; style="vertical-align:\; -1.005ex;\; margin-left:\; -0.089ex;\; width:24.154ex;\; height:3.509ex;"\; papago-attr-id="111">}}}$ 1$$ ${\displaystyle p_{}}$ k ${\displaystyle {}_{}}$ ${\displaystyle 1}$ \ $display style$ \ $sum _$ { k =$1$} ^{ k } ^{ } } = { p } } } } }$=$ { ftyledfty } = { p }$\sum$ _${i}p_{k}\log($${\displaystyle {p\_}_{}}$${k$ 다음으로 모든 $디스플레이에$대해 H ${\displaystyle (\{}$$$$ph$k ${\displaystyle \}}$ )ph$$H (${\displaystyle }${ ${\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\displaystyle \}}$ )$$ \ $display style$ H ( \ { \ $varphi _$$${ $k$} \ ） \ $geq$ H ( \ { $e$_ { $k$} \ } \ } $\}$ )가 $있습니다{\displaystyle }$.

실증:

$기본{\displaystyle {}_{}}$ ${\displaystyle {ek}_{}}$ $)$ {$displaystyle e_{k}(t$$)}$에 대해 ${\displaystyle p_{}}$k${\displaystyle {}_{}}$$displaystyle p_$${$$k$ 및 $(\$$\varphi _{$$k$$t)$에 대해 얻을 수 있는 계수를 나타냅니다.

[N ${\displaystyle ]}$ 1 ( \ $displaystyle$N \ $geq$ 1)$$]를 $선택$합니다.${\displaystyle e_{}}$k \ $displaystyle$ e$_$ { $k$}는$$ 평균 제곱 오차를 최소화하므로 다음과 같은 $오차$가 있습니다.

$\displaystyle \mathbb {E} \left \sum _{k=1}^{N}Z_{k}e_{k}(t)-X_{t}\right _{L^{2}\leq \mathbb {E}\left \sum _{k=1}^{N}_{k_{phi}_phi}_{k}_{k}_{k}_{k}_{t}_{k}_{t}_{t}_phi}\right}_{k}_{k}_$

오른쪽 크기를 확장하면 다음과 같은 이점을 얻을 수 있습니다.

${\displaystyle \mathbb {E} \left \sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right _{L^{2}=\mathbb {E}X_{2}^{2}_{{{}_{{{\sum}_{K=}_{K}_{n}_{n}W_{k}^{*}\varphi _{k}^{*}(t)]_{L^{2}}-\sum _{k=1}^{N}\mathbb {E}[W_{k}\varphi _{t}^*}_{L^2}-{{math=N}^{K}^{}$

${\displaystyle k_{}}$ ( ${\displaystyle t}$)$$\ $displaystyle$\ $varphi _$ { $k$（ $t$）$$expanding expanding ${\displaystyle {expanding}_{}}$ t t X t t$$\ $displaystyle$ X$_$${ t$$$}을$$(를$)$k${\displaystyle {}_{}}$( t$)$로 $확장$하면 오른쪽 크기가 다음과 같습니다.

$\displaystyle \mathbb {E} [X_{t}]_{L^{2}-\sum _{k=1}^{N}\mathbb {E} [W_{k}^{2}]$

${\displaystyle {ek}_{}}$( $)\displaystyle e_{k}(t)}$에$$대해 동일한 분석을 수행할 수 있으므로 위의 부등식을 다음과 같이 다시 쓸 수 있습니다.

${{displaystyle \mathbb {E} [X_{t}}_{L^{2}^2}-\sum _{k=1}^{N}\mathbb {E}[Z_{k}^{2}\leq {display style \mathbbb {E}[X_{t}_{2}^2}}^{2}^{2}}^{2}}^{2}}^{2}}}}^{2}}}}}}}}^{2}}})$

공통 첫 번째 항을 뺀 후${\displaystyle E_{}}$ [$$ ${\displaystyle {{t\mathrm{}}^{}}_{}^{}}$ L${\displaystyle {}_{}^{}{{}^{}}_{\mathrm{}}^{}}$] \$displaystyle \mathbb {E}$ [ $X_{t}$ _ {L$^{2$}}^{2$}$로 $나누면{\displaystyle \mathbb{}}$ 다음과 같이 구한다.

$\displaystyle \sum _{k=1}^{N}p_{k}\geq \sum _{k=1}^{N}q_{k}$

이는 다음을 의미합니다.

${\displaystyle -\sum _{k=1}^{\infty }p_{k}\log(p_{k})\leq -\sum _{k=1}^{\infty }q_{k}\log(q_{k})$

선형 카르후넨-러브 근사

베이스의 첫 번째 M 벡터에 대해 근사하려는 신호의 전체 클래스를 고려합니다.이러한 신호는 크기 N의 랜덤 벡터 Y[n]의 실현으로 모델링됩니다.근사치를 최적화하기 위해 평균 근사 오차를 최소화하는 기초를 설계합니다.이 절은 최적의 염기가 Y의 공분산 행렬을 대각화하는 카르후넨-로브 염기임을 증명한다.랜덤 벡터 Y는 직교 베이스로 분해될 수 있다.

$\displaystyle \left\{g_{m}\right\}_{0\leq m\leq N}$

다음과 같습니다.

${{displaystyle Y=\sum _{m=0}^{N-1}\left\langle Y,g_{m}\right\rangle g_{m}}$

각각 어디에

${\displaystyle \left\pargle Y,g_{m}\rangle =\sum _{n=0}^{N-1}{Y[n]}g_{m}^{*}[n]}$

는 랜덤 변수입니다.베이스의 첫 번째 M µ N 벡터로부터의 근사치는 다음과 같다.

$\displaystyle Y_{M}=\sum _{m=0}^{M-1}\left\langle Y,g_{m}\rangle g_{m}$

직교 기반에서의 에너지 보존은 다음을 의미한다.

$\displaystyle \varepsilon [M]=\mathbf {E} \left\{\left\Y_{M}\right\{m}=\sum _m=M}{N-1}\mathbf {E} \left\{\left\le YG_{m}\right}$

이 오류는 다음과 같이 정의된 Y의 공분산과 관련이 있습니다.

${\displaystyle R[n,m]=\mathbf {E} \left\{Y[n] Y^{*}[m]\right\}$

임의의 벡터 x[n]에 대해, 우리는 이 행렬로 표현되는 공분산 연산자를 K로 나타낸다.

${\displaystyle \mathbf {E} \left \{\left \rangle Y,x\right \}=\sum Kx,x\rangle =\sum _{n=0}^{N-1}^{n,m}[x]$

따라서 오차 δ[M]는 공분산 연산자의 마지막 N - M 계수의 합입니다.

${\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}{\left\langle Kg_{m},g_{m}\right\rangle }}$

공분산 연산자 K는 에르미트이고 양성이므로 카르후넨-뢰브 기저라고 불리는 직교 기저에서 대각화된다.다음 정리는 카르후넨-러브 기초가 선형 근사에 최적임을 나타낸다.

정리(카르후넨-러브 기준의 최적성).K를 공분산 연산자로 합니다.모든 M ≤ 1에 대해 근사 오차

$\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}\left\langle Kg_{m},g_{m}\right\rangle }$

이 경우, 그리고 이 경우

${\displaystyle\left\{g_{m}\right\}_{0\leq m<N}$

는 고유값을 줄여서 정렬된 Karhunen-Love 기준입니다.

$\displaystyle \left\langle Kg_{m}\right\rangle \geq \left\langle Kg_{m+1},g_{m+1}\right\rangle,\qquad 0\leq m<N-1}$

비선형 근사(기준)

선형 근사는 신호를 M 벡터에 선험적으로 투영합니다.신호 속성에 따라 M개의 직교 벡터를 선택하여 근사치를 보다 정확하게 만들 수 있습니다.이 섹션에서는 이러한 비선형 근사치의 일반적인 성능을 분석합니다.$신호{\displaystyle }$ f${\displaystyle h\mathrm{}}$H {\$displaystyle$ f$\in \mathrm {H}$는 H$${\$displaystyle \mathrm {H}}$에 대해 적응적으로 선택된 M개의 벡터로 근사된다.

${\displaystyle \mathrm {B} =\left\{g_{m}\right\}_{m\in\mathbb {N}}$

${\displaystyle f_{}}$ M$${\$displaystyle f_{M}}$을(를) I에 있는_M f over M 벡터의 투영이라고 합니다.

$\displaystyle f_{M}=\sum _{m\in I_{M}\left\langle f,g_{m}\rangle g_{m}$

근사 오차는 나머지 계수의 합입니다.

$\displaystyle \varepsilon [M]=\left\{\left\f_{M}\right\sum_{m}={m\notin I_{M}{n-1}\left\{left\left\left\g_{m}\rangle\right^2}\sum_{2}\}$

이 오류를 최소화하려면 I의 지수는_M 가장 큰 내부 제품 진폭을 가진 M 벡터에 대응해야 합니다.

$(\displaystyle\left\left\leftf,g_{m}\right\rangle\right).$

이것들은 f를 가장 잘 연관짓는 벡터들이다.따라서 f의 주요 특징으로 해석할 수 있다.결과 오차는 반드시 f와 독립적으로 M 근사 벡터를 선택하는 선형 근사 오차보다 작습니다.분류해 봅시다

$\displaystyle \left \langle f,g_{m}\right \rangle \right \}_{m\in \mathbb {N}}$

내림차순으로

$\displaystyle \left \left \rangle f,g_{m_{k}}\right \geq \left \left \left \rangle f,g_{m_{k+1}\right \rangle \right }$

최적의 비선형 근사치는 다음과 같습니다.

${\displaystyle f_{M}=\sum _{k=1}^{M}\left\langle f,g_{m_{k}}\right\rangle g_{m_{k}}}$

이 값은 내부 제품 임계값 설정이라고도 할 수 있습니다.

${\displaystyle f_{M}=\sum _{m=0}^{\infty}\theta _{T}\left(\left\langle f,g_{m}\right\rangle \{m})g_{m}$

와 함께

$({displaystyle T=\left\left\left,g_{M}\rangle\right,\qquad\theta_{T}(x)=begin{cases}x&x\geq T\0&x <T\end{cases})})$

비선형 오류는

$\displaystyle \varepsilon [M]=\left\{\left\f-{M}\right\}=\sum_{k=M+1}{\left\left\{m_{k}}\left\left\{\left\left\right\right\right\}\sum_{k}$

${\displaystyle 이}$ 에러는${\displaystyle }$"f", "$g$ ${\displaystyle {m_{}}_{}}$ k${\displaystyle "}$ $({displaystyle \left$ \$langle$ f$,g_{m_{k}}\right\rangle$ \right$})$의 정렬된 값이 k의 증가에 따라 빠르게 감쇠하면 0이 됩니다.이 붕괴는 B의 신호 내부 산물의 $(\$ 규격을$$ $계산$하여 정량화한다.

$\ displaystyle \ f \ { \ mathrm { B } , p = \ left ( \ sum _ { m = 0 }^ \ infty } \ left \ left \ right \ rangle \ right ^ { p } \ frac { 1 } { p } } }$

다음 정리에서는 【M】와 $、$ ${\displaystyle p_{}}$ \ $displaystyle \ f$ \ { \ $mathrm${ $B$} , p$}$의 붕괴에 대해 설명합니다.

정리(오차의 감소).f" "$"$ <\$displaystyle\f\_{\mathrm {B},p$$}$ <\$infty }$ 이 p < 2 인 경우

${\displaystyle \varepsilon [M]\leq {frac {B},p}^{2}}{\frac {2}{p}}-1} M^{1-{\frac {2}{p}}}}$

그리고.

$\displaystyle \varepsilon [M]=o\left(M^{1-{\frac {2}{p}}}\오른쪽).}$

$반대$로 ${\displaystyle [}$ [ ${\displaystyle M}$] $=$ (${\displaystyle {\frac{\mathrm{M1}}{}}^{}}$ -${\displaystyle {}^{}}$2$$p $){ displaystyle$ \ $varepsilon$ [ M $]= o$ \$left$ ( M^ { $1$- { \$frac$ { $2 }$ { p } $}$ \ right )인$$ 경우,

의 q > p의 경우 <$q$ < \ $displaystyle$\ $f$\ _ { \$mathrm$ { $B$} , q } < \ $infty$ }

카르후넨-로베 기지의 비최적성

선형 근사와 비선형 근사 간의 차이를 추가로 설명하기 위해, 우리는 카르후넨-뢰브 기준으로 단순한 비-가우스 랜덤 벡터의 분해를 연구한다.실현에 랜덤 변환이 있는 프로세스는 정지되어 있습니다.Karhunen-Loéve 기초는 푸리에 기초이며 우리는 그 성능을 연구한다.분석을 단순화하기 위해 0 평균의 결정론적 신호 f[n]의 랜덤 시프트 모듈로 N 크기의 랜덤 벡터 Y[n]를 고려합니다.

$\displaystyle \sum _{n=0}^{N-1}f[n]=0}$

${\displaystyle Y[n]=f[(n-p){\bmod {N}}}}$

랜덤 이동 P는 [0, N - 1]에 균일하게 분포됩니다.

${\displaystyle \Pr(P=p)=sqfrac {1}{N},\qquad 0\leq p<N}$

확실히.

${\displaystyle \mathbf {E} \{Y[n]\}=sum _{p=0}^{N-1}f[(n-p){\bmod {N}}=0}$

그리고.

${\displaystyle R[n,k]=\mathbf {E} \{Y[n]Y[k]\}=sum frac {1}{N}}\sum _{p=0}^{N-1}f[(n-p){\bmod {N}}f[(k-p){\bmod {N}}}=sum frac {1}{N}\세타(\bar {f}}[n-k],\color(\bar {f}}[n]=f[-n])$

이런 이유로

${\displaystyle R[n,k]=R_{Y}[n-k],\qquad R_{Y}[k]=sqfrac {1}{N}}f\세타 {f}}[k]$

R은_Y N주기이므로 Y는 원형의 정지 랜덤 벡터입니다.공분산 연산자는 R을 갖는_Y 원형 회전수이며, 따라서 이산 푸리에 카르후넨-뢰브 기저에서 대각화된다.

$\displaystyle \left\{\frac {1}{\sqrt {N}}e^{i2\pi mn/N}\right\}_{0\leq m<N}}.$

전력 스펙트럼은 R의_Y 푸리에 변환입니다.

${\displaystyle P_{Y}[m]=모자 {R}_{Y}[m]=모자 {1}{N}}\left {\hat {f}[m]\right ^2}}$

예:. f[n])δ[n]− δ[n− 1]{\displaystyle f[n]=\delta[n]-\delta[n-1]}극단적인 이야기를 들어 보자 한 정리 보장이 위 푸리에 Karhunen–Loève 기준 Diracs의 정준기보다{gm[n])δ[n− m]}더 작은 것으로 예상되 근사 오차 0≤ m<>N{\displaystyle \left\을 생산한다고 말했다.{$g_{m}[n]=\disc [n-m]\right\}_{0\leq$ m$<N$ 실제로, 우리는 Y의 0이 아닌 계수의 전치수를 알지 못하기 때문에 근사치를 수행하기에 더 적합한 특별한 Dirac은 없다.그러나 푸리에 벡터는 Y의 전체 지원을 포함하므로 신호 에너지의 일부를 흡수합니다.

$\displaystyle \mathbf {E} \left \left \left \left \left \rt {N}, {\frac {1}{\fright rt {N} e^{i2\pi mn/N}\right \rangle \right ^{2}\}= P_{n}Y} [m] = sin frac { 4 } { N } \ sin ^ {2} \ left frac \ frac \ pi k } { N } \ right }$

더 높은 주파수 푸리에 계수를 선택하면 근사치를 수행할 몇 개의 Dirac 벡터를 선택하는 것보다 더 나은 평균-제곱 근사치를 얻을 수 있습니다.비선형 근사에서는 상황이 완전히 다릅니다.f${\displaystyle }$[${\displaystyle n]}$ $=$[ [ ${\displaystyle n]}$ - ${\displaystyle [}$ [${\displaystyle n}$ - $]$ { $displaystyle$f [ n ]= \$displaystyle$ [ $n$]-\$display$ [ n ][ n$]}$인 경우, f 및 Y는 모든 푸리에 벡터 간에 거의 균일하게 분산된 에너지를 가지므로 이산 푸리에 기초는 매우 비효율적입니다.이와는 대조적으로 f는 Dirac 기준에서 0이 아닌 계수를 2개만 가지므로 M ≤ 2인 Y의 비선형 근사치는 0 ^[6]오차를 나타낸다.

주성분 분석

우리는 Karhunen-Loéve 정리를 확립하고 몇 가지 특성을 도출했다.또한 적용의 한 가지 장애물은 두 번째 종류의 프레드홀름 적분 방정식을 통해 공분산 연산자의 고유값과 고유함수를 결정하는 수치 비용이라는 점에 주목했다.

$\displaystyle \int _{a}^{B}K_{X}(s,t)e_{k}(s),ds=\lambda_{k}e_{k}(t)}$

단, 이산적이고 유한한 프로세스$({\displaystyle {X_{}}_{}}$ n${\displaystyle {{}_{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {\{}_{}}$ { ${\displaystyle 1_{}}$,${\displaystyle {}_{}}$…, ${\displaystyle N_{}}$ $}$ {$displaystyle$\left $(X_{n}\$right)$_{n\$in \$1,\$ldots ,$N$에 적용하면 이 문제는 훨씬 더 단순한 형식을 취하며 표준 대수를 사용하여 계산할 수 있습니다.

문제를 유한 버전으로 줄이기 위해 연속 프로세스를 N개의 시점에서 샘플링할 수도 있습니다.

따라서 랜덤 N차원 $벡터{\displaystyle }$ X ${\displaystyle {}^{}}$ ( ${\displaystyle {{X\mathrm{}}_{}}^{}}$ 1 ${\displaystyle {{X\mathrm{}}_{}}^{}}$ 2 ${\displaystyle {...{}_{}}^{}}$ ${\displaystyle {\text{X}{}_{}{N}_{}}^{}}$ )$$ { \ $displaystyle$ X = \$left$ ( X$_$ { $1$) ~ $X$_ { $2$} ~ \$ldots$~ X _ { $N$} \ $right$^{$T$ 위에서 설명한 것처럼 X에는 N개의 신호 샘플이 포함될 수 있지만 응용 분야에 따라 더 많은 표현을 보유할 수 있습니다$.$예를 들어, 경제 계량 분석의 조사나 경제 데이터에 대한 답이 될 수 있다.

연속 버전과 같이 X가 중심이라고 가정하고, 그렇지 않으면 X : ${\displaystyle ={}_{}}$ - ${\displaystyle {\mu }_{}}$X ({$Displaystyle$ X : =$X$- \ $mu$_ { X$$} ) ($여기$서 ${\displaystyle {\mu }_{}}$X ({Displaystyle $\mu$_ {$X})$는 X의 평균 벡터)를 $중심$이라고 할 수 있습니다.

이 절차를 개별 사례에 맞게 조정해 봅시다.

공분산 행렬

KL 변환의 주요 함수와 난이도는 공분산 함수와 관련된 선형 연산자의 고유 벡터를 계산하는 것이며, 이는 위에 기술된 적분 방정식에 대한 해법에 의해 제공된다는 것을 기억하십시오.

X의 공분산 행렬인 δ를 다음과 같이 주어진 요소가 있는 N × N 행렬로 정의한다.

$\displaystyle \Sigma _{ij}=\mathbf {E}[X_i}X_{j}),\qquad \forall i,j\in \{1,\ldots,N\}$

상기의 적분 방정식을 이산 케이스에 맞추어 고쳐 쓰면, 다음과 같이 됩니다.

$\displaystyle \sum _{j=1}^{N}\Sigma _{ij}=\sigma e_{i}\sigma \sigma e=\sigma e}$

$여기$서 e ${\displaystyle =}$ ( ${\displaystyle {e\mathrm{}}_{}}$ ${\displaystyle 1{}_{}{}_{}}$ e ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle ...{}_{}}$ ${\displaystyle e_{}{}^{}}$N )$$ { { $displaystyle$ e = ( $e$_ {1$}$ ~ $e$_ {2} ~ $\ldots$~ e$_$ { N$}$ ^{$T}}$는 N차원 벡터이다.

따라서 적분방정식은 단순한 매트릭스 고유값 문제로 환원되며, 이는 PCA가 이처럼 광범위한 애플리케이션 영역을 갖는 이유를 설명합니다.

δ는 양의 유한 대칭행렬이므로 R ${\displaystyle {}^{}}$의$기초$를 $이루는{\displaystyle {\mathbb{}}^{}}$ 일련의 직교 정규 고유 벡터를 가지고 있으며, 우리는 { ${\displaystyle {}_{}}$ ${\displaystyle i_{}{}_{}}$,${\displaystyle {}_{}{}_i}$ ${\displaystyle 1_{}}$, ${\displaystyle {...<img\; alt="\backslash mathbb\{R\}\; ^\{N\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/12d5be9beb2f7a56cdee3c6563c9453a913a0c92"\; style="vertical-align:\; -0.338ex;\; width:3.37ex;\; height:2.676ex;"\; papago-attr-id="188">}_{}}$, N$$$}$ { $displaystyle$ \ { \ $lambda$_ { $i$} , \ $var$ _ $phi }$로 $쓴다$.ctors: " 의 값을_i 내림차순으로 나타냅니다.또한 δ를 다음과 같은 고유 벡터로 구성된 직교 정규 행렬이라고 하자.

$디스플레이 스타일Phi &:=\left(\varphi _{1}~\varphi _{2}~\ldots~\varphi _{N}\right)^{T}\\Phi^{T}\Phi &=I\end{aligned}}$

주성분 변환

이 경우 주성분 변환이라고 불리는 실제 KL 변환을 수행하는 것이 남습니다.공분산 함수의 고유 벡터에 의해 확장된 기준과 관련하여 공정을 확장하여 변환을 찾았습니다.이 경우 다음과 같이 됩니다.

${\displaystyle X=\sum _{i=1}^{N}\langle \varphi _{i}=\sum _{i=1}^{N}\varphi _{i}X\varphi _{i}$

보다 콤팩트한 형태에서 X의 주성분 변환은 다음과 같이 정의됩니다.

${\displaystyle\case\case}Y=\Phi^{T}X\X=\PhiY\end{case}}$

Y의 i번째 성분은 $Y$ ${\displaystyle i_{}}$ $=$ ${\displaystyle {\phi }_{}^{}}$ i ${\displaystyle {}_{}^{}}$X {\$displaystyle Y_${i}=\$varphi_{i}^{T$X로, X를 $i{\displaystyle {}_{}}$ i$\$$displaystyle \varphi_{i}$에 투영하고 역변환 X = φY를 스팬 공간에 ${\displaystyle {확장}_{}}$합니다.

$\displaystyle X=\sum _{i=1}^{i}\varphi _{i}=\sum _{i=1}^{N}\langle \varphi _{i},X\rangle \varphi _{i}$

연속된 경우와 마찬가지로 $다음$과 같이 K ${\displaystyle \{}$ { ${\displaystyle 1}$, ${\displaystyle ...}$ , N$}$ { $display style K$ \ in \ {$1$ , $\ldots$ , $N$\ } 에서의$$ 합계를 잘라내면 문제의 치수를 줄일 수 있습니다.

$({displaystyle {frac _{i=1}^{K}\lambda _{i}}{\sum _{i=1}^{N}\lambda _{i}}\geq \alpha }$

여기서 α는 설정하는 설명되는 분산 임계값입니다.

또한 다단계 우성 고유 벡터 추정(MDE)^[7]을 사용하여 차원성을 줄일 수 있습니다.

예

위너 프로세스

브라운 운동의 수학적 공식화인 위너 과정에는 수많은 동등한 특성들이 있다.여기서 우리는 공분산 함수를 가진 중심 표준 가우스 프로세스_t W로 간주한다.

$\displaystyle K_{W}(t,s)=\operatorname {cov}(W_{t,W_{s})=\min(s,t)}$

일반성을 잃지 않고 시간 영역을 [a, b]=[0,1]로 제한합니다.

공분산 커널의 고유 벡터는 쉽게 결정됩니다.이것들은

$(\displaystyle e_{k}(t)=sinrt {2}}\sin \left(\tfrac {1}{2}}\right)\pi t\right)}$

해당하는 고유값은 다음과 같습니다.

${\displaystyle \displayda _{k}=displayfrac {1}{{2}})^{2}\pi^{2}}}.}$

이것은 Wiener 프로세스를 다음과 같이 나타냅니다.

정리.다음과 같은 평균 0과 분산 1을 갖는 독립 가우스 랜덤 변수의 시퀀스 {Z_i}_i이 있습니다.

${\displaystyle W_{t}=sqrt {2}}{\infty}Z_{k}{\frac {left(\left(k-{\frac {1}{2}}\right)}{\left(\left(k-{\frac {2}}\right)}}\pi t\pi}}}}.}$

이 표현은 t ${\displaystyle [}$ [ ${\displaystyle 0}$, $].$ {\$displaystyle$ t$\in [ 0$ , $1$]에만 유효합니다.} 큰$$ 간격에서는 증분이 독립적이지 않습니다$.$정리에 기술된 바와 같이, 수렴은 L 노름이고² t는 균일하다.

브라운 다리

마찬가지로 브라운 ${\displaystyle {브릿지}_{}}$ B ${\displaystyle {}_{}}$ $=$ ${\displaystyle W}$ ${\displaystyle {}_{}}$ - ${\displaystyle t_{}}$ ${\displaystyle {W\mathrm{}}_{}}$1 ({$displaystyle$ B_${t$}=$W_{t}-tW_{1})$은 공분산 함수를 갖는 확률적 과정이다.

${\displaystyle K_{B}(t,s)=\min(t,s)-ts}$

시리즈로 나타낼 수 있다

${\displaystyle B_{t}=\sum _{k=1}^{\infty }Z_{k}{\frac {\fracrt {2}}\sin(k\pi t)}{k\pi }}$

적용들

이 섹션은 확장해야 합니다.추가함으로써 도움이 될 수 있습니다. (2010년 7월)

적응 광학 시스템은 때때로 K–L 함수를 사용하여 파형 전면 위상 정보를 재구성한다(Dai 1996, JOSA A).카르후넨-러브 팽창은 특이값 분해와 밀접한 관련이 있다.후자는 화상 처리, 레이더, 지진학 등에 무수히 응용되고 있다.만약 어떤 사람이 벡터 값 확률 과정으로부터 독립적인 벡터 관찰을 가지고 있다면, 왼쪽 특이 벡터는 앙상블 KL 확장에 대한 최대우도 추정치이다.

신호 추정 및 검출 응용 프로그램

기존의 연속 신호 S(t)의 검출

통신에서는 보통 잡음이 많은 채널로부터의 신호에 귀중한 정보가 포함되어 있는지 여부를 판단해야 합니다.다음 가설 테스트는 채널 출력 X(t)에서 연속 신호 s(t)를 검출하는 데 사용됩니다. N(t)은 채널 노이즈이며, 일반적으로 상관 $함수{\displaystyle {}_{}}$ R${\displaystyle {}_{}{N}_{}}$ (${\displaystyle t}$ ,${\displaystyle s}$ ) ${\displaystyle =E}$ [${\displaystyle N}$ (${\displaystyle t}$ )${\displaystyle N}$ ( s${\displaystyle }$)$]$ { $displaystyle$ R _ { $N$} ($t$ , s ) $= N$ ( N ( T ) [ N ( T ) （ N ) （ N ) ） （ N ( T ) ） （ N ） （ N ） （ N ） ） （ N ） （ N ） （ N ( T ） ） ） ） {\ the the

${\displaystyle H:X(t)=N(t)}$

${\displaystyle K:X(t)=N(t)+s(t),\quad t\in(0,T)}$

백색 노이즈에서의 신호 검출

채널 노이즈가 흰색일 경우 상관 함수는 다음과 같습니다.

${\displaystyle R_{N}(t)=tfrac {1}{2}}N_{0}\delta(t),}$

전력 스펙트럼 밀도가 일정합니다.물리적으로 실용적인 채널에서는 노이즈 파워가 유한하므로 다음과 같습니다.

${\displaystyle S_{N}(f)=begin{case}{\frac {N_{0}}{2}}& f <w\0&f>w\end{case}}$

그런 다음 노이즈 상관 함수는 n ${\displaystyle \frac{2\mathrm{}}{}\frac{\mu }{}}$ , $n$Z .$${ $displaystyle${ $frac${ $n }$ { 2 \ $obega$} , n \ $in$\$mathbf${ $Z }$에 0이 있는 동기 함수입니다. 상관 관계가 없고 가우스이기 때문에 독립적입니다.따라서 X(t)에서 시간 간격을 두고 샘플을 채취할 수 있습니다.

$(\displaystyle \Delta t=sublicfrac {n}{2\obega }}}{\text{ in }}} (0, 'T')}$

$X{\displaystyle }$ ${\displaystyle {}_{}X}$ ( $i$ ${\displaystyle \delta }$ t ) {$displaystyle$ X $_${ i$$}$$=$$X ( i$$, \ $Delta$ t )$$。${\displaystyle 총}$ n $=$ T${\displaystyle =}$ ${\displaystyle \mathrm{T}}$ ( ${\displaystyle 2}$ ω$$) ${\displaystyle =}$ 2 ${\displaystyle \omega }$ T ( \ $displaystyle$ n $frac${$T$} { \ $Delta$ } = 2$=$ 2 $opha$ = 2 = 2 ) t$신호{\displaystyle {}_{}}$ ${\displaystyle S_{}}$ i ${\displaystyle {}_{}S}$ ( i ${\displaystyle \delta }$t$$) {$displaystyle S_{i$} =$S(i,\Delta$ t$)\}$를 정의하면 다음과 같은 문제가 발생합니다.

${\displaystyle H:X_{나는}=N_{나는},}$

${\displaystyle K:X_{나는}=N_{나는}+S_{나는},i=1,2,\ldots ,n.}$

그 log-likelihood 비율

${\displaystyle{{나는\mathcal}}({\underline{x}})=\log{\frac{\sum_{i=1}(2S_{나는}x_{나는}-S_{나는}^{2})}{2\sigma ^{2}}}\Leftrightarrow \Delta t\sum _{i=1}^{n}S_{나는}x_{나는}=\sum _ᆴ^ᆵS(i\,\Delta지)x(i\,\Delta지)\,\Deltat\gtrless \lambda _{\cdot}2}.$

t→ 0로서, 보자:

${\displaystyle G=\int_{0}(t)x(t)\,dt.}$

그리고 G은 시험 통계와 Neyman–Pearson 최적의 검출기다.

${\displaystyle G({\underline{x}})>.G_{0}\Rightarrow K<.G_{0}\Rightarrow H.}$

으로서 G가우스는, 우리는 그것의 의미이고 분산을 발견함으로써 그것의 특성을 보여 줄 수 있다.그리고 우리가 얻은

${\displaystyle H:G\sim N\left(0,{\tfrac{1}{2}}N_{0}일 경우 E\right)}$

${\displaystyle K:G\sim N\left(E,{\tfrac{1}{2}}N_{0}일 경우 E\right)}$

어디에

${\displaystyle \mathbf{E}=\int _ᆪ^ᆫS^ᆬ(t)\,dt}.$

신호 에너지입니다.

잘못된 경보 오류입니다.

${\displaystyle \alpha =\int _{G_{0}^{\infty}N\left(0, {\tfrac {1}{2}E\right), dG\rightsqrt {\tfrac {1}{0}E\right}N_{0}{1-}Phi ^}$

그리고 검출될 확률은 다음과 같습니다.

${\displaystyle \int _{G_{0}^{\infty}N\left(E, {\tfrac {1}{2}}N_{0}E\right),dG=1-\Phi \flac {G_{0}-E}{\sqrt_frAC}{{\fr1}{N}}{\left}{\fright}Phi \left({\sqrt {\frac {2E}){N_{0}}}:-\Phi^{-1}(1-\alpha)\right),}$

여기서 δ는 표준 정규 또는 가우스 변수의 cdf입니다.

컬러 노이즈에서의 신호 검출

N(t)이 0 평균 및 공분산 $함수{\displaystyle {}_{}}$ ${\displaystyle R_{}}$ N${\displaystyle {}_{}}$(${\displaystyle t}$ ,${\displaystyle }$s ) ${\displaystyle =E}$ [${\displaystyle N}$ (${\displaystyle }$t )${\displaystyle N}$ (${\displaystyle s}$ )${\displaystyle ]}$ ,$${ $displaystyle R_{N}(t,s$) =$E[N(t)N($s$$)}로 색칠된(시간 상관 관계) 가우스 노이즈를 균일한 간격으로 샘플링할 수 없습니다.대신 K–L 확장을 사용하여 노이즈 프로세스의 상관 관계를^{[check spelling]} 해제하고 독립적인 가우스 관측치 '샘플'을 얻을 수 있다.N(t)의 K–L 확장:

${\displaystyle N(t)=\sum _{i=1}^{\infty}N_{i}\Phi _{i}(t),\quad 0<T,}$

${\displaystyle {여기}_{}}$서 Ni ${\displaystyle {}_{}}$ ${\displaystyle \int N}$ (${\displaystyle t}$ ) ${\displaystyle {\phi }_{}}$ i${\displaystyle {}_{}}$(${\displaystyle t}$ ) ${\displaystyle d}$ ${\displaystyle t}${ $displaystyle N$_ { i } = \$int$N ($$$t$ ) \$Phi$ _${i}(t),dt}$ 및$$ 직교 정규 기저 $\{{\displaystyle {\delta }_{}}$ i ${\displaystyle {}_{}}$}(\$displaystyle \{\)$$Phi$ _${i}{t}\}:$ $커널$ ${\displaystyle {RN}_{}}$( ${\displaystyle t}$,${\displaystyle }$s$$){$displaystyle R_{N}(t,s$에 의해 생성됩니다(예: 솔루션).

$\displaystyle \int _{0}^{T}R_{N}(t,s)\Phi _{i}(s),ds=\paramda _{i}\Phi _{i}(t),\lambda \operatorname {var} [N_{i}]=\lambda _{i}.}$

확장을 수행합니다.

$\displaystyle S(t)=\sum _{i=1}^{\infty}S_{i}\Phi _{i}(t),}$

$여기$서 ${\displaystyle {Si}_{}}$ $=$ 0 ${\displaystyle {}_{}^{}{}_{}^{}}$ (${\displaystyle t}$ )${\displaystyle {\phi \phi }_{}}$i (${\displaystyle t}$ )${\displaystyle d}$ t$${ $displaystyle S_{i$}=\$int$ _{$0}^{T}S(t)\$$Phi$ _${i}(t), dt$ 다음

${\displaystyle X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t),dt=N_{i}}$

H $및{\displaystyle {}_{}}$ ${\displaystyle {Ni}_{}}$ ${\displaystyle {}_{}}$ $아래$(\$displaystyle N_{$i}+)$K$ 아래 S_${i$$}}.$$X{\displaystyle \stackrel{}{}}$ ${\displaystyle =}$ { ${\displaystyle {}_{}{}_{}}$, ${\displaystyle {X\mathrm{}}_{}}$ 2${\displaystyle {}_{}\}...}$ {$displaystyle$ {$overline${$$X } = \ { $X$_ { $1$} , $X$_ {2} , \ $dots$\$$} 。

$(\$는 분산이 있는 독립 가우스 r.v입니다.$$ i \$display$ \ $lambda$_ { $i$}

H$:{\displaystyle }$ { ${\displaystyle X_{}}$ i$$ { $displaystyle$\ { X$_$ { $i$} \ } h$$ 、는 독립된 가우스 r.v 입니다.

${\displaystyle f_{H}[x(t) 0<T]=f_{H}({\언더라인 {x})=\display_{i=1}^{\infty}}{\fracrt {2\pi \pi \px_i}}}}\exp \left {\frec {\frec {\frac {\xxxxx_{{{{{{xxxxx}}}_{{{{{{\da}}}}}}}{{{{{{{{{{\$

K$:{\displaystyle }$ { ${\displaystyle {}_{}{i}_{}}$ - ${\displaystyle S_{}}$ i$$}({$displaystyle$\{$X_{$i}-$S_{i}\})$는 독립된 가우스 r.v입니다.

${\displaystyle f_{K}[x(t)\mid 0<T]=f_{K}({\언더라인 {x})=\display_{i=1}{\infty}}{\fracrt {2\pi \pi \frac(x_i}}}}}}}\exp \left {\f {\frech {\frclight {\frclight {\frcrclight {\frcrcrcrcrcrcrcr} {x_{{{{$

따라서 log-LR은 다음과 같이 지정됩니다.

${\displaystyle {\mathcal {L}}({\underline {x})=\sum _{i=1}^{\infty}{\frac {2S_{i}x_{i}}{2\lambda _{i}}}}}$

최적의 검출기는

$\displaystyle G=\sum _{i=1}^{\infty}S_{i}x_{i}\lambda _{i}>G_{0}\오른쪽 화살표 K, <G_{0}\오른쪽 화살표 H.}$

정의

$\displaystyle k(t)=\sum _{i=1}^{\infty}\sumda _{i}S_{i}\Phi _{i}(t), 0<T,}$

$그러면{\displaystyle }$ G ${\displaystyle =}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$k (${\displaystyle t}$ )${\displaystyle x}$ (${\displaystyle t}$ ) ${\displaystyle d}$ .$${ $displaystyle$ G = \$int$_ { $0$}^{$T}k(t)x(t), dt.}$

k(t)를 찾는 방법

부터

${\displaystyle \int _{0}^{T}R_{N}(t,s)k(s),ds=\sum _{i=1}^{\infty}\displayda _{i}S_{i}\int _{0}^{T}R_{N}(t,s)\ds)Phi _{i}(s),ds=\sum _{i=1}^{\infty}S_{i}\Phi _{i}(t)=S(t),}$

k(t)는 의 해법이다.

$\displaystyle \int _{0}^{T}R_{N}(t,s)k(s),ds=S(t)}$

N(t)이 와이드센스 정지 상태일 경우

$\displaystyle \int _{0}^{T}R_{N}(t-s)k(s),ds=S(t),}$

'위너'로 알려진...홉프 방정식푸리에 변환을 통해 방정식을 풀 수 있지만 무한 스펙트럼은 공간 인수분해를 필요로 하기 때문에 현실적으로 실현 가능하지 않습니다.k(t)의 계산이 용이한 특수한 경우는 백색 가우스 노이즈입니다.

$\displaystyle \int _{0}^{T}{\frac {N_{0}}{2}}\delta(t-s)k(s),ds=S(t)\rightarrow k(t)=CS(t),\quad 0<T).}$

대응하는 임펄스 응답은 h(t) = k(T - t) = CS(T - t)입니다.C = 1로 합시다. 이는 백색 노이즈에서 신호를 감지하기 위해 이전 단원에서 설명한 결과입니다.

Neyman-Pearson 검출기 테스트 임계값

X(t)는 가우스 과정이기 때문에

${\displaystyle G=\int _{0}^{T}k(t)x(t),dt,}$

는 평균 및 분산으로 특징지을 수 있는 가우스 랜덤 변수입니다.

$\displaystyle \ mathbf { E } [ G \ mid H ] & = \int _ { 0 }^{T}k(t)\mathbf {E} [x(t)\mid H],dt=0\\mathbf {E} [G\mid K]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid K],dt=\int _{0}^{T}k(t)S(t),dt\equiv \rho \\mathbf {E} [G^{2}\mid H]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)R_{N}(t,s),dt,ds=\int_{0}^{T}k(t)\left(\int _{0}^{)T}k(s)R_{N}(t,s),ds\right)=\int_{0}^{T}k(t)S(t),dt=\rho \\operatorname {var}[G\mid H]&=\mathbf {E}[G^{2}\mid H]-(\mathbf {E}[G\mid H])^{2}=\rho \\mathbf {E} [G^{2}\mid K]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)\mathbf {E} [x(t)x(s)],dt,ds=\int _{0}^{T}\int _{0}^{T}k(t)k(s)(R_{N}(t,s)+S(t)S(s)),dt,ds=\rho +\rho^{2}\operatorname {var}[G\mid K]&=\mathbf {E}k(\f){e}{f}^{2}=\rho +\rho ^{2}-\rho ^{2}=\rho \end{aligned}}$

따라서 H와 K의 분포를 구한다.

${\displaystyle H:G\sim N(0,\rho)}$

${\displaystyle K:G\sim N(\rho,\rho)}$

잘못된 경보 오류는 다음과 같습니다.

${\displaystyle \alpha =\int _{G_{0}}^{\infty}N(0,\rho)}, dG=1-\Phi \leftfac {G_{0}}{\sqrt {rho}}}\right.}$

따라서 Neyman-Pearson 최적 검출기의 테스트 임계값은 다음과 같다.

${\displaystyle G_{0}=sqrt {rho }}\Phi ^{-1}(1-\alpha)}$

그 탐지력은

$\displaystyle \param = \int _ {G_{0}}^{\infty }N(\rho ,\rho ), dG=\Phi \lefthrt {rho }-\Phi ^{-1}(1-\alpha )\오른쪽)}$

노이즈가 흰색 가우스 프로세스일 경우 신호 전력은

${\displaystyle \rho =\int _{0}^{T}k(t)S(t),dt=\int _{0}^{T}S(t)^{2},dt=E}$

화이트닝 전

일부 유형의 컬러 노이즈의 경우 일치하는 필터 앞에 프리화이트 필터를 추가하여 컬러 노이즈를 흰색 노이즈로 변환하는 것이 일반적인 방법입니다.예를 들어, N(t)은 상관함수가 있는 광의정색잡음입니다.

${\displaystyle R_{N}(\tau)={BN_{0}}{4}}e^{-B \tau }}$

$({displaystyle S_{N}(f)=paramfrac {N_{0}}){2(1+({\frac {w}{B}})^2}})$

프리 화이트닝 필터의 전달 기능은 다음과 같습니다.

$(\displaystyle H(f)=1+j{\frac {w}{B}}).}$

AWGN(Additional White Gausian Noise)에서 가우스 랜덤 신호 검출

노이즈가 많은 채널에서 검출하려는 신호도 랜덤(예: 흰색 가우스 프로세스 X(t))인 경우 K–L 확장을 구현하여 독립적인 관찰 시퀀스를 얻을 수 있습니다.이 경우, 검출의 문제는 다음과 같이 설명됩니다.

${\displaystyle H_{0:Y(t)=N(t)}$

$\displaystyle H_{1}:Y(t)=N(t)+X(t),\quad 0<T.}$

X(t)는 $상관함수{\displaystyle {}_{}}$ R${\displaystyle {}_{}{X}_{}}$ (${\displaystyle t}$ ,${\displaystyle s}$ ) ${\displaystyle =E}$ {${\displaystyle X}$ (${\displaystyle t}$ )${\displaystyle X}$ (${\displaystyle s}$ ) $}$ { $displaystyle R$_ { $X }$ ( t , s ) =$E$\ {$X$ ($s )$ \ } 를 가지는 랜덤 프로세스입니다.

X(t)의 K-L 팽창은

${\displaystyle X(t)=\sum _{i=1}^{\infty}X_{i}\Phi _{i}(t),}$

어디에

${\displaystyle X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t),dt}$

${\displaystyle {\phi }_{}}$i ( ${\displaystyle t}$ $){ display$ \ $Phi$_ { $i$（ $t$） }는$$, 다음과 같은 대처법입니다.

$\displaystyle \int _{0}^{T}R_{X}(t,s)\Phi _{i}(s)ds=\paramda _{i}\Phi _{i}(t)}$

$따라서{\displaystyle {}_{}}$(\$displaystyle$$X_$${$i$\})$는 평균과 ${\displaystyle {분산}_{}}$이 0인 r.v의 독립된 시퀀스입니다$.$displaystyle$\$$lambda_{$$i}).$Y(t)와 N(t)를 ${\displaystyle \mathrm{\delta i}}($$t)$로 확장하면 $다음$과 같습니다.

${\displaystyle Y_{i}=\int _{0}^{T}Y(t)\Phi _{i}(t),dt=\int _{0}^{T}[N(t)+X(t)]\Phi _{i}(t)=N_{i}+X_{i}}$

어디에

${\displaystyle N_{i}=\int _{0}^{T}N(t)\Phi _{i}(t),dt.}$

N(t)은 가우스 백색 노이즈, $(\$$$N_${i$는 평균이 0이고 ${\displaystyle \frac{\mathrm{분산}}{}}$이 1 $0인$ r.v의 i.i.d 시퀀스이므로 $다음$과 같이 문제를 단순화할 수 있습니다.

${\displaystyle H_{0}:Y_{i}=N_{i}}$

${\displaystyle H_{1}:Y_{i}=N_{i}+X_{i}}$

Neyman-Pearson 최적 검정:

$\displaystyle \Lambda = flac {f_{Y}\mid H_{1}}{f_{Y}\mid H_{0}}=Ce^{-\sum _{i=1}^{\infty}{\frac {y}^{2}}{{2}}{\frac {\tfrac {1}{2}}{0}{\b}{\lam}{\frac {0}{\frac {\frac}$

따라서 로그우도비는

${\displaystyle {mathcal {L}=\ln(\Lambda)=K-\sum_{i=1}^{infty}{{2}{\tfrac {i}{i}{i}{{i}}{{\frac {N}}{{\frac {\frac}}}{{{{{\frac}}}}}}{{{\frac}}}}}}{{{\frac}}}}}{\frac}}}}{\frac}}}}}}{{{\}$

부터

${\displaystyle {X}_{i}=frac {\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\오른쪽)}}}$

$($ Y_${i$의 경우 $($ X_${i$})의 최소 평균 제곱 추정치입니다.

${\displaystyle {\mathcal {L}}=K+{\frac {1}{N_{0}}\sum _{i=1}^{\infty}Y_{i}{\widehat {X}}_{i}.}$

K–L 확장에는 다음과 같은 특성이 있습니다.한다면

$\displaystyle f(t)=\sum f_{i}\Phi _{i}(t),g(t)=\sum g_{i}\Phi _{i}(t),}$

어디에

${\displaystyle f_{i}=\int _{0}^{T}f(t)\Phi _{i}(t), dt,\sec g_{i}=\int _{0}^{T}g(t)\Phi _{i}(t),dt.}$

그리고나서

$\displaystyle \sum _{i=1}^{\infty}f_{i}g_{i}=\int _{0}^{T}g(t)f(t),dt.}$

그럼...

${\widehat {X}(t\mid T)=\sum _{i=1}^{\infty}{\widehat {X}_{i}\Phi _{i}(t),\cisco {Mathcal {L}}=K+{\frac {1}{N_{0}}\int _{0}^{T}Y(t){\widehat {X}(t\mid T),d.}.$

비원인 필터 Q(t,s)를 사용하여 견적을 얻을 수 있습니다.

${\displaystyle {X}(t\mid T)=\int _{0}^{T}Q(t,s)Y,ds}$

직교성 원리에 의해 Q(t,s)는 다음을 만족한다.

${\displaystyle \int _{0}^{T,s)R_{X}(s,t),ds+{\tfrac {N_{0}{2}}Q(t,\lambda)=R_{X}(t,\lambda),0<\da>.}$

그러나 실제적인 이유로 $추정치{\displaystyle \stackrel{}{}}$X ${\displaystyle ^}$ ( ${\displaystyle t}$ ${\displaystyle )}$ t$$) { $displaystyle$\ $widehat${ X$$} ( t \ $mid$t ) $\}$ 를 얻으려면 원인 필터 h(t$,$s) = s > t 를 추가로 도출해야 한다. 구체적으로는,

${\displaystyle Q(t,s)=h(t,s)+h(s,t)-\int _{0}^{T}h(\lambda,t)h(s,\lambda),d\lambda }$

「 」를 참조해 주세요.

• 주성분 분석
• 다항식 카오스
• 커널 Hilbert 공간을 재생하는 중
• 머서의 정리

메모들

레퍼런스

• Stark, Henry; Woods, John W. (1986). Probability, Random Processes, and Estimation Theory for Engineers. Prentice-Hall, Inc. ISBN 978-0-13-711706-2. OL 21138080M.
• Ghanem, Roger; Spanos, Pol (1991). Stochastic finite elements: a spectral approach. Springer-Verlag. ISBN 978-0-387-97456-9. OL 1865197M.
• Guikhman, I.; Skorokhod, A. (1977). Introduction a la Théorie des Processus Aléatoires. Éditions MIR.
• Simon, B. (1979). Functional Integration and Quantum Physics. Academic Press.
• Karhunen, Kari (1947). "Über lineare Methoden in der Wahrscheinlichkeitsrechnung". Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys. 37: 1–79.
• Loève, M. (1978). Probability theory. Vol. II, 4th ed. Graduate Texts in Mathematics. Vol. 46. Springer-Verlag. ISBN 978-0-387-90262-3.
• Dai, G. (1996). "Modal wave-front reconstruction with Zernike polynomials and Karhunen–Loeve functions". JOSA A. 13 (6): 1218. Bibcode:1996JOSAA..13.1218D. doi:10.1364/JOSAA.13.001218.
• Wu B., Zhu J., Najm F.(2005) "비선형 시스템의 동적 범위 추정을 위한 비모수적 접근법"2005년 디자인 자동화 회의 진행 중 (841-844)
• Wu B., Zhu J., Najm F. (2006) "동적 범위 추정"집적회로 및 시스템의 컴퓨터 지원 설계에 관한 IEEE 트랜잭션, 제25호:9호 (1618–1636) 2006
• Jorgensen, Palle E. T.; Song, Myung-Sin (2007). "Entropy Encoding, Hilbert Space and Karhunen–Loeve Transforms". Journal of Mathematical Physics. 48 (10): 103503. arXiv:math-ph/0701056. Bibcode:2007JMP....48j3503J. doi:10.1063/1.2793569. S2CID 17039075.

외부 링크

• Mathematica KarhunenLoveDecomposition 함수.
• E161: Phr.의 컴퓨터 이미지 처리 및 분석 노트.Harvey Mudd College의 Ruye Wang [1]