최소 평균 제곱 오차

통계 및 신호 처리에서 최소 평균 제곱 오차(MMSE) 추정기는 추정기 품질의 공통 척도인 평균 제곱 오차(MSE)를 종속 변수의 적합치에 대해 최소화하는 추정 방법이다. 베이시안 설정에서 MMSE라는 용어는 2차 손실 함수를 사용한 추정을 더 구체적으로 말한다. 이러한 경우 MMSE 추정기는 추정할 파라미터의 후측 평균에 의해 주어진다. 후방 평균은 계산하기가 번거롭기 때문에 MMSE 추정기의 형태는 대개 특정 종류의 함수 내에 있도록 제한된다. 선형 MMSE Estimator는 사용하기 쉽고 계산하기 쉬우며 매우 다재다능하기 때문에 인기 있는 선택이다. 그것은 비너-콜모고로프 필터와 칼만 필터와 같은 많은 인기 있는 추정기들을 만들어냈다.

동기

MMSE라는 용어는 2차 비용 함수를 갖는 베이지안 환경에서 추정하는 것을 더 구체적으로 말한다. 베이시안 추정에 대한 접근방식의 기본 개념은 추정할 모수에 대해 종종 사전 정보를 가지고 있는 실제 상황에서 비롯된다. 예를 들어, 모수가 가정할 수 있는 범위에 대한 사전 정보가 있을 수도 있고, 새로운 관찰이 가능할 때 수정하고자 하는 모수의 이전 추정치 또는 음성과 같은 실제 무작위 신호의 통계량이 있을 수도 있다. 이는 매개변수에 대해 사전에 전혀 알려진 것이 없으며 그러한 상황을 설명하지 않는 최소분산 추정기(MVUE)와 같은 비베이시안 접근법과 대조적이다. 베이시안 접근법에서 그러한 사전 정보는 매개변수의 사전 확률밀도함수에 의해 포착된다. 그리고 베이즈 정리에 직접 기초하여 더 많은 관측치를 이용할 수 있을 때 더 나은 후방 추정을 할 수 있다. 따라서 관심 매개변수가 결정론적이지만 알려지지 않은 상수로 가정되는 비-베이시안 접근방식과 달리, 베이시안 추정자는 그 자체가 랜덤 변수인 매개변수를 추정하려고 한다. 더욱이 베이지안 추정은 관측의 순서가 반드시 독립적이지 않은 상황도 다룰 수 있다. 따라서 베이지안 추정은 MVUE에 대한 또 다른 대안을 제공한다. 이것은 MVUE가 없거나 찾을 수 없을 때 유용하다.

정의

$x{\displaystyle }$ ${\displaystyle x}$을(를) $n{\displaystyle }$ ${\displaystyle \times }$ 1 ${\displaystyle$ n$\times 1}$ 숨겨진$$ 랜덤 벡터 변수로 하고, $y{\displaystyle }$ ${\displaystyle y}$을(를) $m{\displaystyle }$ ${\displaystyle \times }$ 1 ${\displaystyle m\times 1}$ ${\displaystyle \mathrm{알려진}}$ 랜덤 벡터 변수(측정 또는 관측치)로$$ 두 변수 모두 동일한 차원이 반드시 동일하지는 않는다. $x{\displaystyle }$ ${\displaystyle \{\backslash \mathrm{displaystyle}}$ x$}$의 $추정기$ x $^(y$ ) ${\displaystyle$ {\data{x}($y$$)}$는 $측정{\displaystyle }$ y$${\$displaystyle$y}의 모든 기능이다$.$ 추정 오차 벡터는 $e{\displaystyle }$= ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$- x ${\displaystyle e={\hat {x}-x}$에 의해 제공되며$$, 평균 제곱 오차(MSE)는 오차 공분산 행렬의 추적에 의해 제공된다.

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\\operatorname {E} \{\hat {x}-x)({\hat {x}-x)^{\hat {x}-x)^{{T}\}\right\}=\operatorname {E} \{\hat {x}-x)^{T}({\hat {{x}-x)\}}$

where the expectation ${\displaystyle \operatorname {E} }$ is taken over both ${\displaystyle x}$ and ${\displaystyle y}$. When ${\displaystyle x}$ is a scalar variable, the MSE expression simplifies to ${\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$. NoMSE는 다른 방법으로 동등하게 정의될 수 있다.

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\오른쪽\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

MMSE 추정기는 최소 MSE를 달성하는 추정기로 정의된다.

${\displaystyle {\x}_{\operatorname {MMSE}}}}(y)=\operatorname {argmin} _{\hat {x}\operatorname {MSE} .}$

특성.

• 평균과 분산이 유한할 경우 MMSE 추정기는 고유하게 정의되며^[1] 다음과 같이 지정된다.

${\displaystyle {\hat {{x}_{\operatorname {MMSE}}}(y)=\operatorname {E} \{x\mid y\}.}$

즉, MMSE 추정기는 측정값의 알려진 관측값으로 $주어진$ x$${\$displaystyle$x}의 조건부 기대값이다.

• MMSE 추정기는 (위에서 언급한 정규성 가정 하에서) 편향되지 않는다.

${\displaystyle \operatorname {E} \{\hat{x}_{\operatorname {MMSE}}}}}}(y)\}=\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}}.}$

• MMSE 추정기는 증상 없이 편향되지 않으며 분포에서 정규 분포로 수렴된다.

${\displaystyle {\sqrt {{n}({\hat {x}-x)}{\x오른쪽 화살표 {d}{\\mathcal{N}\왼쪽(0,I^{-1(x)\오른쪽),}$

여기서 $I{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle I(x)}$은(는) $x{\displaystyle }$ ${\displaystyle x}$의 Fisher 정보 입니다$.$ 따라서 MMSE 추정기는 점증적으로 효율적이다.

• 직교성 원리: When ${\displaystyle x}$ is a scalar, an estimator constrained to be of certain form ${\displaystyle {\hat {x}}=g(y)}$ is an optimal estimator, i.e. ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$ if and only if

${\displaystyle \operatorname {E} \{\hat {x}_{\operatorname {MMSE}}-x(y)g(y)\}=0}$

for all ${\displaystyle g(y)}$ in closed, linear subspace ${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$ of the measurements. 랜덤 벡터의 경우 랜덤 벡터 추정에 대한 MSE는 좌표의 MSE 합이므로 랜덤 벡터의 MMSE 추정기를 찾는 것은 분해되어 X 좌표의 MMSE 추정기를 찾는 것으로 분해된다.

${\displaystyle \operatorname {E} \{(g_{i}^{*(y)-x_{i}g_{j}\}=0,}$

저나 저나 저나 다 좀 더 간결하게 표현하면 최소 추정 $오차{\displaystyle {\stackrel{}{}}_{}}$ x ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle \mathrm{MMSE}{}_{}}$- x ${\displaystyle {\x}_{\operatorname {MMSE} }-x}$과(와) 추정기 $x{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$ 사이의 교차 상관 관계가 0이어야 한다$$.

${\displaystyle \operatorname {E} \{\hat {x}_{\operatorname {MMSE}-x}{\hat {x}^{{}}T}\}=0.}$

• $x{\displaystyle }$ ${\displaystyle x}$과 y ${\displaystyle y}$이(가) 공동으로 가우스식인 경우 MMSE 추정기는 선형이며, 즉, $행렬{\displaystyle }$ W$${\$displaystyle W}$ 및$$ $상수{\displaystyle }$ b$${\$displaystyle b}$에 $대해{\displaystyle }$ ${\displaystyle \mathrm{Wy}}$ ${\displaystyle +}$ ${\displaystyle b}${\$displaysty+b}$ 형식을 갖는다$.$ 이것은 베이즈 정리를 이용하여 직접 보여줄 수 있다. 따라서 MMSE 추정기를 찾으려면 선형 MMSE 추정기를 찾기에 충분하다.

선형 MMSE 추정기

많은 경우 MMSE 추정기의 해석적 표현을 결정할 수 없다. MMSE 추정치를 얻기 위한 두 가지 기본적인 수치적 접근방식은 조건부 기대 $E{\displaystyle \mathrm{}\{x\backslash \mathrm{mid}}$ y$\}{E}\{x\mid y\}}}$을(를) 찾거나$$ MSE의 $최소값$을 찾는데 달려 있다. 조건부 기대치에 대한 직접 수치적 평가는 다차원적 통합을 필요로 하는 경우가 많기 때문에 계산적으로 비용이 많이 든다.보통 몬테카를로 방식으로 행해진다. 또 다른 계산적 접근방식은 확률적 경사 강하 방법과 같은 기법을 사용하여 MSE의 미니마를 직접 구하는 것이다; 그러나 이 방법은 여전히 기대의 평가를 필요로 한다. 이러한 수치적 방법은 효과를 거두었지만, 그럼에도 불구하고 우리가 약간의 타협을 할 의향이 있다면 MMSE 추정기에 대한 폐쇄적인 형태 표현은 가능하다.

한 가지 가능성은 전체 최적성 요구사항을 포기하고 선형 추정기 등급과 같은 특정 종류의 추정기 내에서 MSE를 최소화하는 기법을 모색하는 것이다. Thus, we postulate that the conditional expectation of ${\displaystyle x}$ given ${\displaystyle y}$ is a simple linear function of ${\displaystyle y}$, ${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$, where the measurement ${\displaystyle y}$ is a random vector, ${\displays$$tyle W}$은 $행렬$이고 b ${\displaystyle b}$은 벡터다$$. $이$는 E $mid$ y$\}{\displaystyle \operatorname {E} \{x\$mid $y\}}$의 첫 번째 주문 Taylor 근사치로 볼 수 있다$.$ 선형 MMSE 추정기는 그러한 형태의 모든 추정기 중에서 최소 MSE를 달성하는 추정기다. 즉, 다음과 같은 최적화 문제를 해결한다.

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}}\qquad{\hat{x}}=Wy+b.}$

이러한 선형 MMSE 추정기의 한 가지 장점은 $x{\displaystyle }$ ${\displaystyle$ x$}$의 후방 확률밀도함수를 명시적으로 계산할 필요가 없다는 것이다$.$ 이러한 선형 추정기는 $x{\displaystyle }$ ${\displaystyle$ x$}$와 $y{\displaystyle }$ ${\displaysty y}$의 처음 두 순간에만 의존하므로 $x$로 추정하는 것이 편리할 수 있다$.$$[\$displaystyle $x}$과($와{\displaystyle }$) y ${\displaystyle y}$은(는) 공동으로 가우스식이며, 가정된 분포가 첫 번째와 두 번째 순간을 잘 정의한 이상 이 가정을 할 필요가 없다. 선형 추정기의 형태는 가정된 기초 분포의 유형에 따라 달라지지 않는다.

최적의 $b{\displaystyle }$ ${\displaystyle b}$ 및 $W$ ${\displaystyle W}$에 대한 표현식은 다음을 통해 제공된다$$.

${\displaystyle b={\bar}-W{\bar {y},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

$여기$서 $x{\displaystyle \stackrel{\text{'}}{}}$= ${\displaystyle \mathrm{e}}$ ${\displaystyle {\x}=\operatorname {E}\{x$ y${\displaystyle \text{'}}$ = ${\displaystyle E\{}$ {${\displaystyle \},}${\$displaystyle {\y}=\operatorname {E}$\{$y\}}},$ $C$ ${\displaystyle X_{}}$ Y ${\$}$Y}$은(는) $x{\displaystyle }$ ${\displaystyle x}$과(와) $y{\displaystyle }$ ${\displaystyle y}$ 사이의 교차 공분산 행렬이며$,$ $C{\displaystyle {}_{}}$ ${\displaystyle Y_{}}$ ${\$ $C_$${Y$$}$은 $y$${\displaystyle$ y}의 자동 공분산 행렬이다.

따라서 선형 MMSE 추정기, 평균 및 자동 공분산 표현식은 다음과 같다.

${\displaystyle {\x}=W(y-{\bar {y})+{\bar {x},}$

${\displaystyle \operatorname {E} \{\hat {x}\}\={\bar {x},}$

${\displaystyle C_{\hat{X}=C_{X}Y}C_{Y}^{-1}C_{YX}}$

$여기$서 C ${\displaystyle Y_{}}$ ${\displaystyle X_{}}$ ${\$은$($는) $y{\displaystyle }$ {\$displaystyle y}$과$($와) $x{\displaystyle }$ {\$displaystyle x}$ 사이의 교차 공분산 행렬이다$.$

마지막으로, 그러한 추정자가 달성할 수 있는 오차 공분산 및 최소 평균 제곱 오차는 다음과 같다.

${\displaystyle C_{e}=C_{X}-C_{\hat{X}=C_{X}-C_{X}Y}C_{Y}^{-1}C_{YX}}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

일변량 케이스

$x{\displaystyle }$ ${\displaystyle x}$ 및$$ $y{\displaystyle }$ ${\displaystyle y}$이(가) 모두 스칼라인 특수한$$ 경우에 대해 위의 관계는 다음과 같이 단순화된다.

${\displaystyle {\hat{x}={\frac {\sigma _{X}Y}{{\sigma _{Y}^{2}}(y-{\bar{y}})+{\bar{x}}=\x}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}}(y-{bar {y}}}}}}},},}})}}$

${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{X}Y}^{2}}:{\sigma _{Y}^{2}}=(1-\rho ^{2})\sigma _{X}^{2}}}$

$여기$서 $\rho {\displaystyle }$ ${\displaystyle \rho$}은$($는) x ${\displaystyle$ x$}$과($와{\displaystyle }$) y ${\displaystyle y}$ 사이의 Pearson의 상관 계수다$.$

연산

$Gauss{\displaystyle }$ 제거와 같은 표준 $방법$을 사용하여 W${\$displaystyle W$}$의 행렬 방정식을 해결할 수 있으며$,$ QR 분해법으로 보다 수치적으로 안정된 방법을 제공한다. 매트릭스 $C{\displaystyle {}_{}}$ ${\displaystyle Y_{}}$ ${\$는 대칭 양정확정 매트릭스이기$$때문에 W {\$displaystyle$ W$}$은(는) 슐레스키 분해로 두 배 빠르게 해결할$$ 수 있는 반면, 대형 희소성 시스템의 경우 결합 그라데이션 방법이 더 효과적이다. 레빈슨 재귀는 $C{\displaystyle {}_{}}$ ${\displaystyle Y_{}}$ ${\$도 토우플리츠 매트릭스일 때 빠른 방법이다. $이$는 y ${\displaystyle y}$이(가) 넓은 감각의 정지 프로세스일$$ 때 발생할 수 있다. 이러한 정지 상태에서 이러한 추정기를 Wiener-Kolmogorov 필터라고도 한다.

선형 관측 프로세스를 위한 선형 MMSE 추정기

Let us further model the underlying process of observation as a linear process: ${\displaystyle y=Ax+z}$, where ${\displaystyle A}$ is a known matrix and ${\displaystyle z}$ is random noise vector with the mean ${\displaystyle \operatorname {E} \{z\}=0}$ and cross-covariance ${\displaystyle C_{XZ}=0}$${\displaystyle C_{XZ}=0$ 여기서 요구되는 평균과 공분산 행렬은 다음과 같다.

${\displaystyle \operatorname {E} \{y\}=A{\bar {x},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z}}$

${\디스플레이 스타일 C_{XY}=C_{X}A^{T}.}$

따라서 선형 MMSE 추정기 $매트릭스{\displaystyle }$W {\$displaystyle W}$에 대한 식이 다음으로 수정된다$$.

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z}^{-1}.}$

$x{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$의 표현에 모든 것을 입력하면

${\displaystyle {\x}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z}^{-1}(y-A{\bar{x}})+{\bar {x}}.}$

마지막으로 공분산 오류는

${\displaystyle C_{e}=C_{X}-C_{X}-{X}}=C_{X}-C^{X}A^{T}(AC_{X}A^{X}A^{X}}}{X}}}}}{X}A^{\}}}T}+C_{Z}^{-1}AC_{X}.}$

위에서 처리한 추정 문제와 최소 제곱 및 가우스-마코프 추정치 사이의 유의한 차이는 관측치 m(즉, $y{\displaystyle }$ ${\displaystyle y}$의 치수$)$이 적어도 알 수 없는 수, n(즉, $x{\displaystyle }$ ${\displaystyle x}$의 치수)만큼 클 필요는 없다는 것이다.$$ ${\displaystyle {\mathrm{선형}}^{}}$ 관측 프로세스에 대한 추정치는 m-by-m 행렬$({\displaystyle A}$ ${\displaystyle {}_{}}$ X ${\displaystyle A^{}}$ ${\displaystyle {}_{}{}^{}}$+ ${\displaystyle {}_{}}$ ${\displaystyle Z_{}{}^{}}$)${\displaystyle {}^{}}$- 1 ${\$$T}+C_{Z}^{-1}$이 존재한다$$. 예를 들어, C ${\displaystyle Z_{}}$ ${\$가 양수 확정인$$ 경우라면 이는 임의의 m에 해당된다. 물리적으로 이 속성의 이유는 $x{\displaystyle }$ ${\displaystyle x}$이(가) 이제 랜덤 변수가 되었기$$ 때문에 측정치가 없어도 의미 있는 추정치(명칭 평균)를 형성할 수 있기 때문이다. 모든 새로운 측정은 단순히 우리의 원래 추정치를 수정할 수 있는 추가 정보를 제공한다. 이 추정치의 또 다른 특징은 m < n의 경우 측정 오차가 없어야 한다는 것이다. ${\displaystyle \mathrm{따라서}}$ $C{\displaystyle {}_{}}$ Z${\displaystyle {}_{}}$= 0 ${\displaystyle C_{Z}=0}$이(가) 있을 수 있다$.$ 왜냐하면 $A{\displaystyle }$ ${\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\displaystyle {}_{}{}^{}}$ ${\displaystyle T^{}}$ ${\$$T}}$은(는) 양적으로 확실하며, 추정치는 여전히 존재한다. 마지막으로 이 기법은 소음과 상관관계가 있는 경우를 다룰 수 있다.

대체형식

행렬 ID를 사용하여 다른 형태의 표현을 얻을 수 있다.

${\displaystyle C_{X}A^{T}(AC_{X}A^{T}+C_{Z}^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1}^{-1}}}^{-1}A^{-1}A^{{1}A^{1}}}}}T}C_{Z}^{-1}}$

$({\displaystyle A}$ ${\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\displaystyle {}_{}{}^{}}$ ${\displaystyle T^{}}$+ ${\displaystyle C_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle$ (AC_{$X}A^{$$T}+$$C_$${Z}}$을(를) 선택하고 (${\displaystyle A_{}^{}}$T ${\displaystyle {}_{}^{}}$ Z${\displaystyle }$- ${\displaystyle 1_{}^{}}$ ${\displaystyle {}_{}^{}}$+ C${\displaystyle {}_{}^{}}$X${\displaystyle }$- ${\displaystyle 1_{}^{}}$ ) , ${\displaystyle(A^{T}$C_{Z}^{-1}$A+C_{X$}^{-$1})$을(를) 사용하여$$ 사전 다중화하십시오$.{\displaystyle }$

${\displaystyle W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1}^{-1}}}^{-1}A^{1}}}}T}C_{Z}^{-1}}$

그리고

${\displaystyle C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1}^{-1}.}$

$W{\displaystyle }$ ${\displaystyle$ W$}$은(는) $이제{\displaystyle {}_{}}$ C e ${\$의 $용어$로${\displaystyle }$W = ${\displaystyle C_{}}$ ${\displaystyle {}_{}{}^{}}$ ${\displaystyle A^{}}$ T ${\displaystyle C_{}^{}}$Z - ${\displaystyle 1_{}^{}}${\$displaysty W=C_{e}A^{\$displaystystyle$T}C_{Z}^{-1$ $x{\displaystyle \hat{}}$ ${\$ {$x}}$에 대한 간단한$$ 식이 제공됨

${\displaystyle {\x}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar{x}})+{\bar {x}}.}$

이 형태에서 위의 표현은 가중치가 가장 낮은 사각형 및 가우스-마코프 추정치와 쉽게 비교할 수 있다. In particular, when ${\displaystyle C_{X}^{-1}=0}$, corresponding to infinite variance of the apriori information concerning ${\displaystyle x}$, the result ${\displaystyle W=(A^{T}C_{Z}^{-1}A)^{-1}A^{$$T}C_{Z}^{-1}$는 무게 매트릭스로 $C$ ${\displaystyle {\mathrm{Z}}_{}^{}}$- 1 ${\$를 사용하여 가중치가 부여된 선형 최소 제곱 추정치와 동일하다$$. Moreover, if the components of ${\displaystyle z}$ are uncorrelated and have equal variance such that ${\displaystyle C_{Z}=\sigma ^{2}I,}$ where ${\displaystyle I}$ is an identity matrix, then ${\displaystyle W=(A^{T}A)^{-1}A^{$$T}}$은 보통의 최소 제곱 추정치와 동일하다$$.

순차 선형 MMSE 추정

많은 실시간 애플리케이션에서 관측 데이터는 단일 배치로 이용할 수 없다. 대신에 관찰은 순차적으로 이루어진다. 이전 공식의 순진한 적용은 우리가 오래된 추정치를 버리고 새로운 데이터가 이용 가능하게 되면 새로운 추정치를 재평가하게 할 것이다. 그러나 그 후 우리는 옛 관찰에 의해 제공된 모든 정보를 잃게 된다. 관측치가 스칼라 수량인 경우, 그러한 재컴퓨팅을 피하는 한 가지 가능한 방법은 먼저 전체 관측 순서를 연결한 다음 사례 2에서 수행한 표준 추정 공식을 적용하는 것이다. 그러나 이것은 매우 지루할 수 있다. 왜냐하면 관측 횟수가 증가함에 따라 뒤집어서 곱해야 하는 행렬의 크기 또한 증가하기 때문이다. 또한 이 방법은 벡터 관측의 경우로 확장하기 어렵다. 순차 관측에서 추정에 대한 또 다른 접근법은 추가 데이터를 사용할 수 있을 때 단순히 이전 추정치를 업데이트하여 추정치를 더 미세하게 만드는 것이다. 따라서 새로운 측정치가 이전 추정치를 수정할 수 있는 재귀적 방법이 필요하다. 이러한 논의에서 암시하는 것은 $x{\displaystyle }$ ${\displaystyle x}$의 통계적 속성이 시간에 따라 변하지$$ 않는다는 가정이다. 즉, $x{\displaystyle }$ ${\displaystyle x}$이(가) 정지해 있는 것이다$$.

순차적 추정을 위해 공간 $Y{\displaystyle {}_{}}$ ${\$를 생성하는 측정값을 바탕으로$$ $x{\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$ ${\$을 추정할 경우, 다른 측정값을 받은 후 첫 번째 측정값의 결과에서 예상할 수 있는 부분을 빼야 한다.재물 즉, 업데이트는 이전 데이터와 직교하는 새 데이터의 해당 부분에 기초해야 한다.

과거 측정에 기초하여 최적의 $추정치{\displaystyle {\stackrel{}{}}_{}}$ x$$ ${\displaystyle 1_{\mathrm{}}}$ {\$displaystyle {\hat{x}_${1$}:{$1}가 형성되었다고$$ 가정해 보십시오. 이 오류 공분산 $행렬$은 ${\displaystyle {C{}_{}}_{}}$ ${\displaystyle {{e\mathrm{}}_{}}_{}}$ 1$${\$displaystyle C_{e_{1$ 선형 관측 프로세스의 경우 과거 관측치에 기초하여$$ $y{\displaystyle }$ ${\displaystyty y}$의 최선의 추정치라고 가정해 보십시오. ${\displaystyle {\stackrel{}{x}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$ ${\$}는$$$y{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$= ${\displaystyle A_{\mathrm{}}}$ ${\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ 1 ${\$$A{{\hat{x}_{1$ $y{\displaystyle }$ ${\displaystyle \stackrel{}{^}}$ ${\$을(를) ${\displaystyle y}$에서$$빼면 예측 오류가 발생한다.

${\displaystyle {\tilde{y}}=y-{\y}}=A(x-{\hat{x}_$$Ae_{1}+z}$.

추가 데이터에 기반한 새로운 추정치는 현재

${\displaystyle {\x}_{2}={\hat {x}_{1}+C_{X{\tilde{Y}}C_{\tilde{Y}}^{-1}{\tilde {y}},}$

where ${\displaystyle C_{X{\tilde {Y}}}}$ is the cross-covariance between ${\displaystyle x}$ and ${\displaystyle {\tilde {y}}}$ and ${\displaystyle C_{\tilde {Y}}}$ is the auto-covariance of ${\displaystyle {\tilde {y}}.$$}$

${\displaystyle \mathrm{E}\stackrel{}{\{\{\}}}$ ~$}$= 0 {\$displaystyle \operatorname$ {E}$\{{\tilde{y$}\}=${\displaystyle {\stackrel{}{}}_{}}$$}$${\displaystyle {}_{}{및}_{\mathrm{}}}$ $x$ = ${\displaystyle {1\mathrm{}}_{}}$ + ${\displaystyle {}_{}}$ + e 1 ${\$ x$={\x}_{1}+e_{1}}}}}}}}}}}$을 사용하여 오차 공분산 행렬을 얻을 수 있다$.$

${\displaystyle C_{\tilde{Y}}}=AC_{e_{1}A^{{T}+C_{Z}}$

${\displaystyle C_{X{\tilde{Y}}=\operatorname {E} \{{\hat {{x}_{1}+e_{1}-{\bar{x}}})(Aae_{1}+z)^{{{1}{1}+z)^{{{{{{{{}}}}}T}\}=C_{e_{1}A^{T}.}$

모든 것을 종합해 보면, 우리는 다음과 같은 새로운 견적을 가지고 있다.

${\displaystyle {\x}_{2}={\hat {x}_{1}+C_{e_{1}{1}A^{T}(AC_{e_{1}1}A^{1}T}+C_{Z}^{-1}(y-A{\hat{x}_{1}),}$

그리고 새로운 오차 공분산:

${\displaystyle C_{e_{2}}=C_{1}-C_{1}-C_{e_{1}{1}A^{T}(AC_{e_{1}:{1}A^{1})T}+C_{Z}^{-1}AC_{e_{1}}}}$

더 많은 관측치를 사용할 수 있을 때 위의 두 방정식을 반복적으로 사용하면 재귀 추정 기법이 나온다. 표현은 보다 간결하게 다음과 같이 쓸 수 있다.

1. ${\displaystyle K_{t+1}=C_{e_}{t}A^{T}(AC_{e_{t}}}A^{{t}}}{{t}}}A^{{}}}}}T}+C_{Z}^{-1}}$
2. ${\displaystyle {\x}_{t+1}={\hat {x}_{t}+K_{t+1}(y-A{\x}_{t}),}$
3. ${\displaystyle C_{e_{t+1}}=(I-K_{t+1}A)C_{e_{t}}.}$

$매트릭스{\displaystyle }$K {\$displaystyle$ K$}$는 흔히 게인자라고 한다$$. 더 많은 데이터를 사용할 수 있을 때 이 세 단계가 반복적인 추정 알고리즘으로 이어진다. 이 아이디어가 비지속적인 사례에 일반화되면 Kalman 필터가 발생한다. 위에서 설명한 세 가지 업데이트 단계는 실제로 Kalman 필터의 업데이트 단계를 형성한다.

특수 사례: 스칼라 관측치

중요한 특별한 경우로서, 각각의 t-th 순간에서 기초적인 선형 관찰 프로세스가 $y{\displaystyle {}_{}}$= ${\displaystyle T_{}^{}}$ ${\displaystyle x_{}}$ t${\displaystyle {}_{}}$+ ${\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$}^{{t}}{{t$}}}}}}$와 같은 스칼라를 산출할 때 사용하기 쉬운 반복 표현을 도출할 수 있다.$T}x_{t}+z_{t}}$, where ${\displaystyle a_{t}}$ is n-by-1 known column vector whose values can change with time, ${\displaystyle x_{t}}$ is n-by-1 random column vector to be estimated, and ${\displaystyle z_{t}}$ is scalar noise term with variance ${\displaystyle \sigma _{t}^{2}}$. After (t+1)-th번째 관측치, 위의 재귀 방정식을 직접 $사용함$으로써${\displaystyle {\stackrel{}{}}_{}}$추정치 ${\displaystyle x_{}}$^ ${\displaystyle {\mathrm{t}}_{}}$+ 1 {\$displaystyle {\hat{x}_{t+$1}에 대한 식을 다음과$$ 같이 제공한다.

${\displaystyle {\x}_{t+1}={\hat {x}_{t}+k_{t+1}(y_{t+1}-a_{t+1}^{t+1}T}{\hat {x}_{t}}$

여기서 $y{\displaystyle {}_{}}$ ${\displaystyle t_{}}$+ ${\displaystyle 1_{}}$ ${\$은(는) 새로운 스칼라 관측치이고$$ gain ${\displaystyle {factor}_{}}$k t${\displaystyle {}_{}}$+ ${\displaystyle 1_{}}$ {\$displaystyle$k_${t+1$}은$$ n-by-1 열 벡터:

${\displaystyle k_{t+1}={\frac {(C_{e})_{t}a_{t+1}:{\sigma _{t+1}^{t+1}^{2}+a_{t+1}^{t+1}^{t+1}^{\frac {\frac}T}(C_{e})_{t}a_{t+1}.}$

$({\displaystyle {}_{}}$ ${\displaystyle e_{}{}_{}}$) ${\displaystyle {\mathrm{t}}_{}}$+ 1 ${\$}은$($는) n-by-n 오류 공분산 행렬로$$,

${\displaystyle (C_{e}_{t+1}=(I-k_{t+1}a_{t+1}^{t+1}^T}(C_{e}_{t}})$

여기서는 매트릭스 역전이 필요하지 않다. 또한 게인 $요인{\displaystyle {}_{}}$ ${\displaystyle k_{}}$t + ${\displaystyle 1_{}}${\$displaystyle k_{t+1$}은(는$)$ 이전 데이터에서 소음 분산에 의해 측정된 새 데이터 표본에 대한 신뢰도에 따라 달라진다. $x$${\displaystyle \stackrel{}{^}}$ ${\$ 및 ${\displaystyle C_{}}$ e$${\$displaystyle C_{e}$의 초기 $값$은 x$${\$displaystyle x$}의 어프리터 확률 밀도 함수의 평균 및 공분산인 것으로 간주된다$.$

대안적 접근방식: 이 중요한 특수 케이스는 또한 확률적 경사 강하를 사용하여 원래의 MSE 최적화 문제를 직접 해결하는 최소 평균 제곱 필터 및 재귀 최소 제곱 필터와 같은 많은 다른 반복적 방법(또는 적응형 필터)을 발생시켰다. 단, $추정오류{\displaystyle }$e {\$displaystyle e}$을(를) 직접 관측할 수 없으므로$$, 이 방법들은 평균 제곱 예측오류 $E{\displaystyle \mathrm{}}${ { ${\displaystyle {\stackrel{}{}}^{}}$~ ${\displaystyle {}^{}\stackrel{}{}}$ y${\displaystyle \stackrel{}{}}$~ ${\displaystyle \}}$ ${\displaystyle \mathrm {E} \{\tilde{y$}}^{}}}{\tild$}^{}}{}}}}}}}}}}}}}^{$$T}{\tilde {y}}\}}$. For instance, in the case of scalar observations, we have the gradient ${\displaystyle \nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.}$$$ 따라서 최소 평균 제곱 필터에 대한 업데이트 방정식은

${\displaystyle {\x}_{t+1}={\hat {x}_{t}+\eta_{t}\{t}\mathrm {E}\{{\tilde{y}_{t}a_{t}}\}}}}}$

where ${\displaystyle \eta _{t}}$ is the scalar step size and the expectation is approximated by the instantaneous value ${\displaystyle \mathrm {E} \{a_{t}{\tilde {y}}_{t}\}\approx a_{t}{\tilde {y}}_{t}}$. As we can see, these methods bypass the need for covariance matri제왕 절개 수술을 하다

예

예 1

우리는 선형 예측 문제를 예로 들 것이다. 관측된 스칼라 랜덤 변수 z 1,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}}$$및 ${\displaystyle z_{}}$ $3{\displaystyle {}_{}}$ ${\$$}$의 선형 조합을 사용하여$$ $z{\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ 4${\displaystyle {}_{}}$= ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{i}}}$= ${\displaystyle \underset{}{\overset{}{3}}}$ ${\displaystyle w_{}}$ ${\displaystyle i_{}}$ = ${\displaystyle \underset{}{\overset{}{\mathrm{}}}}$ i ${\$을 추정하도록 한다.$=\sum _{i=1}^{3}w_{i}z_{i$ $임의변수{\displaystyle }$ z${\displaystyle }$=${\displaystyle }$[${\displaystyle {z\mathrm{}}_{}}$ 1${\displaystyle {}_{}}$ ${\displaystyle {z\mathrm{}}_{}}$ 2,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {4\mathrm{}}_{}{}^{}}$ ${\displaystyle T^{}}${\$displaysty z=[z_{1},z_{$2},$z_{3},z_{4}]^$${T}$은(는) 평균이 0인 실제 가우스 랜덤 변수 및 공분산 행렬이

${\displaystyle \operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],}$

then our task is to find the coefficients ${\displaystyle w_{i}}$ such that it will yield an optimal linear estimate ${\displaystyle {\hat {z}}_{4}}$.

In terms of the terminology developed in the previous sections, for this problem we have the observation vector ${\displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$, the estimator matrix ${\displaystyle W=[w_{1},w_{2},w_{3}]}$ as a row vector, and the estimated variable ${\displaystyle x=z_{4}}$ as a scalar quantity. The autocorrelation matrix ${\displaystyle C_{Y}}$ is defined as

${\displaystyle C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].}$

교차 상관 행렬 $C{\displaystyle {}_{}}$ ${\displaystyle Y_{}}$ ${\displaystyle X_{}}$ ${\$은(는) 다음과 같이 정의된다$$.

${\displaystyle C_{YX}=\왼쪽[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}\오른쪽]=\왼쪽[{\begin{array}{c}4\\\9\\\10\end{array}\오른쪽].}$

$이제{\displaystyle {}_{}}$ C ${\displaystyle Y_{}}$${\displaystyle W_{}}$ $T$${\displaystyle {}^{}}$= ${\displaystyle {}_{}}$ ${\displaystyle Y_{}}$ ${\displaystyle X_{}}$ ${\$$displaystyle$ $C_{Y}W^{T}=C_$${YX}}$을(를) 뒤집고$$ 사전 멀티플라이딩하여 다음$$ 식을 구한다.

${\displaystyle C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}}$

So we have ${\displaystyle w_{1}=2.57,}$ ${\displaystyle w_{2}=-0.142,}$ and ${\displaystyle w_{3}=.5714}$ as the optimal coefficients for ${\displaystyle {\hat {z}}_{4}}$. Computing the minimum mean square error then gives ${\displaystyle {\Vert e\Vert }_{min}^2=\mathrm{E}[{}_{}}$Z4z4]− WCYX=15− WCYX).2857{\displaystyle\left\Vert e\right\Vert_{\min}^{2}=\operatorname{E}[z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}.[2]다는 것 CY{\displaystyle C_{Y}의 명시적 매트릭스 인버스를 얻기 위해}W{W\displaystyle}의 값을 계산할 필요는 없다. 매트릭스 equ.ati온은 가우스 제거 방법과 같이 잘 알려진 방법으로 해결할 수 있다. 더 짧은 비숫자적 예는 직교성 원리에서 찾을 수 있다.

예 2

흰색 가우스 노이즈로 인해 교란된$$ 고정 스칼라 파라미터 $x{\displaystyle }$ ${\displaystyle$ $x$$}$에 대한 $N{\displaystyle }$ ${\displaystyle$ N$}$ 관측치를$$ 취함으로써 형성된$$ 벡터 $y{\displaystyle }$ ${\displaystyle y}$을(를) 고려하십시오. $공정$을 선형 방정식 y =${\displaystyle 1}$ x +${\displaystyle z}$ ${\displaystyle$ y$=1x+z$ ${\displaystyle \mathrm{여기}}$서 1 = [ ${\displaystyle 1}$, 1, ${\displaystyle 1^{}}$,${\displaystyle }$…${\displaystyle }$, 1${\$ 1$=[1,1,\ldots ,1]^$로 설명할 수 있다.${T$ 컨텍스트에 따라 $1{\displaystyle \mathrm{}}$ ${\displaystyle 1}$이(가) 스칼라인지$$ 벡터인지 구별된다. $[{\displaystyle }$- ${\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$, x ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle [-x_{0},x_{0}]$을(를) $x{\displaystyle }$ ${\displaystyle$ x$}$의 값이 포함될$$ 범위라고$$ 가정합시다. We can model our uncertainty of ${\displaystyle x}$ by an aprior uniform distribution over an interval ${\displaystyle [-x_{0},x_{0}]}$, and thus ${\displaystyle x}$ will have variance of ${\displaystyle \sigma _{X}^{2}=x_{0}^{2}/3.}$. Let the noise vector ${\displaystyle z}$${\displaystyle z}$은(는) $일반적$으로 N${\displaystyle }$($0$ Z ${\displaystyle {}_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$)로 배포되며$,$ $여기$서 I ${\displaystyle I}$은(는$)$ ID 매트릭스다$.$ 또한 $x{\displaystyle }$ ${\displaystyle x}$ 및$$ $z{\displaystyle }$ ${\displaystyle z}$은(는) 독립적이며$$ $C{\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\displaystyle Z_{}}$= ${\displaystyle 0}$ ${\displaystyle C_{XZ}=0}$. 는 것을 쉽게 알 수 있다.

${\displaystyle {\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}}$

Thus, the linear MMSE estimator is given by

${\displaystyle {\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}}$

We can simplify the expression by using the alternative form for ${\displaystyle W}$ as

${\displaystyle {\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}}$

where for ${\displaystyle y=[y_{1},y_{2},\ldots ,y_{N}]^{T}}$ we have ${\displaystyle {\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.}$

Similarly, the variance of the estimator is

${\displaystyle \sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.}$

Thus the MMSE of this linear estimator is

${\displaystyle \operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.}$

For very large ${\displaystyle N}$, we see that the MMSE estimator of a scalar with uniform aprior distribution can be approximated by the arithmetic average of all the observed data

${\displaystyle {\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},}$

while the variance will be unaffected by data ${\displaystyle \sigma _{\hat {X}}^{2}=\sigma _{X}^{2},}$ and the LMMSE of the estimate will tend to zero.

However, the estimator is suboptimal since it is constrained to be linear. Had the random variable ${\displaystyle x}$ also been Gaussian, then the estimator would have been optimal. Notice, that the form of the estimator will remain unchanged, regardless of the apriori distribution of ${\displaystyle x}$, so long as the mean and variance of these distributions are the same.

Example 3

Consider a variation of the above example: Two candidates are standing for an election. Let the fraction of votes that a candidate will receive on an election day be ${\displaystyle x\in [0,1].}$ Thus the fraction of votes the other candidate will receive will be ${\displaystyle 1-x.}$ We shall take ${\displaystyle x}$ as a random variable with a uniform prior distribution over ${\displaystyle [0,1]}$ so that its mean is ${\displaystyle {\bar {x}}=1/2}$ and variance is ${\displaystyle \sigma _{X}^{2}=1/12.}$ A few weeks before the election, two independent public opinion polls were conducted by two different pollsters. The first poll revealed that the candidate is likely to get ${\displaystyle y_{1}}$ fraction of votes. Since some error is always present due to finite sampling and the particular polling methodology adopted, the first pollster declares their estimate to have an error ${\displaystyle z_{1}}$ with zero mean and variance ${\displaystyle \sigma _{Z_{1}}^{2}.}$ Similarly, the second pollster declares their estimate to be ${\displaystyle y_{2}}$ with an error ${\displaystyle z_{2}}$ with zero mean and variance ${\displaystyle \sigma _{Z_{2}}^{2}.}$ Note that except for the mean and variance of the error, the error distribution is unspecified. How should the two polls be combined to obtain the voting prediction for the given candidate?

이전의 예와 같이, 우리는

${\displaystyle {\displaysty}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{정렬}}}$

Here, both the ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2}$. Thus, we can obtain the LMMSE estimate as the linear combination of ${\displaystyle y_{1}}$ and ${\displaystyle y_{2}}$ as

${\displaystyle {\x}=w_{1}(y_{1}-{\bar {x})+w_{2}(y_{2}-{\bar {x})+{\bar {x},}$

에 의해 가중치가 주어지는 곳

${\displaystyle {\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{정렬}}}$

여기서는 분모 용어가 일정하기 때문에 오차범위가 낮은 여론조사는 선거 결과를 예측하기 위해 가중치를 더 부여한다. 마지막으로 예측의 분산은 다음과 같다.

${\displaystyle \sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},}$

$\sigma {\displaystyle {}_{}^{}}$ ${\displaystyle {X\stackrel{}{}}_{}^{}}$ ${\displaystyle {\stackrel{}{^}}_{}^{}}$ ${\displaystyle 2_{\mathrm{}}^{}}$ ${\$}}:$$$\sigma {\displaystyle {}_{}^{}}$ X ${\displaystyle {}_{}^{}}$. ${\displaystyle \sigma _{X}^{2$}보다 작다$$$.$$}$

In general, if we have ${\displaystyle N}$ pollsters, then ${\displaystyle {\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},}$ where the weight for i-th pollster is given by ${\displaystyle w_i=\frac{1/{\sigma }_{Z_i}^2}{\sum _{i=1}^{N}1/{\sigma }_{Z_i}^{}}}$${\displaystyle w_{i}={\frac {1/\sigma _{Z_{i$$}$

예 4

한 음악가가 악기를 연주하고 있고 그 소리가 두 개의 마이크로폰에 의해 수신된다고 가정해 보자. 두 마이크로폰은 각각 서로 다른 장소에 위치한다. 각 마이크의 거리로 인한 소리의 감쇠는 알려진 상수로 가정하는 ${\displaystyle {1\mathrm{}}_{}}$ ${\$} ${\displaystyle {및}_{}}$ 2$${\$displaystyle a_{2$}}가 되도록 한다$.$ 마찬가지로 각 마이크의 소음을 평균과 분산이 각각 0인$$${\displaystyle {z\mathrm{}}_{}}$ 1 ${\$ $z_{$$1}:{$$1$$$$}^{2$$}}:$ ${\displaystyle {각각{}_{}}_{}^{}}$$$ Z 1 ${\displaystyle {{}_{}}_{\mathrm{}}^{}}$ 2 ${\$}^{2}}: ${\displaystyle {z{}_{}}_{}^{}}$ Z ${\$}}:$2}}.$ $let{\displaystyle }$ x ${\displaystyle$ x$}$는 음악가가 만들어내는 소리를 나타내며, $이$는 평균과 분산이 0인 임의 변수 X ${\displaystyle {}_{}^{}}$ ${\displaystyle \sigma _{X}^{2}.$$}}$ 이 두 마이크의 녹음된 음악은 어떻게$$ 서로 동기화되어야 하는가?

우리는 각 마이크가 수신하는 소리를 다음과 같이 모델링할 수 있다.

${\displaystyle {\displaysty}y_{1}&=a_{1}x+z_{1}}\\y_{2}&=a_{2}x+z_{2}.\end{정렬}}}$

여기서 $E{\displaystyle \mathrm{}}$ ${\displaystyle }${ y ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$= ${\displaystyle \mathrm{E}}$ ${\displaystyle }${ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle {}_{}}$= 0 ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0}$. 따라서 우리는 두 소리를 다음과 같이 결합할 수 있다.

${\displaystyle y=w_{1}y_{1}+w_{2}y_{2}}:$

i번째 무게가 주어지는 곳

${\displaystyle w_{i}={\frac {a_{i}/\sigma _{{Z_{i}}^{{{i}}^{2}/\Z_{i}}^{{{i}}}^{Z_}}}+1/\sigma _{X}^{2}}.}$

참고 항목

• 베이시안 추정기
• 평균 제곱 오차
• 최소 제곱
• 최소-분산 불편 추정기(MVUE)
• 직교성 원리
• 위너 필터
• 칼만 필터
• 선형예측
• 제로 강제 이퀄라이저

메모들

추가 읽기