스타인의 예

결정 이론과 추정 이론에서 스타인의 예(혹은 현상이나 역설)는 세 개 이상의 모수를 동시에 추정할 때 모수를 별도로 처리하는 어떤 방법보다 평균적으로 더 정확한 조합 추정기가 존재하는 현상이다(즉, 기대 평균 제곱 오차가 낮음).1955년 이 현상을 발견한 스탠퍼드대 찰스 스타인의 이름을 따서 지은 것이다.^[1]

직관적인 설명은 결합 추정기의 평균 제곱 오차에 대한 최적화는 개별 매개변수의 개별 추정기의 오차에 대한 최적화와 같지 않다는 것이다.실용적으로, 조합 오차가 실제로 관심 있는 경우, 기본 매개변수가 독립적이더라도 조합 추정기를 사용해야 한다.대신에 개별 모수를 추정하는 데 관심이 있다면 복합 추정기를 사용하는 것은 도움이 되지 않으며 실제로 더 나쁘다.

형식명세서

다음은 아마도 역설의 가장 단순한 형태일 것이며, 관측치의 수가 추정할 모수의 수와 동일한 특수한 경우일 것이다.θ은 n ≥ 3 미지의 파라미터로 구성된 벡터가 되도록 한다.이러한 모수를 추정하기 위해 각 모수 θ에_i 대해 단일 측정 X를_i 수행하여 길이 n의 벡터 X를 얻는다.측정값이 독립된 가우스 랜덤 변수(평균 θ 및 분산 1 포함)로 알려져 있다고 가정해 보십시오.

${\displaystyle {\mathbf {X}\\sim N({\boldsymbol {\theta },1)}$

따라서 각 파라미터는 단일 노이즈 측정으로 추정되며, 각 측정치는 동일하게 부정확하다.

이러한 조건에서는 각 측정치를 해당 모수의 추정치로 사용하는 것이 직관적이고 일반적이다.소위 "일반적인" 결정 규칙은 다음과 같이 쓸 수 있다.

${\displaystyle {\hat {\boldsymbol {\theta}}={\mathbf {X}}}$

그러한 추정기의 품질은 위험 함수에 의해 측정된다.일반적으로 사용되는 위험 함수는 평균 제곱 오차로서 다음과 같이 정의된다.

${\displaystyle \operatorname {E} \왼쪽[\\\\\\boldsymbol {\theta}-{\\boldsymbol {\\}}\right\{2}\right]}$

놀랍게도, 위에서 제안된 "일반적인" 추정기는 n ≥ 3의 평균 제곱 오차 측면에서 차선책임이 밝혀졌다.즉, 여기서 논의한 설정에는 ${\$의 값이 무엇이든$$ 간에 항상 낮은 평균 제곱 오차를 달성하는 대체 추정기가 존재한다.

주어진 θ의 경우, 항상 θ에 불과한 완벽한 "추정기"를 분명히 정의할 수 있지만, 이 추정기는 θ의 다른 가치에 좋지 않을 것이다.스타인의 역설 추정자는 주어진 θ의 경우 X의 일부 값에 대해서는 X보다 낫지만 다른 값에는 반드시 더 나쁠 것이다(아마도 새로운 추정이 항상 X보다 나은 하나의 특정한 θ 벡터는 제외한다).그들이 더 나은 것은 평균적으로 밖에 없다.

More accurately, an estimator ${\displaystyle {\hat {\boldsymbol {\theta }}}_{1}}$ is said to dominate another estimator ${\displaystyle {\hat {\boldsymbol {\theta }}}_{2}}$ if, for all values of ${\displaystyle {\boldsymbol {\theta }}}$, the risk of ${\displaystyle {\hat {\$$boldsymbol {\theta }}}_{1}}$ is lower than, or equal to, the risk of ${\displaystyle {\hat {\boldsymbol {\theta }}}_{2}}$, and if the inequality is strict for some ${\displaystyle {\boldsymbol {\theta }}}$. An estimator is said to be admissible if no other estimator dominates it, otherwise it is inadmissible.따라서 스타인의 예는 다음과 같이 간단히 말할 수 있다.다변량 가우스 분포의 평균 추정에 대한 일반적인 결정 규칙은 평균 오차 제곱 위험에서는 허용되지 않는다.

단순하고 실용적인 많은 평가자가 일반 평가자보다 더 나은 성능을 달성한다.가장 잘 알려진 예는 제임스호다.–X에서 시작하여 특정 지점(원점 등)을 향해 그 지점으로부터 X의 거리에 반비례하는 양으로 이동하는 것으로 동작하는 Stein Estimator.

이 결과의 증거에 대한 스케치는 Stein의 증명 예제를 참조하십시오.대안적인 증거는 래리 브라운에게 있다: 그는 N-차원 다변량 정상 평균 벡터에 대한 일반적인 추정기가 N-차원 브라운 운동이 재발하는 경우에만 허용된다는 것을 증명했다.^[2]브라운 운동은 n ≥ 3에 대해 반복되지 않기 때문에, 일반 추정자는 n 3 3에 대해 허용되지 않는다.

시사점

"일반적인" 의사결정 규칙이 직관적이고 일반적으로 사용되기 때문에 스타인의 예는 놀랍다.실제로 최대우도 추정기, 최적 선형 불편 추정기, 최소 제곱 추정 및 최적 등가변량 추정기 등 수많은 추정기 구성 방법은 모두 "보통" 추정기를 초래한다.그러나 위에서 논의한 바와 같이 이 추정기는 차선책이다.

관련이 없는 퇴적기를 사용한 미국 밀 생산 추정 예제

스타인의 예가 갖는 비양심성을 증명하기 위해, 다음의 실제 사례를 고려해보자.1993년 미국 밀 수확량, 2001년 윔블던 테니스 대회 관중 수, 슈퍼마켓에서 무작위로 선택한 캔디바의 무게와 같은 세 가지 관련 없는 매개변수를 추정한다고 가정하자.이 수량의 개별 가우스 측정이 있다고 가정합시다.이제 스타인의 예는 세 개의 관련 없는 측정을 동시에 사용함으로써 세 개의 모수의 벡터에 대해 더 나은 추정치를 얻을 수 있다는 것을 말해준다.

첫눈에 윔블던 관중 수, 캔디 바 무게와 같은 다른 관련 없는 통계를 측정함으로써 어떻게 해서든지 미국 밀 수확량에 대한 더 나은 추정기를 얻을 수 있을 것으로 보인다.이것은 물론 터무니없는 것이다; 우리는 그 자체로 미국 밀 수확량에 대한 더 나은 추정기를 얻지는 못했지만, 우리는 총 위험을 감소시키는 세 가지 랜덤 변수 모두의 수단의 벡터에 대한 추정기를 생산했다.이는 벡터의 한 요소에서 잘못된 추정의 원가가 다른 요소에서 더 나은 추정치에 의해 보상되기 때문에 발생한다.또한 새로운 추정치로 얻은 세 가지 추정 평균값의 특정 집합이 반드시 일반 집합(측정값)보다 나은 것은 아니다.새 추정기가 더 나은 것은 평균에 불과하다.

직관적인 설명

θ의 특정 값에 대해 새 추정기는 개별 평균 제곱 오류 $E{\displaystyle \mathrm{}}$ ${\displaystyle }$[ (${\displaystyle {\theta {}_{}}^{}}$ ${\displaystyle {i_{}}^{}}$ -${\displaystyle {{}_{}\theta {\stackrel{}{}}_{}}^{}}$ ${\displaystyle {{\stackrel{}{^}}_{}}^{}}$ ${\displaystyle {i_{}}^{}}$) ${\displaystyle {\mathrm{}}^{}{}^{}}$ . ${\displaystyle \operatorname {E} \left[{\theta _{i}-{}-{\hatta }{}}}}{{i}}}}*{2}\right]$를 개선한다$.$$}$ This is not hard − for instance, if ${\displaystyle \theta _{1}}$ is between −1 and 1, and σ = 1, then an estimator that moves ${\displaystyle X_{1}}$ towards 0 by 0.5 (or sets it to zero if its absolute value was less than 0.5) will have a lower mean square error than ${\displaystyle X_{1}}$ itself.그러나 $\theta {\displaystyle {}_{}}$ {\$displaystyle \theta$_$${$1}$의 다른 값이 있는데, 이$$ 추정기는 X ${\displaystyle {1\mathrm{}}_{}}$ ${\$} 자체보다 나쁘다.스타인 추정기 및 스타인의 역설을 산출하는 다른 추정기의 요령은 평균 제곱 오차가 개선되는$$ ${\displaystyle {Xi}_{}}$ ${\$가 항상 (어떤 θ 벡터에 대해) 한 개 이상 있을 정도로 이동을 조정하고, 그 개선은 평균 제곱 오차의 저하를 보상하는 것 이상이다.r 또 다른 $\theta {\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ^ ${\displaystyle i_{}}$ ${\$문제는 θ을 모르는 상태에서 n 평균 제곱 오차 중 어느 것이 개선되는지 모르기 때문에 그러한 파라미터에만 스타인 추정기를 사용할 수 없다는 점이다.

위의 설정의 예는 통신의 채널 추정에서 발생한다. 예를 들어, 다른 요인이 전체 채널 성능에 영향을 미치기 때문이다.

참고 항목

• 스타인의 예증
• 제임스-슈타인 추정기

메모들

참조

• Efron, B.; Morris, C. (1977), "Stein's paradox in statistics" (PDF), Scientific American, 236 (5): 119–127, doi:10.1038/scientificamerican0577-119
• Lehmann, E. L.; Casella, G. (1998), "ch.5", Theory of Point Estimation (2nd ed.), ISBN 0-471-05849-1
• Stein, C. (1956). "Inadmissibility of the usual estimator for the mean of a multivariate distribution". Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability. Vol. 1. pp. 197–206. MR 0084922.
• Samworth, R. J. (2012), "Stein's Paradox" (PDF), Eureka, 62: 38–41