불변 추정기

이 글에는 여러 가지 문제가 있다.이 문제를 개선하거나 대화 페이지에서 토의하십시오.(이러한 템플릿 메시지를 제거하는 방법 및 시기 알아보기) 이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오.(2010년 7월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) 이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "Invariant Estimator" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2010년 7월) (이 템플릿 메시지를 제거하는 방법과 시기 학습) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

통계에서 불변 추정기라는 개념은 동일한 수량에 대해 서로 다른 추정기의 특성을 비교하는 데 사용할 수 있는 기준이다.그것은 추정자가 직관적으로 호소력 있는 특정한 자질을 가져야 한다는 생각을 공식화하는 방법이다.엄밀히 말하면 "불변량"은 측정값과 모수가 모두 호환되는 방식으로 변환될 때 추정치 자체가 변경되지 않는다는 것을 의미하지만, 그러한 변환과 함께 적절한 방식으로 추정치가 변경될 수 있도록 의미가 확장되었다.^[1]등가 추정기라는 용어는 데이터 집합과 매개변수화에 대한 변경에 대응하여 추정기가 변화하는 방식의 관계에 대한 정확한 설명을 포함하는 형식적인 수학적 맥락에서 사용된다. 이는 보다 일반적인 수학에서 "등가성"을 사용하는 것과 일치한다.

일반설정

배경

통계적 추론에서 추정 이론에는 그러한 접근법에 따라 어떤 추정기를 사용해야 하는지를 즉시 결정하는 데 사용할 수 있는 몇 가지 접근법이 있다.예를 들어, 베이지안 추론에서 나온 아이디어는 베이지안 추정자들에게 직접 연결될 것이다.마찬가지로 고전적 통계적 추론 이론은 때때로 어떤 추정기를 사용해야 하는지에 대한 강한 결론을 이끌어낼 수 있다.그러나 이러한 이론의 유용성은 완전히 규정된 통계적 모델을 갖는 것에 달려 있으며 추정자를 결정하는 관련 손실 함수를 갖는 것에 달려 있을 수도 있다.따라서 베이지안 분석이 수행되어 관련 매개변수에 대한 후방 분포를 초래할 수 있지만 특정 효용 또는 손실 함수의 사용은 불분명할 수 있다.이후 불변의 아이디어는 후분포를 요약하는 과제에 적용될 수 있다.다른 경우에 통계적 분석은 완전히 정의된 통계적 모델 없이 수행되거나 고려되는 모델군이 그러한 취급에 순응할 수 없기 때문에 통계적 추론의 고전적 이론을 쉽게 적용할 수 없다.일반적인 이론이 추정기를 규정하지 않는 이러한 경우에 더하여, 추정기의 적용의 단순성을 위해서 또는 추정자가 강건하게 되도록 대체 형태의 추정자를 구할 때 추정기의 불변성 개념을 적용할 수 있다.

불변성의 개념은 때때로 추정자 사이의 선택 방법으로서 그 자체로 이용되기도 하지만, 이것이 반드시 결정적인 것은 아니다.예를 들어, 불변성의 요구사항은 추정자를 평균 편중시키지 않는다는 요구사항과 양립할 수 없을 수 있다. 반면에, 중위 편중성의 기준은 추정자의 표본 추출 분포 관점에서 정의되므로 많은 변환에서 불변한다.

불변성 개념의 한 가지 용도는 추정자의 계급 또는 집단이 제안되고 이들 중에서 특정 제형을 선택해야 하는 경우다.한 가지 절차는 관련 불변성 특성을 부여한 다음 이 세분류 내에서 최상의 성질을 가진 제형을 찾아 최적의 불변성 추정기라고 하는 것을 유도하는 것이다.

불변 추정기의 일부 클래스

불변 추정기를 다룰 때 유용하게 고려되는 변환에는 몇 가지 유형이 있다.각각은 그러한 특정 유형의 변환에 불변하는 추정기 클래스를 생성한다.

• 이동 불변도:개념적으로 위치 모수의 추정치는 데이터 값의 단순한 이동에 불변해야 한다.모든 데이터 값이 지정된 양만큼 증가하면 동일한 양만큼 추정치가 변경되어야 한다.가중 평균을 사용한 추정을 고려할 때, 이 불변 요건은 즉시 가중치가 1로 합해져야 한다는 것을 의미한다.동일한 결과가 종종 편향되지 않은 요구조건에서 도출되지만, "불균형"을 사용하면 평균값이 존재할 필요가 없으며 확률분포를 전혀 사용하지 않는다.
• 척도 불변도:추정기 척도 모수의 비침습성에 대한 이 항목은 집계 속성(물리학)에서 시스템의 동작에 대한 보다 일반적인 척도 비침습과 혼동되지 않아야 한다는 점에 유의하십시오.
• 매개 변수 변환 침입도:여기서 변환은 파라미터에만 적용된다.여기서의 개념은 모형이 매개변수 data을 사용한 경우처럼 본질적으로 동일한 추론을 동일한 데이터 및 매개변수 θ을 포함하는 모델에서 해야 한다는 것이다. 여기서 φ은 θ, φ=h(θ)의 일대일 변환이다.이러한 유형의 불변성에 따라 변형-불변성 추정기의 결과도 φ=h(θ)에 의해 연관되어야 한다.변환이 단조로울 때 최대우도 추정기는 이 속성을 갖는다.추정기의 점근 성질은 불변할 수 있지만, 작은 표본 성질은 다를 수 있으므로 특정 분포를 도출해야 한다.^[2]
• 순열 불변도:데이터 값 집합이 독립적이고 동일한 분포의 랜덤 변수의 결과라는 통계적 모델로 나타낼 수 있는 경우, 공통 분포의 모든 속성에 대한 추정자는 순열-변수(특히 펑티오)여야 한다는 요구사항을 부과하는 것이 합리적이다.데이터 집합의 n은 데이터 항목이 데이터 집합 내에서 교환되는 경우 변경되지 않아야 한다.

가중 평균을 사용하여 독립적이고 동일한 분포의 데이터 집합에서 위치 매개변수를 추정하기 위한 순열 불변도와 위치 불변도의 조합은 가중치가 같아야 하고 가중치가 1이어야 함을 의미한다.물론 가중 평균 이외의 추정기가 더 좋을 수 있다.

최적 불변 추정기

이 설정에 따라 알 수 없는 매개 변수 $\theta {\displaystyle }$ ${\displaystyle \theta}$에 대한 정보가 포함된$$ $측정값{\displaystyle }$ x ${\displaystyle$ x$}$가 제공되며$,$ 측정 x $\{\backslash$$displaystyle$ $x$$}$는 $확률밀도함수{\displaystyle }$ f${\displaystyle (x}$ $\theta$) ${\displaystysty$ f($x$\ta$)$ 휘)를$$ 갖는 벡터 랜덤 변수로 모델링된다$$.ch는 매개 변수 벡터 $\theta {\displaystyle }$ ${\displaystyle \theta }$에 따라 달라진다$.$

$문제$는 x ${\displaystyle$\theta$$}을(를$)$ x ${\displaystyle$ x$}$로 추정하는 것이다$.$${\displaystyle a}$이(가$)$ 나타내는 추정치는 측정값의 함수로서 $집합{\displaystyle }$ A ${\displaystyle A}$에 속한다$.$The quality of the result is defined by a loss function ${\displaystyle L=L(a,\theta )}$ which determines a risk function ${\displaystyle R=R(a,\theta )=E[L(a,\theta ) \theta ]}$.$가능$한 x ${\displaystyle$ x$\},$ $\theta {\displaystyle }$ ${\displaystyle \theta }$및 ${\displaystyle a$$}$의 값 집합은 각각$$ $X{\displaystyle }$ ${\displaystyle X$ $\theta {\displaystyle }$ ${\displaystyle \theta }$및 A ${\displaystystystystysty}$로 표시된다$.$

구분에

통계 분류에서 새로운 데이터에 클래스를 할당하는 규칙은 특별한 유형의 추정기로 간주될 수 있다.패턴 인식을 위한 사전 지식을 형성할 때 많은 비침해성 유형의 고려사항을 포함할 수 있다.

수학적 설정

정의

불변 추정기는 다음 두 가지 규칙을 준수하는 추정치다.^{[citation needed]}

1. 합리적 침해의 원리:의사결정 문제에서 취한 조치는 사용된 측정에 따른 변형에 의존해서는 안 된다.
2. 침입 원리:두 결정 문제가 동일한 형식 구조를 가지고 $($X {\$displaystyle$X$},$ , ${\displaystyle \Theta$ $\},$ $f{\displaystyle }$($x \theta )$및$$ $L{\displaystyle }$ ${\displaystyle L})$ 각 문제에 동일한 결정 규칙을 사용해야 한다.$$

불변 또는 등가 추정기를 공식적으로 정의하려면 먼저 변환 그룹과 관련된 일부 정의가 필요하다.$X{\displaystyle }$ ${\displaystyle X}$이(가) 가능한 데이터 샘플 집합을 나타내도록$$ 하십시오.$G{\displaystyle }$ ${\displaystyle G}$이$($가)$$나타내는 X {\$displaystyle X}$의 변환 그룹은 (측정 가능한) 1:1의 집합이며$$X {\$displaystyle X}$을(를) 그 자체로 변환하는 집합으로, $다음$과 같은 조건을 만족한다.

1. $g{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle G}$ ${\displaystyle g_{1}\in G}$ 및 g$$ ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle G}$ ${\displaystyle g_{2}\in G}$인 경우 $g$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {g\mathrm{}}_{}}$ 2 ${\displaystyle {}_{}}$ G ${\$
2. $g{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle G}$ ${\displaystyle g\in G}$인 경우 $g{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle G}$ ${\displaystyle$ g$^{-1}\in G$ ${\displaystyle \mathrm{여기}}$서 $g{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$(${\displaystyle x}$)${\displaystyle }$= x .${\displaystyle }$. ${\displaysty$ g$^{-1}(g(x)=x\)}.}($즉, 각 변환은 그룹 내에서 역행한다.
3. ${\displaystyle e}$ ${\displaystyle \in }$ ${\displaystyle G}$ ${\displaystyle e\in G}($즉, ID 변환 $e{\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle x}$ ${\$

${\displaystyle \mathrm{일부}}$ $g{\displaystyle }$$$${\displaystyle \in }$ G ${\displaystyle g\in G}$에 대해$$$$ ${\displaystyle {x\mathrm{}}_{}}$ 1${\displaystyle {}_{}}$= ${\displaystyle g}$( ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle x_{1}=g(x_{2})}$인 경우 $데이터{\displaystyle {}_{}}$ 집합 $x{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$}=g$\}\}\}.$ 등가 모두 동등 클래스를 형성한다.그러한 동등성 등급을 궤도($X{\displaystyle }$ ${\displaystyle X})$라고 한다.$$The ${\displaystyle x_{0}}$ orbit, ${\displaystyle X(x_{0})}$, is the set ${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$. If ${\displaystyle X}$ consists of a single orbit then ${\displaystyle g}$ is said to be transitive.

A family of densities ${\displaystyle F}$ is said to be invariant under the group ${\displaystyle G}$ if, for every ${\displaystyle g\in G}$ and ${\displaystyle \theta \in \Theta }$ there exists a unique ${\displaystyle \theta ^{*}\in \Theta }$ such that ${\displaystyle Y=g($$x)}$은(는) $밀도{\displaystyle }$ f$(y \theta$ ^{*}.${\displaystyle {}^{}}$θ ${\$은(는) g$'({\displaystyle$ {\g$})(\theta$)로 표시된다$.$

If ${\displaystyle F}$ is invariant under the group ${\displaystyle G}$ then the loss function ${\displaystyle L(\theta ,a)}$ is said to be invariant under ${\displaystyle G}$ if for every ${\displaystyle g\in G}$ and ${\displaystyle a\in A}$ there exists an ${\displ$$aystyle a^{*}\in A}$ such that ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$ for all ${\displaystyle \theta \in \Theta }$. The transformed value ${\displaystyle a^{*}}$ will be denoted by ${\displaystyle {\tilde {g}}(a)}$.

In the above, ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$ is a group of transformations from ${\displaystyle \Theta }$ to itself and ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$ is a group of transformations from ${\displaystyle A}$ to i3자신의

위에서 정의한 바와$$ $같이{\displaystyle G\stackrel{,}{}}$ G${\displaystyle ,}$ G${\displaystyle \stackrel{}{,}}$ ${\displaystyle G\stackrel{}{}}$~ {\$displaystyle$ G$,{\bar{$G},{\$tilde{G}}$ 세 개의 그룹이 있는 경우$$ $G{\displaystyle }$ ${\displaysty G}$에 따라 추정 문제는 불변(등변)이다.

$G{\displaystyle }$ ${\displaystyle G}$에서 불변하는 추정 문제의 경우$,$ 추정기 $\Delta {\displaystyle (x}$) ${\$$displaystyle$ $\delta(x)}$은(는$$) $모든{\displaystyle }$ $x{\displaystyle }$∈ ${\displaystyle X}$ ${\displaystyle x\in$ X$}$ 및 $g$ ${\displaystyle \in }$ ${\displaystyle G}$ ${\displaystyle g\in$ G$}$에서 불변 추정기입니다$.$

$[\displaystyle \properties(g(x))]={\tilde{g}(\csu(x)).}$

특성.

1. The risk function of an invariant estimator, ${\displaystyle \delta }$, is constant on orbits of ${\displaystyle \Theta }$. Equivalently ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$ for all ${\displaystyle \theta \in \Theta }$ and ${\displaystyle \overline{g}\in \overline{G}}$${\displaystyle {\bar{g}\in {\bar {G$
2. 전이성 $'{\$이(가) 있는 불변 추정기의 위험 기능은 일정하다$$.

주어진 문제에서 위험이 가장 낮은 불변 추정기를 "최상의 불변 추정기"라고 부른다.최고의 불변 추정기를 항상 달성할 수는 없다.이를 달성할 수 있는 특별한 경우는 $'{\$이(가) 전이적인$$ 경우다.

예: 위치 매개변수

Suppose ${\displaystyle \theta }$ is a location parameter if the density of ${\displaystyle X}$ is of the form ${\displaystyle f(x-\theta )}$. For ${\displaystyle \Theta =A=\mathbb {R} ^{1}}$ and ${\displaystyle L=L(a-\theta )}$, the problem is invariant under ${\displaystyle g=}$${\displaystyle \stackrel{\text{'}}{g}}$= ${\displaystyle g\stackrel{}{}}$~${\displaystyle }$=${\displaystyle }${ ${\displaystyle g{}_{}}$: ${\displaystyle c}$ (${\displaystyle {}_{}}$x${\displaystyle }$)${\displaystyle }$= x${\displaystyle }$+ c${\displaystyle ,}$ ${\displaystyle c}$ ${\displaystyle \in }$ ${\displaystyle R\mathbb{}}$ ${\displaystyle \}}$ ${\displaystyle g={\bar {{g}={\tilde{g}=\{c_{c}g_{c$}g$}=x$(x)=$x+c,c\in \mathb {R}$이 경우 불변 추정기는 충족해야 한다.

${\displaystyle \delta(x+c)=\delta(x)+c,{\text{{}}모든 }c\in \mathb {R},}$

thus it is of the form ${\displaystyle \delta (x)=x+K}$ (${\displaystyle K\in \mathbb {R} }$). ${\displaystyle {\bar {g}}}$ is transitive on ${\displaystyle \Theta }$ so the risk does not vary with ${\displaystyle \theta }$: that is, ${\displaystyle R(\theta ,\delta )=R(0,\delta )=\mathrm{E}[L(X+K}$${\displaystyle )}$ ${\displaystyle \theta }$= ${\displaystyle 0}$ ${\displaystyle ]}$ ${\displaystyle$ R$(\theta ,\delta )=R(0,\delta )=\operatorname {E}[L(X+K) \theta =0$최고의 불변 추정기는 위험 $R{\displaystyle (}$ ${\displaystyle \Delta }$ $){\displaystyle R(\theta ,\delta )}$을 최소로 가져오는$$ 것이다.

L이 ${\displaystyle \Delta (}x{\displaystyle }$)${\displaystyle }$= ${\displaystyle x}$ - ${\displaystyle \mathrm{E}-}$ [${\displaystyle }$X ${\displaystyle x}$ =${\displaystyle 0]}$ . ${\displaystyle \delta (x)=x-\operatorname {E} [$X$\theta$ =$0]$인 경우$.$$}$

핏만 추정기

The estimation problem is that ${\displaystyle X=(X_{1},\dots ,X_{n})}$ has density ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$, where θ is a parameter to be estimated, and where the loss function is ${\displaystyle L( a-\theta )}$.이 문제는 다음과 같은 (가법적) 변환 그룹에 불변한다.

${\displaystyle G=\{g_{c}g_{c}g(x)=(x_{1}+c,\dots,x_{n}+c),c\in \mathb {R}^{1}\}}}$

${\displaystyle {\G}=\{g_{c}g_{c}g_{c}(\theta )=\theta +c,c\in \mathb {R}^{1}\}}$

${\displaystyle {\tilde{G}=\{g_{c}g_{c}(a)=a+c,c\in \mathb {R}^{1}\}.}$

최고의 불변 추정기 ${\displaystyle \Delta }$( x${\displaystyle }$) ${\displaystyle \delta (x)}$은(는) 최소화하는 것이다.

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

피트만의 추정가(1939년) 입니다.

제곱 오류 손실 사례의 경우, 결과는

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

$x{\displaystyle }$~ ${\displaystyle N(}$ ${\displaystyle \theta }$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle n_{}}$, I${\displaystyle }$) $displaystyle x\sim$ N$(\theta 1_{n}I)\,\!}($즉, 독립적인 단위-분산 성분이 있는 다변량 정규 분포)인 경우

${\displaystyle \delta_{pitman}=\delta_{ML}={\frac {\sum{x_{i}}}{n}}.}$

$x{\displaystyle }$~ ${\displaystyle C}$ (${\displaystyle \theta }$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle n_{}}$, ${\displaystyle I}$ ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$)인 경우,${\displaystyle }${\$displaystyle$x\$sim$ C$(\theta 1_{n},$$I\sigma ^{2}\,\!}($스케일 파라미터가 σ인 Cauchy 분포를 갖는 독립 구성 요소) 이후 $\Delta {\displaystyle {}_{}}$ p ${\displaystyle i_{}}$ ${\displaystyle m_{}}$ ${\displaystyle a_{}}$ ${\displaystyle n_{}{}_{}}$ ${\displaystyle M_{}}$ ${\displaystyle L_{}}$ ${\$ 그러나 결과는 다음과 같다.$$

${\displaystyle \delta _{pitman}=\sum _{k=1}{n}{x_{k}\{n}\{w_{k}\}}}}}{\m=1}^{n}{{w_{k}\}\qquad n1},1},},}$

와 함께

${\displaystyle w_{k}=\prod _{j\neq k}\left[{1}{{1}{{1}{{x_}-x_{j}}}^{2}+4\ma ^{2}}}\좌측[1-{\frac {2}-x_{j}]}}}i\오른쪽.}$

참조

• Berger, James O. (1985). Statistical decision theory and Bayesian Analysis (2nd ed.). New York: Springer-Verlag. ISBN 0-387-96098-8. MR 0804611.^{[페이지 필요]}
• Freue, Gabriela V. Cohen (2007). "The Pitman estimator of the Cauchy location parameter". Journal of Statistical Planning and Inference. 137: 1900–1913. doi:10.1016/j.jspi.2006.05.002.
• Pitman, E.J.G. (1939). "The estimation of the location and scale parameters of a continuous population of any given form". Biometrika. 30 (3/4): 391–421. doi:10.1093/biomet/30.3-4.391. JSTOR 2332656.
• Pitman, E.J.G. (1939). "Tests of Hypotheses Concerning Location and Scale Parameters". Biometrika. 31 (1/2): 200–215. doi:10.1093/biomet/31.1-2.200. JSTOR 2334983.