인정결정규칙

다음에 대한 시리즈 일부
베이지안 통계
이론.
인정결정규칙 베이지안 효율 베이지안 인식론 베이지안 확률 확률해석 베이즈 정리 베이즈 인자 베이시안 추론 베이시안 네트워크 이전 후향 우도 결합전 후방예측 하이퍼 파라미터 하이퍼프리스트 무관심의 원리 최대 엔트로피의 원리 경험적 베이즈 방식 크롬웰의 법칙 번스타인-본 미세스 정리 슈바르츠 기준 신뢰할 수 있는 간격 최대 후미 추정치 급진확률주의
기술
베이지안 선형 회귀 분석 베이시안 추정기 대략적인 베이시안 연산 마르코프 체인 몬테카를로
수학포털
v t

통계적 결정 이론에서 인정된 결정 규칙은 아래에 정의한 "더 나은"이라는 정확한 의미에서 항상^[1] 그것보다 "더 나은" 다른 규칙(또는 적어도 때로는 더 낫고 결코 더 나쁜" 규칙은 존재하지 않는 것과 같은 결정을 내리는 규칙이다. 이 개념은 파레토 효율성과 유사하다.

정의

Define sets ${\displaystyle \Theta \,}$, ${\displaystyle {\mathcal {X}}}$ and ${\displaystyle {\mathcal {A}}}$, where ${\displaystyle \Theta \,}$ are the states of nature, ${\displaystyle {\mathcal {X}}}$ the possible observations, and ${\displaystyle {\mathcal {A}}}$ the actions that는 가져가도 좋다. An observation ${\displaystyle x\in {\mathcal {X}}\,\!}$ is distributed as ${\displaystyle F(x\mid \theta )\,\!}$ and therefore provides evidence about the state of nature ${\displaystyle \theta \in \Theta \,\!}$. A decision rule is a function ${\displaystyle \delta :{\mat$$hcal {X}\$오른쪽 $화살표 {\mathcal {A$ $여기$서 x ${\displaystyle \in }$ ${\displaystyle X\mathcal{}}$ ${\$을(를) 관찰하면$$$\Delta {\displaystyle (}$ x${\displaystyle }$) $delta(x)\in {\mathcal {A}\,\!}$ 작업을 수행하도록 선택한다$.$

손실 함수 $L{\displaystyle }$ :${\displaystyle }$: ${\displaystyle \times }$ ${\displaystyle A}$→ ${\displaystyle R\mathbb{}}$ ${\$$\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$, which specifies the loss we would incur by taking action ${\displaystyle a\in {\mathcal {A}}}$ when the true state of nature is ${\displaystyle \theta \in \Theta }$. Usually we will take this action after observing data ${\displaystyle x\in {\mathcal$${X$ 따라서 손실은 $L{\displaystyle (}$ ${\displaystyle \theta ,}$Δ ( ${\displaystyle x}$ )$displaystyle L(\theta,\delta (x)\,\!}$. (손실의 음수인 효용함수의 관점에서 다음과 같은 정의를 다시 인용하는 것은 파격적이지만 가능하다.)

위험 함수를 예상으로 정의

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x)]}}}\,\!}$

Whether a decision rule ${\displaystyle \delta \,\!}$ has low risk depends on the true state of nature ${\displaystyle \theta \,\!}$. A decision rule ${\displaystyle \delta ^{*}\,\!}$ dominates a decision rule ${\displaystyle \delta \,\!}$ if and only if ${\displays$$Tyle R(\theta,\$$delta$ $^{*})\leq R(\$$theta$$,\delta )}$의 $모든{\displaystyle }$ ${\displaystyle \{}$ {\$displaystyle$에 대해 불평등은$$엄격하다$$.

결정 규칙은 (손실 기능에 관해서) 다른 규칙이 지배하지 않는 경우에만 허용되며, 그렇지 않은 경우에는 허용되지 않는다. 따라서 허용 가능한 결정 규칙은 위의 부분 순서에 관한 최대 요소다. 정의상 모든 $displaystyle \theta$\,\!}에 대해 동일하거나 낮은 위험을 달성할 다른 규칙이 있기 때문에 허용되지 않는 규칙은 선호되지 않는다${\displaystyle (}$단순성 또는 계산 효율성의 이유 제외$).$ 그러나 규칙 $\Delta {\displaystyle }$ {\$displaystyle \delta \,\}$이(가)가 허용된다고$$ 해서 그것이 u에게 좋은 규칙이라는 것을 의미하지는 않는다.se. 인정된다는 것은 항상 좋거나 더 나은 다른 단일 규칙이 없다는 것을 의미하지만, 다른 인정된 규칙은 실제로 발생하는 대부분의$$ $\theta {\displaystyle }$ $displaystyle \theta \,\!}$에 대해 더 낮은 위험을 달성할 수 있다. (아래에 설명된 베이즈 리스크는 실제로 어떤 $which{\displaystyle }$ $displaystyle \theta \,\!}$이(가) 발생하는지 명시적으로 고려하는 방법이다.)

베이즈 규칙과 일반화된 베이즈 규칙

베이즈 규칙

$\pi {\displaystyle }$ (${\displaystyle \theta }$ ) $displaystyle \pi (\theta )\,\!}$을(를) 자연 상태의 확률 분포가 되게$$ 하라. 베이시안적인 관점에서, 우리는 그것을 사전 배포로 간주할 것이다. 즉, 그것은 데이터를 관찰하기 전에 자연 상태에 대한 우리의 믿음직한 확률 분포다. 단골손님에게 그것은 특별한 $해석$이 없는$$ ${\displaystyle \backslash }$ {\$displaystyle \theta \,\!}$의 함수일 뿐이다. $\pi {\displaystyle }$ (${\displaystyle \theta }$ ) $displaystyle$$\delta \,\!}$과(와) 관련된 결정 규칙${\displaystyle }\Delta {\displaystyle }$ {\$displaystyle$ \$delta$\,\}의 베이지스 리스크는 예상값이다$$.

${\displaystyle r(\pi ,\delta )=\operatorname {E} _{\pi(\theta )}[R(\theta ,\delta )].\,\!}$

$r{\displaystyle (\pi ,}$ ${\displaystyle \Delta }$)을 최소화하는 의사결정$$ 규칙 $\Delta {\displaystyle \{\backslash }$$displaystyle$ r$(\pi$$,\$$delta )\,\!}$을${\displaystyle (}$를) Δ (${\displaystyle \theta )}$ $displaystyle \pi (\teta )\,\}$에 대해 베이즈 규칙이라고 한다$$$.$ 그런 베이즈 규칙이 하나 이상 있을 수 있다. 베이즈 리스크가 모든$$$\Delta {\displaystyle }$ $displaystyle \delta \,\!}$에 대해 무한하다면 베이즈 규칙이 정의되지 않는다.

일반화된 베이즈 규칙

결정 이론에 대한 베이시안 접근법에서는 관측된 $x{\displaystyle }$ $displaystyle$ x$\,\!}$을(를) 고정된 것으로 간주한다$$. Whereas the frequentist approach (i.e., risk) averages over possible samples ${\displaystyle x\in {\mathcal {X}}\,\!}$, the Bayesian would fix the observed sample ${\displaystyle x\,\!}$ and average over hypotheses ${\displaystyle \theta \in \Theta \,\!}$. Thus, the Bayesian approach is to consider for our $관측$된 x $displaystyle$ x$\,\!}$ 예상 손실

${\displaystyle \rho(\pi ,\delta \mid x)=\operatorname {E} _{\pi(\theta \mid x)}[L(\theta ,\delta (x)]]].\,\!}$

여기서 기대치는 베이지스 정리를 사용하는$θ {\$$displaystyle \theta \,\}($${\displaystyle 으}$) $x$ {\$displaystyle$ x$\,\!}($${\displaystyle 으}$${\displaystyle )}$ $displaystyle \$$pi$$(\theta )\\,\}$에서 확인됨)$$의 후면에 걸쳐 있다.

주어진 각 $x{\displaystyle }$ $displaystyle$ x$\,\}$에 대해 개별적으로$$ 예상 손실을 명시했으므로, 각 $x$에${\displaystyle }$대해 예상 손실을 최소화하는$$ 조치 $\Delta {\displaystyle (}$x${\displaystyle }$)를 지정하여$$$$ $의사결정$ 규칙 Δ {\$displaystyle$ $\delta \,\!}$을(를) 정의할 수 있다. 이것은 $\pi {\displaystyle }$ (${\displaystyle \theta }$ ) $displaystyle \pi (\theta )\\,\}$에 관하여 일반화된 베이즈 규칙으로 알려져 있다$.$ 동일한 예상 손실을 달성하는$$ $\Delta {\displaystyle }$( ${\displaystyle x}$ $displaystyle \delta (x)\,\!}$의 다중 선택이 있을 수 있기 때문에 일반화된 베이즈 규칙이 둘 이상일 수 있다.

처음에는 일반화가 아닌 이전 절의 베이즈 규칙 접근법과는 다소 다르게 보일 수 있다. However, notice that the Bayes risk already averages over ${\displaystyle \Theta \,\!}$ in Bayesian fashion, and the Bayes risk may be recovered as the expectation over ${\displaystyle {\mathcal {X}}}$ of the expected loss (where ${\displaystyle x\sim \theta \,\!}$ and ${\displaystyle \theta \sim \$$pi \,\!}$ $$. 대략 $\Delta {\displaystyle }$ $displaystyle \delta \,\!}$은(는) 각 x$\$ X {\$displaystyle$ x$\in$ {\$mathcal {X}$에 대한 예상 손실을 개별적으로$$ 최소화하는 경우에만 이러한 예상 손실(즉 베이즈 규칙)을$$ 최소화한다.

그렇다면 일반화된 베이즈 통치의 개념은 왜 개선되는 것일까? 베이즈 $규칙$이 존재하고 모든 $x$가 긍정적인 확률을 가질$$ 때 베이즈 규칙의 개념과 $실제로$ 동등하다$.$ 그러나 베이즈 리스크가 무한하다면(모든 $\Delta {\displaystyle }$ $displaystyle \delta \,\!})$ 베이즈 규칙이 존재하지 않는다.$$ 이 경우 최소한 유한 기대 $손실$ 작업이 존재하는 $x{\displaystyle }$ ${\displaystyle \{\backslash }$$displaystyle$ $\delta$$\,\!}$에 대해$$$$ 최소 기대 손실 작업 $\Delta {\displaystyle (x}$ )를 선택하는 일반화된 베이즈 규칙$$$\Delta {\displaystyle (}$$x$ )를 정의하는 것이 여전히 유용하다${\displaystyle .}$ In addition, a generalized Bayes rule may be desirable because it must choose a minimum-expected-loss action ${\displaystyle \delta (x)\,\!}$ for every ${\displaystyle x\,\!}$, whereas a Bayes rule would be allowed to deviate from this policy on a set ${\displaystyle X\subseteq {\mathcal {X}}}$ of measure 베이즈 위험에 영향을 주지 않고 0.

More important, it is sometimes convenient to use an improper prior ${\displaystyle \pi (\theta )\,\!}$. In this case, the Bayes risk is not even well-defined, nor is there any well-defined distribution over ${\displaystyle x\,\!}$. However, the posterior ${\displaystyle \pi (\theta \mid x)\,\!}$—and 따라서 예상 손실—각$$$x{\displaystyle }$ $displaystyle x\,\!}$에 대해 잘 정의되어 일반화된 베이즈 규칙을 정의할 수 있다.

베이즈 규칙의 수용성

완전한 세분류 이론에 따르면, 가벼운 조건에서 모든 허용 가능한 규칙은 (일반화된) 베이즈 규칙이다(일부 이전 $\pi {\displaystyle }$(${\displaystyle \theta }$ )${\displaystyle \{\backslash }$$displaystyle \$$pi (\$$theta )\\,\}—$이 규칙이 낮은 위험을 달성하는 경우${\displaystyle }배포$를 선호하는 부적절한 규칙일 가능성이 있다). 그러므로 자주론적 의사결정 이론에서는 베이즈 규칙만을 고려하는 것으로 충분하다.

반대로, 베이즈 규칙이 적절한 이전 규칙과 관련하여 사실상 항상 허용되지만, 부적절한 이전 규칙에 해당하는 일반화된 베이즈 규칙은 허용 가능한 절차를 제공할 필요가 없다. 스타인의 예는 그러한 유명한 상황 중 하나이다.

예

제임스–Stein Estimator는 가우스 랜덤 벡터의 평균에 대한 비선형 추정기로, 평균 제곱 오차 손실 함수와 관련하여 일반 최소 제곱 기법을 지배하거나 능가하는 것으로 보일 수 있다.^[2] 따라서 최소 제곱 추정은 이 맥락에서 허용 가능한 추정 절차가 아니다. 정규 분포와 관련된 다른 표준 추정치 중 일부도 허용되지 않는다. 예를 들어, 모집단 평균과 분산을 알 수 없는 경우 분산의 표본 추정치.^[3]

메모들

참조

• Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Wiley. ISBN 0-412-12420-3.
• Berger, James O. (1980). Statistical Decision Theory and Bayesian Analysis (2nd ed.). Springer-Verlag. ISBN 0-387-96098-8.
• DeGroot, Morris (2004) [1st. pub. 1970]. Optimal Statistical Decisions. Wiley Classics Library. ISBN 0-471-68029-X.
• Robert, Christian P. (1994). The Bayesian Choice. Springer-Verlag. ISBN 3-540-94296-3.