베이즈 분류기

다음에 대한 시리즈 일부
베이지안 통계
이론
인정결정규칙 베이지안 효율 베이지안 인식론 베이지안 확률 확률해석 베이즈 정리 베이즈 인자 베이시안 추론 베이시안 네트워크 이전 후향 우도 결합전 후방예측 하이퍼 파라미터 하이퍼프리스트 무관심의 원리 최대 엔트로피의 원리 경험적 베이즈 방식 크롬웰의 법칙 번스타인-본 미세스 정리 슈바르츠 기준 신뢰할 수 있는 간격 최대 후미 추정치 급진확률주의
기술
베이지안 선형 회귀 분석 베이시안 추정기 대략적인 베이시안 연산 마르코프 체인 몬테카를로
수학포털
v t

통계 분류에서 베이즈 분류기는 오분류 확률을 최소화한다.^[1]

정의

Suppose a pair ${\displaystyle (X,Y)}$ takes values in ${\displaystyle \mathbb {R} ^{d}\times \{1,2,\dots ,K\}}$, where ${\displaystyle Y}$ is the class label of ${\displaystyle X}$. This means that the conditional distribution of X, given that the label Y takes the value r is give옆에

${\displaystyle (}$ $X{\displaystyle }$ ${\displaystyle \mid }$ ${\displaystyle Y}$= r${\displaystyle }$)${\displaystyle }$~ P ${\displaystyle r_{}}$ ${\$ r$$${\displaystyle }$= ${\displaystyle 1}$,${\displaystyle 2}$, ${\displaystyle \dots ,}$ ${\displaystyle K}$ ${\displaysty r=1,2,\dots ,K})$

여기서 "${\displaystyle }$~ ${\displaystyle \sim$ $\}"$은 "분산"을 의미하며, $여기$서 P ${\displaystyle r_{}}$ ${\$는 확률 분포를 나타낸다$$.

분류자는 관측치 X=x에 관측치 Y=r이 실제로 무엇이었는지를 추정하거나 추정하는 규칙이다.이론적으로 분류자는 $C{\displaystyle }$: ${\displaystyle {}^{}}$ d${\displaystyle {}^{}}$→${\displaystyle }${ ${\displaystyle 1}$, ${\displaystyle 2}$, ${\displaystyle \dots ,}$K${\displaystyle \}}$ ${\dstyle$ C$:\mathb {R} ^{d}\to \{1,2,\dots ,K\}}}}}$을$($를) 측정할 수 있는 함수로서 C는 점 x를 C(x)로 분류한다는 해석이다.분류자 C의 오분류 확률 또는 위험은 다음과 같이 정의된다.

${\displaystyle {\mathcal {R}(C)=\operatorname {P} \{C(X)\neq Y\}}$

베이즈 분류기는

${\displaystyle C^{\text{Bayes}(x)={\underset {r\in \{1,2,\dots,K\}{\operatorname {argmax}}}}}}}\operatorname {P}(Y=r\mid X=x)}$

실제로 대부분의 통계에서와 같이 어려움과 미묘함은 확률 분포를 효과적으로 모델링하는 것과 관련이 있다. 이 경우 $P{\displaystyle \mathrm{}(Y}$ ${\displaystyle =}$ ${\displaystyle rx}$X = ${\displaystyle x}$) ${\displaystyle \operatorname {P}(Y=r\mid X=x$베이즈 분류기는 통계 분류에서 유용한 벤치마크다.

일반 분류자 $C{\displaystyle }$ ${\displaystyle C}($일부 교육 데이터에 따라 달라짐)의 초과 위험은 $R{\displaystyle \mathcal{}(C}$ ${\displaystyle )}$- ${\displaystyle R({}^{}}$ ${\displaystyle {\text{Bayes}}^{}).}$ ${\displaystyle {\mathcal{R}-{\mathcal{R}(C^{\textext{Bayes})$로 정의된다.$}$ 따라서$$ 이 비음수량은 서로 다른 분류 기법의 성능을 평가하는 데 중요하다.분류자는 훈련 데이터 집합의 크기가 무한대로 증가함에 따라 초과 위험이 0으로 수렴되는 경우 일관성이 있다고 한다.^[2]

최적성 증명

베이즈 분류기가 최적이고 베이즈 오류율이 최소라는 증거는 다음과 같다.

변수 정의:Risk ${\displaystyle R(h)}$, Bayes risk ${\displaystyle R^{*}}$, all possible classes to which the points can be classified ${\displaystyle Y=\{0,1\}}$. Let the posterior probability of a point belonging to class 1 be ${\displaystyle \eta (x)=Pr(Y=1 X=x)}$. Define에 분류자$$ $h{\displaystyle {\mathcal{}}^{}}$ ${\displaystyle {\ast }^{}}$ ${\$

${\displaystyle {\mathcal{h}^{*(x)={\prease}1&,\eta(x)\geqslant 0.5\\\0&,\eta(x)<0.5\end{case}}}}}}$

그러면 다음과 같은 결과가 나온다.

(a) $R{\displaystyle }$( ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$)${\displaystyle }$= ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$ ${\$$R^{*}},$예: h ${\displaystyle {\ast }^{}}$ ${\$ h$^{*}}}$는 베이즈 분류기,

(b) For any classifier ${\displaystyle h}$, the excess risk satisfies ${\displaystyle R(h)-R^{*}=2\mathbb {E} _{X}\left[ \eta (x)-0.5 \cdot \mathbb {I} _{\left\{h(X)\neq h^{*}(X)\right\}}\right]}$

(c) $R{\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$= ${\displaystyle {\mathbb{}}_{}}$ ${\displaystyle {}_{}}$[ ${\displaystyle min}$(${\displaystyle }$X${\displaystyle }$)${\displaystyle }$, ${\displaystyle 1}$ -${\displaystyle \eta }$( ${\displaystyle X}$)${\displaystyle ]}$ ${\$ R$^{*}=\mathb {E} _{X}\min(\eta$ ($X), 1-\eta (X)\right]}}$

(a)의 증거:$분류자{\displaystyle }$ h ${\displaystyle h}$에 대해$,$

${\displaystyle {\begin}R(h)&=\mathb {E} _{XY}\왼쪽[\mathb {I} _{\h(X)\neq Y\right\}\right\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\}\&=\mathb {E} _{X}\mathb {E} _{Y X}[\mathb {I} _{\left\{h(X)\neq Y\right\}]\\\&=\mathb {E} _{X}[\eta (X)\mathb {I} _{\reft\{h(X)=0\right\}+(1-\eta(X)\mathb {I} _{\reft\h(X)=1\right\}}\end}}}}}}$

$R{\displaystyle }$( ${\displaystyle h}$) ${\displaystyle R(h)}$을(를) $\forall {\displaystyle \mathrm{}}$ x ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle \forall x\in$ X$}$을(를) 취함으로써 최소화할 수 있다는$$ 점에 유의하십시오$.$

${\displaystyle h(x)={\displaystyle h(x)={\case}1,\eta(x)\geqslant 1-\eta(x)\0&,{\text}}\end{case}}}}}}$

따라서 가능한 최소 위험은 베이지스 $위험{\displaystyle {}^{}}$, R${\displaystyle {}^{}}$ =${\displaystyle R}$ ( ${\displaystyle {}^{}}$ )$${\$displaystyle R^{*}=R(h^{*}}})$이다$.$

(b):

${\displaystyle {\begin{aligned}R(h)-R^{*}&=R(h)-R(h^{*})\\&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h(X)=1\right\}}-\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right\}}-(1-\eta (X))\mathbb {I} _{\left\{h^{*}(X)=1\right\}}]\\&=\mathb {E} _{X}[ 2\eta (X)-1 \mathb {I} \\\\왼쪽\{h(X)\neq h^{*}}(X)\right\}]\\\\\\\\\\\\}\\&=2\mathb {E} _{X}[ \eta(X)-0.5 \mathb {I} _{\왼쪽\{h(X)\neq h^{*(X)\right\}}}\end{aigned}}}}}}}$

(c):

${\displaystyle {\begin{aligned}R(h^{*})&=\mathbb {E} _{X}[\eta (X)\mathbb {I} _{\left\{h^{*}(X)=0\right\}}+(1-\eta (X))\mathbb {I} _{\left\{h*(X)=1\right\}}]\\&=\mathb {E} _{X}[\min(\eta(X), 1-\eta(X)]]\end{aigned}}}$

각 요소가 n개 범주 중 하나에 속할 수 있을 때 Bayes 분류기가 분류 오류를 최소화하는 일반적인 경우는 다음과 같이 높은 기대치에 의해 진행된다.

${\displaystyle{\begin}\mathb {E}(\mathb {I} _{\y\neq {\y}\}}}\mathb {E} \mathb {E} \reft(\mathb {I} _{y\}}}}}*****rig)\\&=\mathbb {E} \left[Pr(Y=1 X=x)\mathbb {I} _{\{{\hat {y}}=2,3,\dots ,n\}}+Pr(Y=2 X=x)\mathbb {I} _{\{{\hat {y}}=1,3,\dots ,n\}}+\dots +Pr(Y=n X=x)\mathbb {I} _{\{{\hat {y}}=1,2,3,\dots ,n-1\}}\right]\end{aligned}}}$

이것은 분류에 의해 최소화된다.

${\displaystyle h(x)=k,\quad \arg \max _{k}Pr(Y=k X=x)}$

각 관측치 x에 대해

참고 항목

• 순진한 베이즈 분류기

참조