확률 측정값의 총 변동 거리

확률 이론에서 총 변동 거리는 확률 분포에 대한 거리 측정값이다. 통계 거리 메트릭의 예로서, 통계 거리, 통계 차이 또는 변동 거리라고 부르기도 한다.

정의

샘플 공간 $\Omega {\displaystyle \mathrm{}}$ ${\$$displaystyle {\mathcal {F}$의 서브셋에서 두 확률 측정값 P와 Q 사이의^[1] 총 변동 거리는 다음을 통해 Ω$$ {\$displaystyle \Oomega}$

${\displaystyle \delta (P,Q)=\supp_{A\in {\mathcal {F}\왼쪽 P(A)-Q(A)\오른쪽.}$

비공식적으로, 이것은 두 확률 분포가 동일한 사건에 할당할 수 있는 확률 사이의 가장 큰 차이다.

특성.

다른 거리와의 관계

총 변동 거리는 핀커의 불평등에 의한 Kullback-Leibler 분리와 관련이 있다.

${\displaystyle \delta (P,Q)\leq {\sqrt{1}{2}}D_{\mathrm {KL}}}(P\병렬 Q)}}}}$

또 하나는 브레타뇰레와 후버^[2](Tsybakov^[3] 참조)로 인해 다음과 같은 불평등을 가지고 있는데, 는 D (Q ) > ${\displaystyle D_{\mathrm {KL}}}(P\parallel Q)2}$에도 비반성 바운드를 제공할 수 있는 장점이 있다

${\displaystyle \delta (P,Q)\leq {1-e^{-D_{\mathrm {KL}}}(P\병렬 Q)}}}}.}$

세트를 카운트할 수 있는 경우, 총 변동 거리는 L 규범과¹ 다음과 같은 정체성에 의해 관련된다.^[4]

${\displaystyle \delta (P,Q)={\frac {1}{1}\p-Q\_{1}={\frac {1}{1}:{2}}\sum _{\omega \in \Oomega }P(\omega )-Q(\omega ).}$

총 변동 거리는 다음과 같이$$ Hellinger 거리 $H{\displaystyle (P,}$ Q${\displaystyle }$) ${\디스플레이$ 스타일 $H(P,Q)}$과 관련이 있다.^[5]

${\displaystyle H^{2}(P,Q)\leq \delta(P,Q)\leq {\sqrt{2}}H(P,Q)\,.}$

이러한 불평등은 1-규범과 2-규범 사이의 불평등에서 즉시 나타난다.

교통이론과 연결

총 변동 거리(또는 ${\displaystyle \mathrm{표준}}$의 절반)는 비용 함수가 $c{\displaystyle (}$ ${\displaystyle x}$, y${\displaystyle }$)${\displaystyle }$= ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle {\ne }_{}}$ y ${\$ 즉, 최적의 운송 비용으로 발생한다.

${\displaystyle {\frac {1}{1}:{1}\P-Q\ _{1}=\delta(P,Q)=\inf\{\mathb {P}(X\neq Y):{\text{Law}}(X)=P,{\text{Law}}(Y)=Q\}=\inf _{\pi }\operatorname {E} _{\pi }[{\mathbf {1}{x\neq y}],},},}$

여기서 $({\displaystyle x}$, y${\displaystyle }$) ${\displaystyle (x,y)}$이(가) 존속하는 공간에$$ 대한 $확률{\displaystyle }$ 측정값 {$${\$displaystyle$\$pi$}에 대해 기대하며, 최소값은 각각 $마진{\displaystyle }$ P$${\$displaystyle$P}과 Q$${\$displaystystyley Q$인 모든 $\pi {\displaystyle }$ ${\pi$π을 인수한다.^[6]

참고 항목

• 총변동
• 콜모고로프-스미르노프 시험
• 와세르슈타인 미터법

참조