f-확장

이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오.(2015년 9월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

확률론에서 ƒ-diversity는 두 확률분포P와 Q의 차이를 측정하는 함수 D_f(PQ)이다.직관이 P와 Q가^{[citation needed]} 주는 승산비의 함수 f에 의해 가중된 차이를 평균으로 생각할 수 있도록 돕는다.

이러한 다이버전스는 알프레드 레니에^[1] 의해 그가 잘 알려진 레니 엔트로피를 소개한 같은 신문에서 소개되었다.그는 마르코프 프로세스에서 이러한 다이버전스가 감소한다는 것을 증명했다.f-다이버겐은 Csiszarr(1963), 모리모토(1963), 알리&실비(1966)에 의해 더 독립적으로 연구되었고, 때로는 Csiszar ƒ-Divergenes, Csar-Morimotorgenes 또는 Ali-Silvey 거리로 알려져 있다.

정의

P와 Q가 Q에 대해 절대적으로 연속되도록 공간 Ω에 대한 두 개의 확률 분포가 되도록 한다.그런 다음, f(1) = 0과 같은 볼록함수 f의 경우 Q로부터 P의 f-diversion은 다음과 같이 정의된다.

${\displaystyle D_{f}(P\병렬 Q)\equiv \int _{\Oomega }f\왼쪽({\frac {dP}{dQ}\오른쪽)\,dQ.}$

P와 Q가 모두 Ω의 기준 분포 μ에 대해 절대적으로 연속적인 경우, 이들의 확률 밀도 p와 q는 dP = p dμ, dQ = q dμ를 만족한다.이 경우 f-diversity는 다음과 같이 기록할 수 있다.

${\displaystyle D_{f}(P\parallel Q)=\int _{\Oomega }f\왼쪽({\frac {p(x)}{q(x)}}\right)q(x)\,d\mu(x).}$

f-divergenes는 Taylor 시리즈를 사용하여 표현할 수 있으며, 기형 거리의 가중 합계를 사용하여 다시 쓸 수 있다(Nielsen & Nock(2013년).

f-divergenes의 예

KL-다이버전스, 헬링거 거리, 총변동거리와 같은 많은 일반적인 다이버전스들은 f-다이버전스의 특별한 경우로서 f의 특정한 선택과 일치한다.다음 표에는 확률 분포와 해당 분포가 일치하는 f 함수(cf) 사이의 많은 공통 분해가 나열되어 있다.Liese & Vajda(2006).

발산	해당 f(t)
KL-디버전스	$t\displaystyle t\log t}$
역 KL-다이버전스	${\displaystyle -\log t}$
제곱 헬링거 거리	${\displaystyle({\sqrt{t}-1)^{2},2(1-{\sqrt{t})}$
총변동거리	${\displaystyle {\frac {1}{2}} t-1 \,}$
Pearson $\chi {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}}$$- 디버전스$$	${\displaystyle (t-1)^{2},\,t^{2}-1,\,t^{2}-t}$
네이맨 $\chi {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}}$$-디버전스$$(역 피어슨)	${\displaystyle {\frac {1}{t}-1,\, {\frac {1}{t}-t}$
α-diver전위	${\displaystyle {\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}1-t^{(1+\alpha )/2}{\big )},&{\text{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =-1\end{cases}}}$
옌센-샤논 다이버전스	${\displaystyle {\frac {1}{1}:{2}}[(t+1)\log {\big(}{\frac {2}{t+1}{\big )}+t\log t]}}$
α-파괴전위(기타 명칭	${\displaystyle {\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{if}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end{cases}}}$

$f{\displaystyle }$( t${\displaystyle }$) ${\displaystyle f(t$${\displaystyle )\}}$ 함수는 ${\displaystyle \mathrm{sumand}}$ $c{\displaystyle }$ ( t -${\displaystyle }$1${\displaystyle }$) ${\displaystyle c(t-1$)까지 정의되며$,$ $여기$서 c ${\displaystyle c}$은(는) 일정하다.

특성.

In particular, the monotonicity implies that if a Markov process has a positive equilibrium probability distribution ${\displaystyle P^{*}}$ then ${\displaystyle D_{f}(P(t)\parallel P^{*})}$ is a monotonic (non-increasing) function of time, where the probability distribution ${\displays$$tyle P(t)}$은 Kolmogorov 전진 방정식(또는 마스터 방정식)의 솔루션으로, 마르코프 프로세스에서 확률 분포의 시간 진화를 설명하는 데 사용된다.이것은 모든 ${\displaystyle \mathrm{f-디버겐}}$ D $f{\displaystyle {}_{}}$ (${\displaystyle {}_{}{P}_{}}$ (${\displaystyle }$)${\displaystyle }$∥ ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$ )${\displaystyle D_{f}(P(t)\병렬 P^{*}}}$이(가) 콜모고로프 전진 방정식의 랴푸노프 함수라는 것을 의미한다.Reverse statement is also true: If ${\displaystyle H(P)}$ is a Lyapunov function for all Markov chains with positive equilibrium ${\displaystyle P^{*}}$ and is of the trace-form (${\displaystyle H(P)=\sum _{i}f(P_{i},P_{i}^{*})}$) then ${\displaystyle H(P)=D_f(P(}$${\displaystyle t}$)$$ P ^[2][3]function ) {\$displaystyle H(P)=D_{f}(P(t)\parallel$ P$^\{*\}\},$ 일부 볼록 함수 f.예를 들어, Bregman 다이버전트는 일반적으로 그러한 속성을 가지고 있지 않으며 마르코프 프로세스에서 증가할 수 있다.^[4]

재무해석

한 쌍의 확률 분포는 한 분포가 공식 확률을 정의하고 다른 분포가 실제 확률을 포함하는 운명의 게임으로 볼 수 있다.실제 확률을 알면 플레이어가 게임에서 이익을 얻을 수 있다.다수의 합리적인 참여자들에게 기대수익률은 profit-diversity와 같은 일반적인 형태를 가진다.^[5]

참고 항목

• 쿨백-라이블러 발산
• 브레그만 발산

참조