기대 전파

기대 전파(EP)는 베이시안 머신러닝의 기법이다.^[1]

EP는 확률 분포에 대한 근사를 찾는다.^[1]대상 분포의 인자화 구조를 이용하는 반복적 접근법을 사용한다.^[1]가변 베이시안 방법과 같은 다른 베이시안 근사 접근법과는 다르다.^[1]

구체적으로는, 다루기 쉬운 분포 $q{\displaystyle }$(${\displaystyle x\mathbf{}}$ )를$$ 가진 난치성 $확률{\displaystyle }$분포 p (${\displaystyle x\mathbf{}}$ $){\$$displaystyle$p(\$mathbf {x}$ )}의$$근사치를 원한다고 가정한다. 기대 전파는 Kullback-Leibler diversity $K{\displaystyle \mathrm{}}$ ${\displaystyle \mathrm{L}}$(${\displaystyle p}$ $){\d$를 최소화함으로써 이 근사치를 달성한다$.$$isplaystyle \mathrm {KL}(p q$^[1] 변수 베이시안 방법은 $대신$ ${\displaystyle \mathrm{K}}$ L${\displaystyle (q}$p )$${\$displaystyle \mathrmat {KL}(q p)}$을 최소화한다.^[1]

If ${\displaystyle q(\mathbf {x} )}$ is a Gaussian ${\displaystyle {\mathcal {N}}(\mathbf {x} \mu ,\Sigma )}$, then ${\displaystyle \mathrm {KL} (p q)}$ is minimized with ${\displaystyle \mu }$ and ${\displaystyle \Sigma }$ being equal to the mean of ${\displaystyle p(}$${\displaystyle \mathbf{x}}$) ${\displaystyle$ p$(\mathbf {x})$ 및$$ $p{\displaystyle (x\mathbf{}}$)의 공분산(x ) ${\displaystyle p(\mathbf {x}$ $);$ 이것을 모멘트 매칭이라고 한다.^[1]

적용들

모멘트 일치를 통한 기대 전파는 TrueSkill에 대한 메시지 전달 방정식을 도출할 때 나타나는 지표 함수의 근사치에서 중요한 역할을 한다.

참조

• Thomas Minka (August 2–5, 2001). "Expectation Propagation for Approximate Bayesian Inference". In Jack S. Breese, Daphne Koller (ed.). UAI '01: Proceedings of the 17th Conference in Uncertainty in Artificial Intelligence (PDF). University of Washington, Seattle, Washington, USA. pp. 362–369.

외부 링크

• 민카의 EP 논문
• EP를 사용한 논문 목록