다양한 메시지 전달

Variational Message Passing (VMP; 변동 메시지 패스)는 존 윈에 의해 개발된 공역 지수 부모를 가진 연속값 또는 이산값 베이지안 네트워크에 대한 대략적인 추론 기법입니다.VMP는 잠재 디리클레 할당과 같은 기술에 의해 사용되는 대략적인 변동 방법을 일반화하는 수단으로 개발되었으며 노드의 마르코프 블랭킷의 메시지를 통해 각 노드에서 대략적인 분포를 업데이트함으로써 작동한다.

우도 하한

일부 $숨겨진$ 변수 $H$ (\ $style$ H $H$ )와 $관측$ 변수 $V$ (\ $displaystyle$ V $V$ 를 고려할 때 대략적인 추론의 목표는 그래픽 모델이 $구성$ V(\ $displaystyle$ V $V$ $Q$ 에 있을 확률을 낮추는 것입니다. 일부 확률 $분포$ Q $(나중$ 에 정의될 예정),

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

P (

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

display

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

(

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

)

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

(

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

V )

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

H

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

Q (

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

P (

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

,

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

)

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

(

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

) -

ln

(

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

)

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

（

H ）

style

P (

\ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}

)

그래서, 만약 우리가 우리의 하한을 정의한다면

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

(

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

)

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

(

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

)

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

P (

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

, V

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

)

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

（

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

) \

display style

L (

Q

) = \

sum

_ {

H }

\ ln

{ P

( H

,

V

)

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

}

L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}

、

가능성은 단순히 이 바운드(bound)에P(\ $displaystyle$ P $)$ 와 $P$ Q $(\displaystyle$ Q $Q$ $P$ 의 상대 엔트로피(relative entropy)입니다. 상대 엔트로피가 음이 아니기 때문에 위에서 정의한 $함수$ L(\ $displaystyle$ L $)$ 은 $L$ 실제로 $관측치$ V(\ $displaystyle$ V $V$ 의 로그 우도 하한입니다.분포 Q $(디스플레이 스타일$ Q $)$ 는 $Q$ 가장 단순한 $그래픽 모델$ 을 제외한 모든 모델에서는 P $(디스플레이 스타일$ P $)$ 에 대한 한계화가 어렵기 때문에 P(디스플레이 스타일 $P$ P $)$ 보다 $P$ 단순한 특성을 가집니다.특히 VMP는 인수분포를 사용합니다.

Q(H)=\prod _{i}Q_{i}(H_{i}),

$H_{i}$ 서 Hi $(\$ 는 $H_{i}$ 그래픽 모델의 분리된 부분입니다.

업데이트 규칙 결정

우도 추정치는 가능한 한 커야 합니다.하한이기 때문에 로그θ $\displaystyle\log$ P에 $\log P$ $\log P$ 로그 우도의 근사치가 향상됩니다. $L(Q)$ 와같이 $숨겨진$ $H_{i}$ $Hi$ ({ $displaystyle$ $H_{i})$ 에 $H_{i}$ 대해 파라미터화된 $Q)$ { $displaystyle L($ Q $L(Q)$ 을 인수분해 버전으로 $Q_{j}$ 하면 $Q_{j}$ ({ $displaystyle$ Q_ $Q_{j}^{*}$ ${$ j $Q_{j}$ })와 $Q_{j}^{*}$ Qj $({$ Q_ ${j$ }) $Q_{j}$ 의 상대 엔트로피가 음수입니다. $Q_{j}^{*}$ j ${\$ { $display style$ Q _ { $j$ } is { $display style$ Q _ { $j$ }^{ * }}이 $Q_{j}$ $Q_{j}^{*}$ (가) $Q_{j}$ 되어 있는 $Q_{j}^{*}$ Q $Q_{j}$ j $Q_{j}$ 는 무관합니다.

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

j

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

(

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

j )

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

-

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

{

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

P (

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

,

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

)

}

{

display

Q

_

{ j

}^{

* } (

H

_ { j } =

scap

frac

{1}

{

Z} e^{

\

mathbb { E

}

_

{ E } _ { { - j } \

ln P

( H , V )

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

}

Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}

}

$\mathbb {E} _{-j}\{\ln P(H,V)\}$ 서 $\mathbb {E} _{-j}\{\ln P(H,V)\}$ E - $\mathbb {E} _{-j}\{\ln P(H,V)\}$ { $\mathbb {E} _{-j}\{\ln P(H,V)\}$ P ( $\mathbb {E} _{-j}\{\ln P(H,V)\}$ , $\mathbb {E} _{-j}\{\ln P(H,V)\}$ ) $}$ { $displaystyle$ \ $mathbb { E$ $Q_{i}$ } $_$ { - $j$ $Q_{j}$ } \ { \ $ln$ P ( $H$ , V ) $\mathbb {E} _{-j}\{\ln P(H,V)\}$ \ }는 ${\mathbb {E}}_{{-j}}\{\ln P(H,V)\}$ Q j { $displaystyle Q_{i$ $}$ 를 $Q_{i}$ $Q_{j}$ 한 모든 $Q_{i}$ Qi { displaystyle $Q_$ {j $Q_{j}$ $Q_{j}$ Q $Q_{j}$ j({ $displaystyle Q_{$ j $Q_{j}$ })를 $Q_{j}^{*}$ j $Q_{j}^{*}$ {\({ $displaystyle Q_{j$ 로 $Q_{j}$ 하면 $바인딩된$ L({ $displaystyle$ L $})$ 이 $L$ 최대화됩니다.