가변 베이지안 방법

가변 베이지안 방법은 베이지안 추론과 머신러닝에서 발생하는 난해한 통합에 대한 기술이다.이러한 변수들은 일반적으로 관측 변수(일반적으로 "데이터"라고 불림)와 미지의 매개변수 및 잠재 변수로 구성된 복잡한 통계 모델에서 사용되며, 그래픽 모델에서 설명될 수 있는 세 가지 유형의 무작위 변수들 사이에 다양한 종류의 관계가 있다.베이시안 추론에서 전형적으로 볼 수 있듯이, 매개변수와 잠재 변수는 "관측되지 않은 변수"로 함께 그룹화된다.가변 베이지안 방법은 주로 다음 두 가지 목적으로 사용된다.

1. 관측되지 않은 변수에 대한 통계적 추론을 수행하기 위해 관측되지 않은 변수의 후측 확률에 대한 해석 근사치를 제공한다.
2. 관측된 데이터의 한계우도(즉, 관측되지 않은 변수에 대해 수행된 한계화로 주어진 모형의 한계 확률)에 대한 하한을 도출하는 것이다.이것은 일반적으로 모델 선택을 수행하는 데 사용된다. 일반적인 생각은 주어진 모형에 대한 높은 한계우도가 해당 모형에 의한 데이터의 더 나은 적합성을 나타내며, 따라서 해당 모형이 데이터를 생성했을 가능성이 더 크다는 것이다.(Bayes 요인 문서도 참조하십시오.)

이전 목적(후방 확률에 근사치)에서 변동 베이지스는 직접 또는 샘플링으로 평가하기 어려운 복잡한 분포에 대해 통계적 추론에 완전히 베이시안적인 접근법을 취하기 위해 몬테카를로 샘플링 방법, 특히 깁스 샘플링과 같은 마르코프 체인 몬테카를로 샘플링 방법의 대안이다.e. 특히 몬테카를로 기법은 표본 집합을 사용하여 정확한 후방에 수치 근사치를 제공하는 반면, 변동 베이지스는 후방의 근사치에 국소적으로 최적인 정확한 분석 솔루션을 제공한다.

가변 베이지스는 각 매개변수의 가장 가능성이 높은 단일 후행 추정(MAP 추정)에서 매개변수와 잠재 변수의 전체 후방 분포를 계산(근사치)하는 완전 베이지안 추정까지 전자파(예상-최대화) 알고리즘의 확장으로 볼 수 있다.전자파에서와 같이 최적 매개변수 값의 집합을 찾으며, 분석적으로 해결할 수 없는 연동(상호 의존) 방정식의 집합에 기초하여 전자파와 동일한 교대 구조를 갖는다.

많은 애플리케이션에서 가변 베이는 더 빠른 속도로 깁스 샘플링과 유사한 정확도의 솔루션을 생산한다.그러나 매개변수를 반복적으로 업데이트하는 데 사용되는 방정식 집합을 도출하는 것은 비교 가능한 Gibbs 표본 추출 방정식을 도출하는 것과 비교할 때 많은 양의 작업이 필요한 경우가 많다.이는 매개변수가 2개뿐이고 잠재적 변수가 없는 기본 비계층적 모델의 경우 아래에 설명했듯이 개념적으로 상당히 단순한 많은 모델에도 해당된다.

수학적 파생

문제

In variational inference, the posterior distribution over a set of unobserved variables ${\displaystyle \mathbf {Z} =\{Z_{1}\dots Z_{n}\}}$ given some data ${\displaystyle \mathbf {X} }$ is approximated by a so-called variational distribution, ${\displaystyle Q(\mathbf {Z} ):}$

${\displaystyle P(\mathbf {Z} \mid \mathbf {X})\ 관련 Q(\mathbf {Z}).}$

The distribution ${\displaystyle Q(\mathbf {Z} )}$ is restricted to belong to a family of distributions of simpler form (e.g. a family of Gaussian distributions) than ${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$, selected with the intention of making ${\displaystyle Q(\mathbf {Z} )}$ similar to true parter, $P{\displaystyle }$(${\displaystyle Z\mathbf{}}$ ${\displaystyle \mid }$ X${\displaystyle }$) ${\displaystyle$P(\$mathbf {Z}$ \mid $\mathbf$ {$X}$ $)\}.$

유사도($또는$ 유사도)는 상이한 함수 $d{\displaystyle (Q}$; ${\displaystyle P}$) ${\displaystyle$ $d$$(Q$$;P$$)}$의 관점에서 측정되므로$$ $($; ${\displaystyle P}$)$$${\$$displaystyle$ Q$(\$$mathbf {Z})$를 최소화하는$$ 분포 $Q{\displaystyle (Z\mathbf{})}$를 선택하여 추론을 수행한다$.$

KL 발산

가장 일반적인 유형의 가변 베이는 P로부터 Q의 Kullback-Leibler difference(KL-diversion)를 이종함수의 선택으로 사용한다.이러한 선택은 이러한 최소화를 다루기 쉽게 한다.KL-diversity는 다음과 같이 정의된다.

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)\triangleq \sum _{\mathbf {Z} }Q(\mathbf {Z} )\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} \mid \mathbf {X} )}}.}$

Q와 P는 예상과 반대로 나타난다.이러한 역방향 KL-diversity의 사용은 개념적으로 기대-최대화 알고리즘과 유사하다. (다른 방식으로 KL-diversity를 사용하면 기대 전파 알고리즘이 생성된다.)

난치성

변동 기법은 일반적으로 다음에 대한 근사치를 형성하기 위해 사용된다.

${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{P(\mathbf {X} )}}={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{\int _{\mathbf {Z} }P(\mathbf {X} ,\mathbf {Z} ')\,d\mathbf {Z} '}}}$

분모에서$$ $){\displaystyle P(\mathbf$${$$Z})}$을(를$$)$계산$하기 $위한$ Z {\displaystyle P(\$mathbf$$${X})에 대한 한계화는 일반적으로 난해한 것으로, 예를 들어 $Z{\displaystyle \mathbf{}}$ ${\$의 검색 공간이 조합적으로 크기 때문이다$$.따라서 $Q{\displaystyle (Z\mathbf{}}$) ${\displaystyle \approx }$ ${\displaystyle P(Z\mathbf{}}$ ${\displaystyle \mid }$ X )${\displaystyle Q(\mathbf {Z})\관련$ P$(\mathbf {Z} \mid \mathbf {X})$를 사용하여 근사치를 구한다$.$

증거하한

Given that ${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} ,\mathbf {Z} )}{P(\mathbf {X} )}}}$, the KL-divergence above can also be written as

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} ,\mathbf {X} )}}+\log P(\mathbf {X} )\right]=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log P(\mathbf {X} )\right]}$

Because ${\displaystyle P(\mathbf {X} )}$ is a constant with respect to ${\displaystyle \mathbf {Z} }$ and ${\displaystyle \sum _{\mathbf {Z} }Q(\mathbf {Z} )=1}$ because ${\displaystyle Q(\mathbf {Z} )}$ is a distribution, we have

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

기대값의 정의에 따라 다음과 같이 기록할 수 있다.

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

다음 중 하나로 재배열할 수 있는

${\displaystyle \log P(\mathbf {X} )=D_{\mathrm {KL} }(Q\parallel P)-\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]=D_{\mathrm {KL}}(Q\병렬 P)+{\mathcal {L}(Q)}$

As the log-evidence ${\displaystyle \log P(\mathbf {X} )}$ is fixed with respect to ${\displaystyle Q}$, maximizing the final term ${\displaystyle {\mathcal {L}}(Q)}$ minimizes the KL divergence of ${\displaystyle Q}$ from ${\displaystyle P}$. By appropriate choice of ${\displa$$ystyle Q}$, $L{\displaystyle \mathcal{}}$( Q${\displaystyle }$) ${\displaystyle {\mathcal {L}}(Q)}$은(는) 계산 및 최대화가 추적 가능해진다$$.Hence we have both an analytical approximation ${\displaystyle Q}$ for the posterior ${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$, and a lower bound ${\displaystyle {\mathcal {L}}(Q)}$ for the log-evidence ${\displaystyle \log P(\mathbf {X} )}$ (since the KL-divergence is음이 아닌

The lower bound ${\displaystyle {\mathcal {L}}(Q)}$ is known as the (negative) variational free energy in analogy with thermodynamic free energy because it can also be expressed as a negative energy ${\displaystyle \operatorname {E} _{Q}[\log P(\mathbf {Z} ,\mathbf {X} )]}$ plus the entrop$Q{\displaystyle }${\$displaystyle$ Q$}$의 y$.$$L{\displaystyle \mathcal{}}$( ${\displaystyle Q}$) ${\displaystyle {\mathcal$ {\mathcal${L}(Q)}$이라는 용어는 ELBO로 약칭되는 증거 하한 BOUND로도 알려져$$ 있어 데이터의 로그 증거에 대한 하한임을 강조한다.

교정쇄

KL-디버전스가 특수한 경우인 브레그만 분리의 피타고라스 정리 일반화에 의해 다음과 같은 것을 알 수 있다.^[1][2]

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)\geq D_{\mathrm {KL} }(Q\parallel Q^{*})+D_{\mathrm {KL} }(Q^{*}\parallel P),\forall Q^{*}\in {\mathcal {C}}}$

여기서 C ${\$은(는) 볼록 집합이며$$ 다음과 같은 경우 동등성이 유지된다.

${\displaystyle Q=Q^{*}\triangleq \arg \min _{Q\in {\mathcal {C}D_{\mathrm {KL}}}}(Q\parallel P).}$

In this case, the global minimizer ${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})q^{*}(\mathbf {Z} _{2})=q^{*}(\mathbf {Z} _{2}\mid \mathbf {Z} _{1})q^{*}(\mathbf {Z} _{1}),}$$Z{\displaystyle \mathbf{}}$=${\displaystyle }${ ${\displaystyle Z{\mathbf{}}_{}}$ ${\displaystyle {1\mathbf{}}_{}}$,${\displaystyle {}_{}Z{\mathbf{}}_{}}$ ${\displaystyle {2\mathbf{}}_{}}$ ${\displaystyle \},}$ ${\displaystyle \mathbf {Z} =\\\mathbf {Z_{1},\mathbf {Z_{2$}}$\},$ 다음과 같이 찾을 수 있다$$.^[1]

${\displaystyle q^{*}(\mathbf {Z} _{2})={\frac {P(\mathbf {X} )}{\zeta (\mathbf {X} )}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}={\frac {1}{\zeta (\mathbf {X} )}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right),}$

정규화 상수가 다음과 같은 경우:

${\displaystyle \zeta (\mathbf {X} )=P(\mathbf {X} )\int _{\mathbf {Z} _{2}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}=\int _{\mathbf {Z} _{2}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right).}$

The term ${\displaystyle \zeta (\mathbf {X} )}$ is often called the evidence lower bound (ELBO) in practice, since ${\displaystyle P(\mathbf {X} )\geq \zeta (\mathbf {X} )=\exp({\mathcal {L}}(Q^{*}))}$,^[1] as shown above.

By interchanging the roles of ${\displaystyle \mathbf {Z} _{1}}$ and ${\displaystyle \mathbf {Z} _{2},}$ we can iteratively compute the approximated ${\displaystyle q^{*}(\mathbf {Z} _{1})}$ and ${\displaystyle q^{*}(\mathbf {Z} _{2})}$ of the true model's marggins $P{\displaystyle ({\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle X\mathbf{}}$) ${\displaystyle P(\mathbf {Z} _{1}\mid \mathbf {X})$및$$ $P{\displaystyle ({\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle X\mathbf{}),}$ ${\displaystyle P(\mathbf {Z} _{2}\med \mathbf {X}),$ 각각$$$$}).이러한 반복적 체계가 단조롭게 수렴될 것을 보장하지만,^[1] 수렴 $∗{\$ Q$^{*}}$은(는) $D{\displaystyle {}_{}}$ ${\displaystyle {K\mathrm{}}_{}}$ ${\displaystyle {\mathrm{L}}_{}}$(${\displaystyle Q}$ ${\displaystyle \parallel }$ P$){\displaystyle$D_{\$mathrm {KL}}(Q\parallel$ P$)}$의 국소 최소제일 뿐이다$.$

If the constrained space ${\displaystyle {\mathcal {C}}}$ is confined within independent space, i.e. ${\displaystyle q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})=q^{*}(\mathbf {Z_{1}} ),}$the above iterative scheme will become the so-called mean field approximation ${\displaystyle Q^{}}$${\displaystyle {\ast }^{}}$(${\displaystyle Z\mathbf{}}$ ${\displaystyle )}$= ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$(${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$(${\displaystyle {\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$)${\displaystyle }$, ${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf$ {$Z} _{1$}q$^{$1}(\$mathbf {$Z} $_{2})}}}$는 아래와 같다$$.

평균 필드 근사치

The variational distribution ${\displaystyle Q(\mathbf {Z} )}$ is usually assumed to factorize over some partition of the latent variables, i.e. for some partition of the latent variables ${\displaystyle \mathbf {Z} }$ into ${\displaystyle \mathbf {Z} _{1}\dots \mathbf {Z} _{M}}$,

${\displaystyle Q(\mathbf {Z} )=\prod _{i=1}^{M}q_{i}(\mathbf {Z} _{i}\mid \mathbf {X})}$

${\displaystyle q_{}}$ j${\displaystyle {}_{}^{}}$${\$${j}^{*}}$ 각 인자에 대한$$ "최상의" 분포 ${\displaystyle q_{}^{}}$ j {\displaystyle$$q_${j$}^{*}}}(위에서 설명한 바와 같이 KL 분산을 최소화하는 분포 측면에서)를 다음과 같이 표현할 수 있다는 것을 변동의 미적분학("변량)을 사용하여 나타낼 수 있다.

${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )={\frac {e^{\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}}{\int e^{\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}\,d\mathbf {Z} _{j}}}}$

데이터를 잠재적인 변수들의 결합 확률, 파티션에 있지 않은 모든 변수들을 인수의 로그의 E나는[ln ⁡ p(Z, X)]{\displaystyle \operatorname{E}_ᆬ[\ln p(\mathbf{Z},\mathbf{X})]⁡ j≠}은 기대:[3]에게 분배하는 것을 qj∗의 의 기원(Zj.을 참조하 ∣${\displaystyle \mathbf{X}}$) ${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X$

실제로, 우리는 보통 로그 측면에서 일한다. 예를 들어:

${\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\mathbname {E} _{i\neq j}[\ln(\mathbf {Z},\mathbf {X}]+{constant}}}}}}}}}}}}}}}}}}}}})}}}}$

위의 식에 있는 상수는 정규화 $상수{\displaystyle {}_{}^{}}$($\$ {\$displaystyle q_{$j$\}^\{*\}\}\}\})$와 관련이 있으며, 일반적으로 나머지 식은 알려진 분포 유형(예: 가우스, 감마 등)으로 인식할 수 있기 때문에 검사에 의해 복구된다.

Using the properties of expectations, the expression ${\displaystyle \operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}$ can usually be simplified into a function of the fixed hyperparameters of the prior distributions over the latent variables and of expectations (and sometimes higher moments 현재 분할에 포함되지 않은 잠재 변수($즉{\displaystyle {\mathbf{}}_{}}$, ${\displaystyle {}_{}}$ j ${\$에 포함되지 않은 잠재 변수)$$와 같은 ts.이것은 한 칸막이의 변수에 대한 분포의 매개변수와 다른 칸막이의 변수에 대한 기대치 사이에 순환 종속성을 생성한다.이는 자연적으로 전자파(기대-최대화 알고리즘)와 마찬가지로 잠재 변수의 기대치(그리고 어쩌면 더 높은 모멘트)가 어떤 방식으로 초기화되는 반복 알고리즘을 시사하며, 그 다음에는 각 분포의 매개변수가 기대치의 현재 값을 사용하여 차례로 계산된다.새로 계산된 분포에 대한 기대가 계산된 매개변수에 따라 적절하게 설정되는 경우.이런 종류의 알고리즘은 수렴이 보장된다.^[4]

즉, 변수의 각 분할에 대해, 분할의 변수에 대한 분포를 위한 표현을 단순화하고, 해당 변수에 대한 분포의 기능적 의존성을 조사함으로써, 일반적으로 분포의 집단을 결정할 수 있다(이것은 상수의 값을 결정한다).분포의 모수에 대한 공식은 이전 분포의 하이퍼 파라미터(알려진 상수)의 관점에서 표현되지만 다른 파티션의 변수의 함수에 대한 기대 측면에서도 표현될 것이다.일반적으로 이러한 기대는 변수 자체에 대한 기대 함수(즉, 수단)로 단순화할 수 있다. 때로는 변수 제곱에 대한 기대(변수의 분산과 관련될 수 있음) 또는 더 높은 힘에 대한 기대(즉, 더 높은 순간)도 나타난다.대부분의 경우, 다른 변수의 분포는 알려진 패밀리가 될 것이며, 관련 기대치에 대한 공식을 찾아볼 수 있다.그러나 그러한 공식은 그러한 분포의 모수에 의존하며, 다른 변수에 대한 기대치에 의존한다.그 결과 각 변수 분포의 모수에 대한 공식은 변수들 간의 상호, 비선형 의존성을 갖는 일련의 방정식으로 표현될 수 있다.보통 이런 방정식 체계를 직접 해결하는 것은 불가능하다.그러나 위에서 설명한 것처럼 의존성은 단순한 반복 알고리즘을 제안하며, 대부분의 경우 수렴이 보장된다.예를 들면 이 과정이 더 명확해질 것이다.

변동 추론을 위한 이중성 공식

다음과 같은 정리를 변동 추론에 대한 이중성 공식이라고 한다.^[6]그것은 변동 베이즈 방법에 사용된 변동 분포의 몇 가지 중요한 특성을 설명한다.

Theorem Consider two probability spaces ${\displaystyle (\Theta ,{\mathcal {F}},P)}$ and ${\displaystyle (\Theta ,{\mathcal {F}},Q)}$ with ${\displaystyle Q\ll P}$. Assume that there is a common dominating probability measure ${\displaystyle \lambda }$ such that ${\displ$$aystyle P\ll \lambda }$ and ${\displaystyle Q\ll \lambda }$. Let ${\displaystyle h}$ denote any real-valued random variable on ${\displaystyle (\Theta ,{\mathcal {F}},P)}$ that satisfies ${\displaystyle h\in L_{1}(P)}$. Then the following equality holds

${\displaystyle \log E_{P}[\exp h]={\text{sup}_{Q\ll P}\{E_{Q}[h]-D_{\text{KL}}(Q\parallel P)\}}.}$

또한, 우측의 우수는 그것이 지탱하는 경우에만 얻어진다.

${\displaystyle {\frac {q(\theta )}{p(\theta )}}}={\frac {\exp h(\exp h)}{E_{P}[\exp h]},},}$

almost surely with respect to probability measure ${\displaystyle Q}$, where ${\displaystyle p(\theta )=dP/d\lambda }$ and ${\displaystyle q(\theta )=dQ/d\lambda }$ denote the Radon-Nikodym derivatives of the probability measures ${\displaystyle P}$ and ${\displaystyle Q$$\lambda {\displaystyle }$ ${\displaystyle \lambda }$에 대한$$ $\}.$

기본적인 예

평균과 분산을 알 수 없는 가우스 분포의 i.i.d 관측치 집합으로 구성된 단순한 비계층적 베이시안 모델을 고려하십시오.^[7]다음에서 우리는 변동 베이즈 방법의 작동을 설명하기 위해 이 모델을 매우 상세하게 연구한다.

수학적인 편의를 위해, 다음 예에서 우리는 분산 그 자체보다는 분산의 역수(또는 다변량 가우스에서 공분산 행렬의 역수)와 같은 정밀도의 측면에서 작업한다. (이론적인 관점에서, 정밀도와 분산은 일대일 대응성이 있기 때문에 동등하다.두 사람 사이를 이간질하다.)

수학적 모형

우리는 알 수 없는 평균 $[\displaystyle \mu }$과 정밀도 $[\displaystyle \tau$ $\}$에 조합 이전 분포를 배치한다. 즉, 평균은 감마 분포를 따르는 동안 가우스 분포를 따른다.즉, 다음과 같다.

${\displaystyle {\begin{aligned}\tau &\sim \operatorname {Gamma} (a_{0},b_{0})\\\mu \tau &\sim {\mathcal {N}}(\mu _{0},(\lambda _{0}\tau )^{-1})\\\{x_{1},\dots ,x_{N}\}&\sim {\mathcal {N}}(\mu ,\tau ^{-1})\\N&={\text{number of data points}\end{aigned}}$

이전 분포에서$$ ${\displaystyle {하이퍼\mathrm{}}_{}}$ 파라미터 ${\displaystyle {\mu \mathrm{}}_{}}$ 0${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ λ 0, ${\displaystyle {}_{}}$ ${\$b $0{\displaystyle {}_{}}$ ${\$은 지정된 값으로 고정되어 있다.$\mu s{\displaystyle }$[\$displaystyle \mu }$과($와{\displaystyle }$) μs$[\displaystyle$ \$tau }$의 이전 분포에 대한 무지를 나타내는 광범위한 사전 분포를 제공하기 위해 작은 양의 숫자로 설정할 수 있다$.$

We are given ${\displaystyle N}$ data points ${\displaystyle \mathbf {X} =\{x_{1},\ldots ,x_{N}\}}$ and our goal is to infer the posterior distribution ${\displaystyle q(\mu ,\tau )=p(\mu ,\tau \mid x_{1},\ldots ,x_{N})}$ of the parameters ${\displaystyle \mu }$${\displaystyle \mu }$ 및$$${\displaystyle }and{\displaystyle }$. ${\displaystyle \tau.}$

관절 확률

모든 변수의 합동 확률은 다음과 같이 다시 쓸 수 있다.

${\displaystyle p(\mathbf {X} ,\mu ,\tau )=p(\mathbf {X}\mid \mad \tau )p(\mid \tau )p(\tau )}$

개별 요인이 있는 곳

${\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{n=1}^{N}{\mathcal {N}}(x_{n}\mid \mu ,\tau ^{-1})\\p(\mu \mid \tau )&={\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\\p(\tau )&=\operatorname {Gamma} (\tau \mid a_{0},b_{0})\end{aligned}}}$

어디에

${\displaystyle {\begin{aligned}{\mathcal {N}}(x\mid \mu ,\sigma ^{2})&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{\frac {-(x-\mu )^{2}}{2\sigma ^{2}}}\\\operatorname {Gamma} (\tau \mid a,b)&={\frac {1}{\Gamma (a)}}b^{a}\tau ^{a-1}e^{-b\tau }\end{aligned}}}$

인자화된 근사치

$q{\displaystyle }$(${\displaystyle \mu }$ ,${\displaystyle \mu }$)${\displaystyle }$= ${\displaystyle q}$ ${\displaystyle (}$μ ) q ($μ$ )$q (\mu ,\tau )},$$즉$, $[\displaystyle \mu$$\q(\tau$ )},$\mu s{\displaystyle }$[\$displaystyle \tau }$에 대한 독립 인자로 후분배한다고 가정한다$.$ 이러한 유형의 가정한다.진정한 후분포는 사실 이런 식으로 인자가 되지 않으며(사실 이 간단한 경우 가우스-감마 분포로 알려져 있다), 따라서 우리가 얻는 결과는 근사치가 될 것이다.

q(μ)의 유도

그러면

${\displaystyle {\begin}\ln q_{\nmu }^{**(\mu )&=\operatorname {E}_{\tau }\left[\ln p)(\mid \med \tau )+\ln p(\tau+)\right\]C\\&=\operatorname {E} _{\tau }\left[\ln p(\mathbf {X} \mid \mu ,\tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\mu \mid \tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\tau )\right]+C\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\mathcal {N}}\left(x_{n}\mid \mu ,\tau ^{-1}\right)\right]+\operatorname {E} _{\tau }\left[\ln {\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\sqrt {\frac {\tau }{2\pi }}}e^{-{\frac {(x_{n}-\mu )^{2}\tau }{2}}}\right]+\operatorname {E} _{\tau }\left[\ln {\sqrt {\frac {\lambda _{0}\tau }{2\pi }}}e^{-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}}\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}\left({\frac {1}{2}}(\ln \tau -\ln 2\pi )-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right)\right]+\operatorname {E} _{\tau }\left[{\frac {1}{2}}(\ln \lambda _{0}+\ln \tau -\ln 2\pi )-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{2}\\&,=\operatorname{E}_ᆭ\left[\sum_{n=1}^{N}-{\frac{(x_{n}-\mu)^{2}\tau}{2}}\right]+\operatorname{E}_ᆯ\left[-{\frac{(\mu -\mu_{0})^{2}\lambda_{0}}{2}}\tau \right]+\operatorname{E}_ᆱ\left[\sum_{n=1}^{N}{\frac{1}{2}}(\ln \tau -\ln 2\pi)\right]+\operatorname{E}_{\tau}\left는 경우에는{\frac{1}{2}}(\ln \lambda _{0}+\ln.\tau -\ln 2\pi )\오른쪽]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}}\end{정렬}}}$

In the above derivation, ${\displaystyle C}$, ${\displaystyle C_{2}}$ and ${\displaystyle C_{3}}$ refer to values that are constant with respect to ${\displaystyle \mu }$. Note that the term ${\displaystyle \operatorname {E} _{\tau }[\ln p(\tau )]}$ is not a function of $$$[\$$displaystyle \mu$ $}$은(는$)$ $\mu$의 값과 상관없이 동일한 값을 가질 것이다$.$ 따라서 3행에서는 μs를 끝에 있는 상수 항으로 흡수할 수 있다.우리는 7번 줄에서도 같은 일을 한다.

The last line is simply a quadratic polynomial in ${\displaystyle \mu }$. Since this is the logarithm of ${\displaystyle q_{\mu }^{*}(\mu )}$, we can see that ${\displaystyle q_{\mu }^{*}(\mu )}$ itself is a Gaussian distribution.

일정량의 지루한 산술(가새 안쪽의 사각형을 확장하고, $[\displaystyle \mu }}$과 $[\$$displaystyle \mu ^{$$2}}]$를 포함하는 용어를 분리 및 그룹화하고$$,$\mu$에 걸쳐 제곱을 완료하는 것)$$을 통해 다음과 같은 가우스 분포의 파라미터를 도출할 수 있다.

${\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}^{2}-2x_{n}\mu +\mu ^{2})+\lambda _{0}(\mu ^{2}-2\mu _{0}\mu +\mu _{0}^{2})\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\left(\sum _{n=1}^{N}x_{n}^{2}\right)-2\left(\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}\mu ^{2}\right)+\lambda _{0}\mu ^{2}-2\lambda _{0}\mu _{0}\mu +\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)(\lambda _{0}+N)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu \right)\right\}+C_{4}\\&, =-{\frac{\operatorname{E}_ᆮ[\tau]}{2}}\left\ᆰ-\left({\frac{\lambda_{0}일 경우 \mu_{0}일 경우 +\sum_{n=1}^{N}x_{n}}{\lambda_{0}일 경우 +N}}\right)^{2}\.right)\오른쪽\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{5}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right\}+C_{5}\\&=-{\frac {1}{2}}(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}+C_{5}\end{aligned}}}$

위의 모든 단계는 두 개의 사분위수 합계에 대한 공식을 사용하여 단축할 수 있다는 점에 유의하십시오.

즉, 다음과 같다.

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

q(τ)의 파생

$q{\displaystyle {}_{}^{}}$ for (${\displaystyle \tau }$ $){\displaystyle q_{\tau }^{*}(\tau )}$의 파생은 간결성을 위해 일부 세부사항을 생략하지만 위와 유사하다$$.

${\displaystyle{\begin{정렬}\ln q_ᆮ^ᆯ(\tau)&,=\operatorname{E}_ᆱ[\ln p(\mathbf{X}\mu ,\tau)+\ln p(\mu \mid \tau \mid)]+\ln p(\tau)+{\text{상수}}\\&, =(a_{0}))\ln\tau -b_{0}\tau +{\frac{1}{2}}}}\operatorname{E}_{\mu}\left는 경우에는\sum _ᆼ^ᆽ(x_{n}-\mu)^{2}+\lambda\tau -{\frac{\tau}{2}\ln\tau +{\frac{N}{2}\ln. _{0}(\mu-\mu _{0}^{2}\오른쪽]+{\text{data}\end{aigned}}}}$

양쪽을 지수화하면 $q{\displaystyle {}_{}^{}}$ ${\displaystyle q_{}^{}}$ (${\displaystyle {}_{}^{}\tau }$ $){\displaystyle q_{\tau }^{*}(\tau )}}$이(가) 감마 분포임을 알 수 있다.구체적으로:

${\displaystyle {\begin}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma}(\tau \mid a_{N}b_{N}\n}\n}&=a_{0}+{\frac {N+1}{2}{2}}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

매개변수 계산 알고리즘

이전 절의 결론을 다시 요약해 봅시다.

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

그리고

${\displaystyle {\begin}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma}(\tau \mid a_{N}b_{N}\n}\n}&=a_{0}+{\frac {N+1}{2}{2}}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

각 경우에 한 변수에 대한 분포 모수는 다른 변수에 대해 취해진 기대치에 따라 달라진다.가우스 분포와 감마 분포의 모멘트에 대한 표준 공식을 사용하여 기대치를 확장할 수 있다.

${\displaystyle {\begin{aigned}\operatorname {E}[\tau \mid a_{N},b_{N}]&={\frac {a_{N}}}{b_{b_}}}}{b_{}}}}}}}}}}N}}}\\\operatorname {E} \left[\mu \mid \mu _{N},\lambda _{N}^{-1}\right]&=\mu _{N}\\\operatorname {E} \left[X^{2}\right]&=\operatorname {Var} (X)+(\operatorname {E} [X])^{2}\\\operatorname {E} \left[\mu ^{2}\mid \mu_{N}}\lambda _{N}^{-1}\right]&=\lambda _{N}^{1}+\mu _{N}^{2}\ended}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}?$

위의 방정식에 이러한 공식을 적용하는 것은 대부분의 경우 사소한 것이지만 $b{\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\$에 대한 방정식은 더 많은 작업을$$ 필요로 한다.

${\displaystyle {\begin{aligned}b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\\&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\operatorname {E} _{\mu }[\mu ^{2}]-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\operatorname {E} _{\mu }[\mu ]+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\end{정렬}}}$

그러면 우리는 기대하지 않고 다음과 같이 매개변수 방정식을 쓸 수 있다.

${\displaystyle {\begin{aligned}\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N){\frac {a_{N}}{b_{N}}\\{\bar{x}&={\frac {1}{{{N}\sum _{n=1}^{N}x_{n}\a_{n_{n_}}}{{n_}}}}}{\a_{\}}}}}}{\frac {1}}}}}}N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\end{aligned}}}$

$\lambda {\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\$ 및 $b$ ${\displaystyle N_{}}$ ${\$의 공식 사이에는 순환 종속성이 있다는 점에 유의하십시오$.$이는 자연스럽게 전자파 알고리즘을 제안한다.

1. 계산 $\sum {\displaystyle \underset{n}{\overset{}{}}}$= 1 ${\displaystyle \underset{}{\overset{}{\mathrm{N}}}}$ ${\displaystyle x_{}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\$ 및$$ $\sum {\displaystyle \underset{n}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{1}}}$ N ${\displaystyle \underset{}{\overset{}{}}{}_{}^{}}$ n ${\displaystyle {}_{}^{}}$. ${\displaystyle \sum$ \sum $_{n=1}^{n}x_{n}^{$n}^{n}^{2$}.$$}$ 이 값을 ${\displaystyle {사용}_{}}$하여$\mu N{\displaystyle {}_{}}$ {\$displaystyle \mu _{$${\displaystyle N_{}}$} 및$$N . {\$displaystyle$a_{$N}}$을(를) 계산하십시오$$.
2. $\lambda {\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\$을(를) 임의의 값으로$$ 초기화하십시오.
3. ${\displaystyle {다른}_{}}$ 파라미터의 알려진 값과 함께$$ value N ,${\displaystyle \lambda _{N}$의 현재 값을 사용하여 ${\displaystyle b_{}}$ ${\$을(를) 계산하십시오$.$
4. ${\displaystyle {다른}_{}}$ 파라미터의 알려진 값과 함께$$ b $N{\displaystyle {}_{}}$,${\displaystyle b_{N}$의 현재 값을 사용하여 $\lambda {\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\$을 계산하십시오$.$
5. 수렴할 때까지(즉, 어느 값도 일부 소량보다 많이 변경되지 않을 때까지) 마지막 두 단계를 반복하십시오.

그런 다음 후방 파라미터의 근사 분포에 대한 하이퍼 파라미터 값을 얻는다. 이 값을 사용하여 후방 파라미터의 평균과 분산, 95% 최고 밀도 영역(전체 확률의 95%를 포함하는 가장 작은 간격) 등의 원하는 특성을 계산할 수 있다.

이 알고리즘이 로컬 최대값으로 수렴할 수 있음을 보장할 수 있다.

또한 후방 분포는 해당 이전 분포와 동일한 형태를 가지고 있다는 점에 유의하십시오.우리는 이것을 가정하지 않았다; 우리가 한 유일한 가정은 분포가 인자화되고 분포의 형태가 자연적으로 따라온다는 것이었다.후분포가 이전분포와 같은 형태를 가지고 있다는 사실은 우연이 아니라 이전분포가 지수 계열의 구성원이 될 때마다 나타나는 일반적인 결과라는 것이 밝혀져(아래 참조) 대부분의 표준분포가 해당된다.

추가토론

단계별 레시피

위의 예는 주어진 베이시안 네트워크에서 후방 확률밀도에 대한 변동-베이시안 근사치를 도출하는 방법을 보여준다.

1. 관측 변수(데이터) $X{\displaystyle \mathbf{}}$ ${\$ 및$$ 관측되지 않은 변수(파라미터 $\theta {\displaystyle \mathbf{}}$ ${\$displaybf})를 식별하는 그래픽 모델을 사용하여 네트워크를 설명하십시오.$Theta }}$과(와) $잠재{\displaystyle \mathbf{}}$변수 Z {\$displaystyle \mathbf$ {$Z}}$) 및 이들의 조건부 확률 분포.그런 다음 Variative Bayes는 후방 $확률{\displaystyle }$ p${\displaystyle }$(${\displaystyle Z\mathbf{}}$, approx imation${\displaystyle }$X${\displaystyle }$) ${\displaystyle p(\mathbf {Z},{\boldsymbol {\\\)$에 대한 근사를 생성한다.$Theta }}\mid \mathbf {X$근사치에는 인자화된 분포라는 기본 특성이 있다. 즉, 관측되지 않은 변수의 이산형 하위 집합에 대한 둘 이상의 독립 분포의 곱이다.
2. 관측되지 않은 변수를 둘 이상의 하위 집합으로 분할하고, 그 위에 독립 요인을 도출한다.이를 위한 보편적인 절차는 없다; 너무 많은 하위 집합을 만드는 것은 좋지 않은 근사치를 산출하는 반면, 너무 적은 수의 하위 집합을 만드는 것은 전체 가변 베이 절차를 난해하게 만든다.일반적으로 첫 번째 분할은 매개변수와 잠재 변수를 분리하는 것이다. 종종 이 자체만으로도 추적 가능한 결과를 도출하기에 충분하다.파티션을 $Z{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$,${\displaystyle }$… ,${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$라고 가정해 보십시오$.$
3. For a given partition ${\displaystyle \mathbf {Z} _{j}}$, write down the formula for the best approximating distribution ${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )}$ using the basic equation ${\displaystyle \ln q_j^{\ast }({\mathbf{Z}}_j\mid \mathbf{X})={\mathrm{E}}_{i\ne j}[\ln p(\mathbf{Z},\mathbf{X})]+\text{co}}$${\displaystyle \text{nstant}}$ ${\$
4. 그래픽 모델을 사용하여 접합 확률 분포에 대한 공식을 입력하십시오.$Z{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$의 변수를 포함하지 않는 성분 조건부 분포는 무시할 수 있으며$$, 상수 항으로 접힌다.
5. 위의 예에 따라 공식을 단순화하고 기대 연산자를 적용한다.이상적으로는 Z ${\displaystyle {}_{}}$ ${\$에 없는 변수의 기본 기능에 대한 기대치로 단순화해야 한다($$예: 첫 번째 또는 두 번째 원시 모멘트, 로그 기대 등).변동 베이즈 절차가 잘 작동하려면, 이러한 기대치는 일반적으로 이러한 변수들의 분포에 대한 매개변수 및/또는 하이퍼 파라미터의 함수로서 분석적으로 표현 가능해야 한다.모든 경우에 이러한 기대 조건은 현재 파티션의 변수와 관련된 상수다.
6. 현재 분할된 변수에 대한 공식의 함수 형태는 분포의 유형을 나타낸다.특히 이 공식을 강조하면 분포의 확률밀도함수(PDF)가 생성된다(또는 최소한 분포에 비례하는 것으로, 정규화 상수를 알 수 없음).전체적인 방법을 추적하기 위해서는 기능적 형태를 알려진 분포에 속하는 것으로 인식할 수 있어야 한다.공식을 알려진 분포의 PDF와 일치하는 형태로 변환하려면 상당한 수학적 조작이 필요할 수 있다.이 작업을 수행할 수 있을 때, 정규화 상수는 정의에 의해 복원될 수 있으며, 알려진 분포의 모수에 대한 방정식은 공식의 적절한 부분을 추출하여 도출할 수 있다.
7. 모든 기대를 현재 칸막이에 없는 변수의 함수로 분석적으로 대체할 수 있고, PDF를 알려진 분포로 식별할 수 있는 형태로 넣을 수 있는 경우, 그 결과는 다른 칸막이에 있는 변수의 함수로써 최적 파라미터의 값을 표현하는 일련의 방정식이 된다.
8. 이 절차를 모든 파티션에 적용할 수 있는 경우 결과는 모든 파라미터의 최적 값을 지정하는 상호 연결된 방정식의 집합이다.
9. 그런 다음 기대 최대화(EM) 유형 절차를 적용하여 각 파라미터의 초기 값을 선택하고 일련의 단계를 통해 반복하며, 각 단계에서 방정식을 통해 각 파라미터를 차례로 업데이트한다.이것은 확실히 수렴될 것이다.

가장 중요한 점

관련된 모든 수학적 조작 때문에, 큰 그림을 놓치기 쉽다.중요한 것은 다음과 같다.

1. 변동 베이지의 개념은 데이터가 주어진 경우 관측되지 않은 변수 집합(파라미터와 잠재 변수)의 후방 확률에 대한 해석 근사치를 구성하는 것이다.이것은 해결책의 형태가 Gibbs 샘플링과 같은 다른 베이지안 추론 방법, 즉 변수에 대해 알려진 모든 것을 설명하려는 분포와 유사하다는 것을 의미한다.다른 베이지안 방법에서와 마찬가지로 - 그러나 예를 들어 기대 최대화(EM) 또는 기타 최대우도 방법과는 달리, 두 유형의 관측되지 않은 변수(즉, 매개변수와 잠재 변수)는 모두 무작위 변수로 동일하게 취급된다.변수에 대한 추정치는 표준 베이지안 방식으로 도출할 수 있다. 예를 들어, 단일 점 추정치를 얻기 위해 분포의 평균을 계산하거나 신뢰할 수 있는 구간, 최고 밀도 지역 등을 도출한다.
2. "분석적 근사치"는 후분포를 위해 공식을 기록할 수 있다는 것을 의미한다.공식은 일반적으로 잘 알려진 확률 분포의 산물로 구성되며, 각각은 관측되지 않은 변수 집합에 대해 인수된다(즉, 관측된 데이터를 감안할 때 다른 변수와는 조건부로 독립적이다).이 공식은 진정한 후방 분포가 아니라 그것에 대한 근사치로서, 특히 일반적으로 관측되지 않은 변수의 가장 낮은 순간(예: 평균과 분산)에서 상당히 밀접하게 일치할 것이다.
3. 모든 수학적 조작의 결과는 (1) 인자를 구성하는 확률 분포의 정체성과 (2) 이러한 분포의 모수에 대한 상호 의존적인 공식이다.이 매개변수의 실제 값은 전자파처럼 교대 반복 절차를 통해 숫자로 계산된다.

기대 극대화와 비교(EM)

가변 베이지(VB)는 흔히 기대 최대화(EM)와 비교된다. 실제 수치 절차는 두 절차 모두 최적의 매개변수 값에 연속적으로 수렴하는 교대 반복 절차라는 점에서 상당히 유사하다.각각의 절차를 도출하기 위한 초기 단계 또한 모호하게 유사하며, 확률 밀도에 대한 공식으로 시작하며, 두 단계 모두 상당한 양의 수학 조작을 포함한다.

그러나 여러 가지 차이점이 있다.가장 중요한 것은 계산되고 있는 것이다.

• EM은 "모수"로 분류할 수 있는 무작위 변수의 후분포에 대한 점 추정치를 계산하지만, 잠재 변수의 실제 후분포에 대한 추정치만 계산한다(적어도 "부드러운 전자파"에서는, 그리고 잠재 변수가 불연속인 경우에만).계산된 점 추정치는 이러한 모수의 모드로서, 다른 정보는 이용할 수 없다.
• 반면에 VB는 모든 변수의 실제 후방 분포에 대한 추정치를 계산한다.점 추정치를 도출해야 할 경우, 베이시안 추론에서 정상인 것처럼 일반적으로 평균이 모드보다 사용된다.이와 유사하게, VB에서 계산된 매개변수는 전자파에서와 같은 유의성을 가지지 않는다.EM은 베이즈 네트워크 자체의 파라미터의 최적 값을 계산한다.VB는 베이즈 네트워크의 매개변수 및 잠재 변수의 근사치에 사용되는 분포 매개변수의 최적 값을 계산한다.예를 들어, 일반적인 가우스 혼합물 모델은 각 혼합물 성분의 평균과 분산을 위한 모수를 가질 것이다.전자파에서는 이러한 모수에 대한 최적 값을 직접 추정할 수 있다.그러나 VB는 먼저 이러한 매개변수(예: 일반적으로 정규 분포를 따른 역 감마 분포)에 분포를 적합시키고 이 이전 분포의 매개변수(즉, 본질적으로 하이퍼 파라미터)에 대한 값을 계산한다.이 경우 VB는 성분의 평균과 분산의 공동 분포를 설명하는 정규 척도 역 감마 분포의 네 모수에 대한 최적 추정치를 계산한다.

더 복잡한 예

이 글의 일부에 대한 사실의 정확성은 논쟁의 여지가 있다.그 논쟁은 방정식의 정확성에 관한 것이다. 논쟁의 여지가 있는 진술이 안정적으로 소싱되도록 도와주십시오. 토크 페이지의 관련 토론을 참조하십시오.(2018년 4월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

다음과 같이 설명된 베이지안 가우스 혼합물 모델을 상상해 보십시오.^[7]

${\displaystyle{\begin{정렬}\mathbf{\pi}&\sim\operatorname{SymDir}{\Lambda}_{i=1\dots K}&(K,\alpha_{0})\\\mathbf, \sim{{W\mathcal}};\sim{{N\mathcal}}(\mathbf{\mu}_{0}일 경우,(\beta_{0}일 경우 \mathbf{\Lambda}_{나는})^{)}){\mu}_{i=1\dots K}&(\mathbf{W}_{0}일 경우 ,\nu_{0})\\\mathbf,\sim \operatorname{내 R{z}[i=1\dots N]& \\\mathbf.}(1,\mathbf{\pi} )\\\mathbf {x} _{i=1\dots N}&\sim {\mathbf {\mathbf {}{z_{i},{\lambda }}^{-1}}}\{-1}^\K&={text{data.}}}}}}}}}}\\\}}}}}}}}}}}}}\comentialtext}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}\comN&={\text{number of data points}\end{aigned}}$

참고:

• SymDir()는 치수 $K{\displaystyle }$ ${\displaystyle K}$의 대칭 디리클레 분포로$,$ 각 성분에 대한 하이퍼 파라미터는 $\alpha {\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$로 설정된다$.$디리클레 분포는 범주형 분포 또는 다항 분포 이전의 결합이다.
• ${\displaystyle \mathcal{W}}$(${\displaystyle }$) ${\displaystyle {\mathcal{W}}}}$은(는) 위시아트 분포로, 다변량 가우스 분포에 대한 정밀 행렬(역 공분산 행렬) 이전의 결합이다.
• 다중()은 단일 관측치에 대한 다항 분포(범주 분포와 동일)이다.상태 공간은 "단일 K" 표현으로, 즉 $원소{\displaystyle }$ 중 하나가 1이고(관찰의 정체성을 명시함) 다른 모든 원소가 0인 K ${\displaystyle K}$ -차원$$ 벡터다.
• ${\displaystyle \mathcal{N}}$(${\displaystyle }$) ${\displaystyle {\mathcal{N}()}$은(는) 가우스 분포로, 이 경우 특히 다변량 가우스 분포가 된다$$.

위 변수의 해석은 다음과 같다.

• ${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{N}\}}$ is the set of ${\displaystyle N}$ data points, each of which is a ${\displaystyle D}$-dimensional vector distributed according to a multivariate Gaussian distribution.
• ${\displaystyle \mathbf {Z} =\{\mathbf {z} _{1},\dots ,\mathbf {z} _{N}\}}$ is a set of latent variables, one per data point, specifying which mixture component the corresponding data point belongs to, using a "one-of-K" vector representation with components ${\displaystyle z_{nk}}$ for ${\displaystyle }$${\displaystyle k}$= ${\displaystyle 1}$… ${\displaystyle K}$ ${\displaystyle k=1\dots K$ 위에서 설명한 대로.
• ${\displaystyle \pi }$ ${\$은(는) $K{\displaystyle }$ ${\displaystyle K}$ 혼합물$$ 성분의 혼합 비율이다$$.
• ${\displaystyle {}_{}}$= ${\displaystyle 1_{}}$… K ${\$}$_{i=1\dots K}$ 및$$ ${\displaystyle {\mathrm{\lambda }}_{}}$ ${\displaystyle {}_{}}$= ${\displaystyle 1_{}}$… K ${\$}$_{i=1\$dots $K}$는 각 혼합 성분과 관련된 매개변수(평균 및 정밀도)를$$ 지정한다.

모든 변수의 합동 확률은 다음과 같이 다시 쓸 수 있다.

${\displaystyle p(\mathbf {X} ,\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )p(\mathbf {Z} \mid \mathbf {\pi } )p(\mathbf {\pi } )p(\mathbf {\mu } \mid \mathbf {\Lambda } )p(\mathbf {\Lambda } )}$

개별 요인이 있는 곳

${\displaystyle{\begin{정렬}(\mathbf{X}\mid \mathbf{Z},\mathbf{\mu},\mathbf{\Lambda})&,=\prod _{n=1}^{N}\prod _{k=1}^{K}{{N\mathcal}}(\mathbf{x}_{n}\mid\mathbf{\mu}_{k},\mathbf{\Lambda}_{k}^{-1})^{z_{nk}}\\p(\mathbf{Z}\mid{\pi\mathbf})&,=\prod _{n=1}^{N}\prod _{k=1}^{K}\pi _{k}^{z_{nk}}\\p(\mathbf{\pi})&^{.\frac{\GammA(K\alpha_{0})}{\Gamma(\alpha_{0})^{K}}}\prod _{k=1}^{K}\pi _{k}^{\alpha_{0}-1}\\p(\mathbf{\mu}\mid{\Lambda}\mathbf)&, =\prod _{k=1}^{K}{{N\mathcal}}(\mathbf{\mu}_{k}\mid{\mu}_{0}일 경우,(\beta_{0}일 경우 \mathbf{\Lambda}_{k\mathbf})^{)})\\p(\mathbf{\Lambda})&, =\prod _{k=1}^{K}{{W\mathcal}}(\mathbf{\Lambda}_{k}\mid \mathbf{W}._{0},\nu _{0}\end{aigned}}}$

어디에

${\displaystyle{\begin{정렬}{{N\mathcal}}(\mathbf{x}\mid \mathbf{\mu},\mathbf{\Sigma})&, ={\frac{1}{(2\pi)^{D/2}}}{\frac{1}{\mathbf{\Sigma}^{1/2}}}\exp \left\{-{\frac{1}{2}}(\mathbf{x}-\mathbf{\mu})^{\rm{T}}\mathbf{\Sigma}^ᆷ(\mathbf{x}-\mathbf{\mu})\right\}\\{{W\mathcal}}(\mathbf{\Lambda}\mid\mathbf{W}. ,\nu각 거의)&=B(\mathbf{W},\nu)\mathbf{\Lambda}^{(\nu -D-1)/2}\exp \left(-{\frac{1}{2}}\operatorname{Tr}(\mathbf{W}^{-1}\mathbf{\Lambda})\right)\\B(\mathbf{W},\nu)&^\mathbf{W}^{/2-\nu}\left\{2^{\nu D/2}\pi ^{D(디-원)/4}\prod _{i=1}^{D}\Gamma \left({\frac{\nu +1-i}{2}}\right)\right\}^{)}\\D&, ={\text{차원수.지점}}\end{정렬}}}$

Assume that ${\displaystyle q(\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=q(\mathbf {Z} )q(\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )}$.

그러면

${\displaystyle{\begin{정렬}\ln q^ᆬ(\mathbf{Z})&,=\operatorname{E}_{\mathbf{\pi},\mathbf{\mu},\mathbf{\Lambda}}[\ln p(\mathbf{X},\mathbf{Z},\mathbf{\pi},\mathbf{\mu},\mathbf{\Lambda})]+{\text{상수}}\\&,=\operatorname{E}_{\mathbf{\pi}}[\ln p(\mathbf{Z}\mid\mathbf{\pi})]+\operatorname{E}_{\mathbf. {\mu},\mathbf {\Lambda } }[\ln p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )]+{\text{constant}}\\&=\sum _{n=1}^{N}\sum _{k=1}^{K}z_{nk}\ln \rho _{nk}+{\text{constant}}\end{aligned}}}$

우리가 정의한 곳

${\displaystyle \ln \rho _{nk}=\operatorname {E} [\ln \pi _{k}]+{\frac {1}{2}}\operatorname {E} [\ln \mathbf {\Lambda } _{k} ]-{\frac {D}{2}}\ln(2\pi )-{\frac {1}{2}}\operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}[(\mathbf {x} _{n}-\mathbf {\mu } _{k})^{\rm {T}}\mathbf {\Lambda } _{k}(\mathbf {x} _{n}-\mathbf {\mu } _{k})]}$

${\displaystyle \ln }$ ${\displaystyle }$ ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$( ${\displaystyle Z\mathbf{}}$) ${\displaystyle \ln q^{*}(\mathbf {Z})}$ 수율에$$ 대한 공식의 양면 지수화

${\displaystyle q^{*}(\mathbf {Z} )\propto \prod _{n=1}^{n}\prod _{k=1}^{k}^{nk}^{nk}}}}}}}}$

이 표준화를 요구하면 $yieldn{\displaystyle }$ ${\displaystyle k_{}}$ ${\$ 합계가$$ k ${\displaystyle k}$의 모든 값에 대해 1이 되도록 해야 한다$.$

${\displaystyle q^{*}(\mathbf {Z} )=\prod _{n=1}^{N}\prod _{k}r_{nk}^{z_{nk}}}}}}}}}}}}}$

어디에

${\displaystyle r_{nk}={\frac {\rho_{nk}}{nk}{nk}}{nsum _{j=1}^{K}\rho_{nj}}}}}}}}}}}}}}}$

즉, $q{\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$($){\displaystyle q^{*}(\mathbf {Z})}$은 단일 관측 다항 분포의 산물이며, 각 ${\displaystyle {}_{}}$ z ${\$ {$z} _{n$에 대한 인수는 단일 관측 다항 분포로서 ${\displaystyle r_{}}$ k ${\$에 분포한다.$k{\displaystyle }$= ${\displaystyle 1}$… K ${\displaystyle k=1\dots K}$의 경우$.$

게다가, 우리는 이 점에 주목한다.

${\displaystyle \operatorname {E} [z_{nk}]=r_{nk}\,}$

범주형 분포에 대한 표준 결과.

Now, considering the factor ${\displaystyle q(\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )}$, note that it automatically factors into ${\displaystyle q(\mathbf {\pi } )\prod _{k=1}^{K}q(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})}$ due to the structure위에 명시된 우리의 가우스 혼합물 모델을 정의하는 그래픽 모델.

그러면

${\displaystyle {\begin{aligned}\ln q^{*}(\mathbf {\pi } )&=\ln p(\mathbf {\pi } )+\operatorname {E} _{\mathbf {Z} }[\ln p(\mathbf {Z} \mid \mathbf {\pi } )]+{\text{constant}}\\&=(\alpha _{0}-1)\sum _{k=1}^{K}\ln \pi _{k}+\sum _{n=1}^{N}\sum _{k=1}^{K}r_{nk}\ln \pi _{k}+{\text{constant}}\end{aligned}}}$

양쪽의 지수화를 통해 $q{\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$ (${\displaystyle {}^{}\pi }$) ${\displaystyle q^{*}(\mathbf {\pi$}$)$을 디리클레 분포로 인식한다.

${\displaystyle q^{*}(\mathbf {\pi } )\심 \operatorname {Dir}(\mathbf {\alpha } )\,}$

어디에

${\displaystyle \alpha _{k}=\alpha _{0}+N_{k}\,}$

어디에

${\displaystyle N_{k}=\sum _{n=1}^{{n}r_{nk}\,}$

마침내

${\displaystyle \ln q^{*}(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})=\ln p(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})+\sum _{n=1}^{N}\operatorname {E} [z_{nk}]\ln {\mathcal {N}}(\mathbf {x} _{n}\mid \mathbf {\mu } _{k},\mathbf {\Lambda } _{k}^{-1})+{\text{constant}}}$

${\displaystyle {}_{}}$ ${\$ } $_$${k}$ 및 $\lambda {\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$} $_{k$을 포함하는 항을 그룹화하고 판독하면 결과가 다음과 같이 제공되는 가우스-위사트 분포가 된다.

${\displaystyle q^{*}(\mathbf {\mu } _{k},\mathbf {\Lambda } _{k})={\mathcal {N}}(\mathbf {\mu } _{k}\mid \mathbf {m} _{k},(\beta _{k}\mathbf {\Lambda } _{k})^{-1}){\mathcal {W}}(\mathbf {\Lambda } _{k}\mid \mathbf {W} _{k},\nu _{k})}$

정의에 따라

${\displaystyle{\begin{정렬}\beta _{k}&, =\beta _{0}+N_{k}\\\mathbf{m}_{k}&, ={\frac{1}{\beta_{k}}}(\beta_{0}일 경우 \mathbf{\mu}_{0}일 경우 +N_{k}{\bar{\mathbf{x}}}_{k})\\\mathbf{W}_{k}^{)}&, =\mathbf{W}_{0}^{)}+N_{k}\mathbf{S}_{k}+{\frac{\beta_{0}N_{k}}{\beta_{0}+N_{k}}}({\bar{\mathbf{x}}}_{k}-\mathbf{\mu}_{0})({\bar{\mathbf.{)}}}_{k}-\mathbf {\mu } _{0})^{\rm {T}}\\\nu _{k}&=\nu _{0}+N_{k}\\N_{k}&=\sum _{n=1}^{N}r_{nk}\\{\bar {\mathbf {x} }}_{k}&={\frac {1}{N_{k}}}\sum _{n=1}^{N}r_{nk}\mathbf {x} _{n}\\\mathbf {S} _{k}&={\frac {1}{N_{k}}}\sum _{n=1}^{N}r_{nk}(\mathbf {x} _{n}-{\bar {\mathbf {x} }}_{k})(\mathbf {x} _{n}-{\bar {\mathbf {x} }}_{k})^{\rm {T}}\end{aligned}}}$

Finally, notice that these functions require the values of ${\displaystyle r_{nk}}$, which make use of ${\displaystyle \rho _{nk}}$, which is defined in turn based on ${\displaystyle \operatorname {E} [\ln \pi _{k}]}$, ${\displaystyle \operatorname {E} [\$$ln \mathbf {\Lambda } _{k} ]}$, and ${\displaystyle \operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}[(\mathbf {x} _{n}-\mathbf {\mu } _{k})^{\rm {T}}\mathbf {\Lambda } _{k}(\mathbf {x} _{n}-\mathbf {\mu } _{k})]}$. Now th이러한 기대치를 바탕으로 한 분포를 결정하여 다음과 같은 공식을 도출할 수 있다.

${\displaystyle {\begin{aligned}\operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}[(\mathbf {x} _{n}-\mathbf {\mu } _{k})^{\rm {T}}\mathbf {\Lambda } _{k}(\mathbf {x} _{n}-\mathbf {\mu } _{k})]&=D\beta _{k}^{-1}+\nu _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})^{\rm {T}}\mathbf {W} _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})\\\ln {\widetilde {\Lambda }}_{k}&\equiv \operatorname {E} [\ln \mathbf {\Lambda } _{k} ]=\sum _{i=1}^{D}\psi \left({\frac {\nu _{k}+1-i}{2}}\right)+D\ln 2+\ln \mathbf {W} _{k} \\\ln {\widetilde {\pi }}_{k}&\equiv \operatorname {E} \left[\ln \pi _{k} \right]=\psi (\alpha _{k})-\psi \left(\sum _{i=1}^{K}\alpha _{i}\right)\end{aligned}}}$

이러한 결과는 다음과 같다.

${\displaystyle r_{nk}\propto {\widetilde {\pi }}_{k}{\widetilde {\Lambda }}_{k}^{1/2}\exp \left\{-{\frac {D}{2\beta _{k}}}-{\frac {\nu _{k}}{2}}(\mathbf {x} _{n}-\mathbf {m} _{k})^{\rm {T}}\mathbf {W} _{k}(\mathbf {x} _{n}-\mathbf {m} _{k})\right\}}$

$이러한{\displaystyle }$ 값은 k ${\displaystyle k}$에 대해 정규화하여 비례에서 절대값으로 변환할 수 있으므로 해당$$ 값은 1에 합치한다.

참고:

1. The update equations for the parameters ${\displaystyle \beta _{k}}$, ${\displaystyle \mathbf {m} _{k}}$, ${\displaystyle \mathbf {W} _{k}}$ and ${\displaystyle \nu _{k}}$ of the variables ${\displaystyle \mathbf {\mu } _{k}}$ and ${\displaystyle \mathbf {\La$$mbda$}$_{k}}$은(는) 통계 N ${\displaystyle k_{}}$ ${\$ ${\displaystyle x_{}}$의${\displaystyle {\stackrel{}{}}_{}}$k ${\$$k$$\}\},$ $그리고$ ${\displaystyle {}_{}}$ ${\$$displaystypt \$$mathbf{S$} $_{nk}$에 따라$$ 달라지며$,$ 이러한 ${\displaystyle {\mathrm{통계}}_{}}$도 달라진다$.$
2. 변수$\alpha {\displaystyle }$ ${\displaystyle {1\mathrm{}}_{}}$… ${\displaystyle K_{}}$ ${\$ $\$$alpha _{1\dots K}$에 대한$$ 업데이트 방정식은 통계 $N{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$$displaystyle$ N_${k}$에 따라$$ 달라지며$,$ ${\displaystyle {통계}_{}}$ N k ${\$에 ${\displaystyle {\mathrm{따라}}_{}}$ 달라진다$.$
3. The update equation for ${\displaystyle r_{nk}}$ has a direct circular dependence on ${\displaystyle \beta _{k}}$, ${\displaystyle \mathbf {m} _{k}}$, ${\displaystyle \mathbf {W} _{k}}$ and ${\displaystyle \nu _{k}}$ as well as an indirect circular dependence on ${\displaystyle {\mathbf{W}}_k}$${\displaystyle \mathbf {W} _{k}}$, ${\displaystyle \nu _{k}}$ and ${\displaystyle \alpha _{1\dots K}}$ through ${\displaystyle {\widetilde {\pi }}_{k}}$ and ${\displaystyle {\widetilde {\Lambda }}_{k}}$.

이는 두 단계 사이에서 번갈아 나타나는 반복적 절차를 시사한다.

1. 다른 모든 파라미터의 현재 값을 사용하여$$ ${\displaystyle {rn}_{}}$ ${\displaystyle k_{}}$ ${\$의 값을 계산하는 E-step.
2. ${\displaystyle {rn}_{}}$ ${\displaystyle k_{}}$ ${\$의 새 값을 사용하여$$ 다른 모든 파라미터의 새 값을 계산하는 M-step.

이러한 단계는 가우스 혼합물 모델의 매개변수에 대한 최대우도 또는 최대 후미(MAP) 솔루션을 도출하기 위한 표준 전자파 알고리즘과 밀접하게 일치한다는 점에 유의하십시오.The responsibilities ${\displaystyle r_{nk}}$ in the E step correspond closely to the posterior probabilities of the latent variables given the data, i.e. ${\displaystyle p(\mathbf {Z} \mid \mathbf {X} )}$; the computation of the statistics ${\displaystyle N_{k}}$, ${\disp$$laystyle {\bar$ {\$mathbf {x}}{$$k{\displaystyle {\mathbf{}}_{}}$$}$ ${\displaystyle {}_{}}$S k {\$displaystyle$ \$mathbf {S}$ _${k$$\}\}$는 데이터에 대한 해당 "소프트카운트" 통계량의 계산에 근접하며$$, 이러한 통계를 사용하여 매개변수의 새로운 값을 계산하는 것은 소프트 카운트를 사용하는 것과 거의 일치한다.가우스 혼합물 모델 위의 M.

지수군 분포

앞의 예제에서 관측되지 않은 변수에 대한 분포를 "모수"에 대한 분포와 "잠재적 데이터"에 대한 분포로 가정했을 때 각 변수에 대한 파생된 "최상의" 분포는 변수에 대한 해당 사전 분포와 동일한 패밀리에 있었다.이것은 지수 계열에서 파생된 모든 이전 분포에 대해 참된 일반적인 결과물이다.

참고 항목

• 가변 메시지 전달: 가변 베이지안 추론을 위한 모듈식 알고리즘.
• 기대 최대화 알고리즘: 변동 베이지안 추론의 특별한 사례에 해당하는 관련 접근법.
• 일반화 필터링: 비선형 상태 공간 모델을 위한 가변 필터링 방식.
• 변동의 미적분: 함수들의 최대화 또는 최소화를 다루는 수학적 분석의 분야.
• 최대 엔트로피 구별:이것은 추가적인 큰 수익 제약 조건을 도입하고 회계처리할 수 있는 변동 추론 프레임워크다.

메모들

참조

외부 링크

• 온라인 교과서: David J.C.에 의한 정보 이론, 추론 및 학습 알고리즘. 맥케이(MacKay)는 변동 방법(p. 422)에 대한 소개를 제공한다.
• 변동 베이지에 대한 자습서.폭스, C, 로버츠, S. 2012.인공지능 리뷰, doi:10.1007/s10462-011-9236-8
• Variative-Bayes Repository 2003년까지 대략적인 Bayesian 학습에 대한 변동 방법의 사용과 관련된 연구 논문, 소프트웨어 및 링크의 저장소.
• M. J. Beal에 의한 근사 베이지안 추론을 위한 가변 알고리즘에는 전자파 대 가변 베이지안 전자파 및 가변 베이지안 HM을 포함한 여러 모델의 파생이 포함된다.
• 제이슨 아이즈너의 변이 추론에 대한 높은 수준의 설명은 수학적으로 더 자세한 치료 전에 읽을 가치가 있을 수 있다.
• Tran, V.H. 2018의 정보 기하학(pdf)을 통한 코풀라 변동 베이지 추론.이 논문은 주로 학생들을 위해 쓰여졌다.이 논문은 Bregman의 분산을 통해 Variative Bayes는 단순히 임의로 상관된 (코풀라) 분포 공간에 참 모델을 일반화한 피타고라스 투영이며, 그 중 독립된 공간은 특수한 경우에 불과하다는 것을 보여준다.