멀티모달학습

이 글에는 여러 가지 문제가 있다. 이 문제를 개선하거나 대화 페이지에서 토의하십시오. (이러한 템플릿 메시지를 제거하는 방법 및 시기 알아보기) 이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않기 때문에 대체로 검증되지 않은 상태로 남아 있다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2015년 6월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) 이 글은 대부분의 독자들이 이해하기에는 너무 기술적인 것일 수도 있다. 기술 세부 정보를 삭제하지 않고 비전문가가 이해할 수 있도록 개선하십시오. (2015년 6월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) 이 글의 어조나 문체는 위키백과에서 사용되는 백과사전적 어조를 반영하지 못할 수도 있다. 제안사항은 위키피디아의 더 나은 기사 작성 안내서를 참조하십시오. (2015년 6월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

현실 세계의 정보는 보통 다른 양식으로 나온다. 예를 들어, 이미지는 대개 태그와 텍스트 설명과 연관되어 있다; 텍스트는 기사의 주요 아이디어를 더 명확하게 표현하기 위한 이미지를 포함한다. 다른 양식은 다른 통계 속성으로 특징지어진다. 예를 들어, 영상은 보통 픽셀 강도 또는 형상 추출기의 출력으로 표현되는 반면, 텍스트는 이산 워드 카운트 벡터로 표현된다. 서로 다른 정보자원의 뚜렷한 통계적 특성 때문에 서로 다른 양식의 관계를 발견하는 것이 중요하다. 멀티모달 학습은 다른 양식의 공동 표현을 나타내기에 좋은 모델이다. 멀티모달 학습 모델도 관찰된 모달리티를 바탕으로 누락된 모달리티를 제공할 수 있다. 멀티모달 학습 모델은 두 개의 깊은 볼츠만 기계를 결합하여 각각 하나의 모달리티에 해당한다. 두 개의 볼츠만 기계 위에 추가로 숨겨진 층을 배치하여 공동 표현을 생산한다.

동기

특정 유형의 데이터(예: 이미지 또는 텍스트)를 검색하고 분류하기 위해 많은 모델/알고리즘이 구현되었다(기계와의 상호작용하는 인간이 어떤 메시지일 수 있는 사진 및 텍스트의 형태로 이미지를 추출할 수 있는 위치). 그러나 데이터는 보통 서로 다른 정보를 전달하는 다른 형식(시스템 구성요소를 분리하거나 결합할 수 있는 정도)을 가지고 있다. 예를 들어, 이 이미지에 의해 제시되지 않은 정보를 전달하기 위해 이미지를 캡션하는 것은 매우 일반적이다. 마찬가지로, 때로는 텍스트에서 분명하지 않을 수 있는 정보를 설명하기 위해 이미지를 사용하는 것이 더 간단하다. 그 결과 비슷한 영상에 몇 가지 다른 단어가 나타난다면, 이 단어들은 같은 것을 묘사하는 데 매우 사용될 가능성이 높다. 반대로 일부 단어가 다른 영상에 사용되는 경우, 이러한 이미지는 동일한 개체를 나타낼 수 있다. 따라서 모델이 서로 다른 양식의 상관관계를 포착할 수 있도록 정보를 공동으로 표현할 수 있는 새로운 모델을 초빙하는 것이 중요하다. 또한 텍스트 설명에 따라 가능한 영상 객체를 예측하는 등 관찰된 형식에 따라 누락된 촬영장비를 복구할 수 있어야 한다. Multimodal Deep Boltzmann Machine 모델은 위의 목적을 만족한다.

배경: 볼츠만 기계

볼츠만 기계(Boltzmann machine)는 제프리 힌튼(Geoffrey Hinton)과 테리 세즈노우스키(Terry Sejnowski)가 1985년 발명한 확률신경망의 일종이다. 볼츠만 기계는 호프필드 네트의 확률적이고 생성적인 상대라고 볼 수 있다. 그것들은 통계 역학에서 볼츠만 분포의 이름을 따서 명명되었다. 볼츠만 기계에 있는 유닛은 가시적인 유닛과 숨겨진 유닛의 두 그룹으로 나뉜다. 일반 볼츠만 기계는 어떤 장치라도 연결할 수 있다. 그러나 일반적인 볼츠만 머신을 사용하는 학습은 계산 시간이 기계 크기에 비해 기하급수적이기 때문에 비현실적이다. 보다 효율적인 건축을 볼츠만 기계라고 하는데, 이 기계는 숨겨진 유닛과 눈에 보이는 유닛 사이에만 연결이 허용되는 것으로 다음 절에서 설명한다.

제한 볼츠만 기계

제한된 볼츠만 기계는^[1] 확률적 가시변수와 확률적 숨은 변수를 가진 비방향 그래픽 모델이다. 각각의 눈에 보이는 변수는 각각의 숨겨진 변수에 연결된다. 모델의 에너지 함수는 다음과 같이 정의된다.

${\displaystyle E(\mathbf {v} ,\mathbf {h} ;\theta )=-\sum _{i=1}^{D}\sum _{j=1}^{F}W_{ij}v_{i}h_{j}-\sum _{i=1}b_{i}v_{i}-\sum _{j=1}a_{j}h_{j}}}}}}$

where ${\displaystyle \theta =\{\mathbf {v} ,\mathbf {h} ;\theta \}}$ are model parameters: ${\displaystyle W_{ij}}$ represents the symmetric interaction term between visible unit ${\displaystyle i}$ and hidden unit ${\displaystyle j}$; ${\displaystyle b_{i}}$ and ${\displaystyle a_j}$${\displaystyle a_{j}$는 바이어스 항이다. 시스템의 공동분포는 다음과 같이 정의된다.

${\displaystyle P(\mathbf {v};\theta )={\frac {1}{{\mathbf{Z}(\theta )}}\sum _{\mathbf {h}}\mathrm {exp}-E(\mathbf {v}, {h};\ta )})}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}})}$

여기서 $Z{\displaystyle \mathcal{}}$ (${\displaystyle \theta }$) ${\displaystyle {\mathcal {Z}(\theta )}$은 정규화 상수다$$. 숨겨진 $h{\displaystyle \mathbf{}}$ ${\$ 및$$ $v{\displaystyle \mathbf{}}$ ${\$에 대한 조건부 분포는 모델 매개변수 측면에서 로지스틱 함수로 도출할 수 있다$$.

${\displaystyle P(\mathbf {h} \mathbf {v} ;\theta )=\prod _{j=1}^{F}p(h_{j} \mathbf {v} )}$, with ${\displaystyle p(h_{j}=1 \mathbf {v} )=g(\sum _{i=1}^{D}$$W_{ij}v_{i}+a_{j}}}$

${\displaystyle P(\mathbf {v} \mathbf {h} ;\theta )=\prod _{i=1}^{D}p(v_{i} \mathbf {h} )}$, with ${\displaystyle p(v_{i}=1 \mathbf {h} )=g(\sum _{j=1}^{F}$$W_{ij}h_{j}+b_{i}}}$

${\displaystyle 여기}$서 $g{\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle \frac{1}{}}$( 1${\displaystyle \frac{}{}}$+ e ${\displaystyle \frac{\mathrm{x}}{}}$ ${\displaystyle \frac{p}{}}$(${\displaystyle \frac{}{}}$- x${\displaystyle \frac{}{}}$)${\displaystyle \frac{}{}}$) ${\$ {$x)}}}}}}$은 로지스틱 함수다.

모델 매개변수에 대한 로그 우도의 파생상품은 모델의 기대치와 데이터 의존적 기대치의 차이로 분해될 수 있다.

가우스베르누엘리 RBM

가우스-베르누엘리 RBM은^[2] 픽셀 강도 같은 실제 값 벡터를 모델링하는 데 사용되는 제한된 볼츠만 기계의 변형이다. 이것은 보통 이미지 데이터를 모델링하는 데 사용된다. 가우스-베르누엘리 RBM 시스템의 에너지는 다음과 같이 정의된다.

${\displaystyle E(\mathbf {v} ,\mathbf {h} ;\theta )=\sum _{i=1}^{D}{\frac {(v_{i}-b_{i})^{2}}{2\sigma _{i}^{2}}}-\sum _{i=1}^{D}\sum _{j=1}^{F}{\frac {v_{i}}{\sigma _{i}}}W_{ij}v_{i}h_{j}-\sum _{i=1}b_{i}v_{i}-\sum _{j=1}a_{j}h_{j}}}}}}$

여기서 $\theta {\displaystyle }$=${\displaystyle }${ ${\displaystyle a\mathbf{},}$ ${\displaystyle b\mathbf{},}$ ${\displaystyle w\mathbf{}}$,${\displaystyle \sigma }$ ${\displaystyle \}}$ ${\displaystyle \theta =\\\mathbf$ {$a},\mathbf$ {$w},\mathbf$ {\mathbf ${\ma}$\}}}은(는) 모델 매개$$ 변수다. 관절 분포는 제한된 볼츠만 기계에 있는 것과 동일하게 정의된다. 이제 조건부 분포는

${\displaystyle P(\mathbf {h} \mathbf {v} ;\theta )=\prod _{j=1}^{F}p(h_{j} \mathbf {v} )}$, with ${\displaystyle p(h_{j}=1 \mathbf {v} )=g(\sum _{i=1}^{D}$$W_{ij}{\frac {v_{i}}{\sigma _{i}+a_{j}}}$

${\displaystyle P(\mathbf {v} \mathbf {h} ;\theta )=\prod _{i=1}^{D}p(v_{i} \mathbf {h} )}$, with ${\displaystyle p(v_{i} \mathbf {h} )\sim {\mathcal {N}}(\sigma _{i}\sum _{j=1$$}^{F}W_{ij}h_{j}+b_{i}},\sigma _{i}^{2}}}$

가우스-베르누이 RBM에서는 숨겨진 유닛에 조건화된 가시 단위를 가우스 분포로 모델링한다.

복제된 소프트맥스 모델

Replicated Softmax Model은^[3] 또한 제한된 볼츠만 기계의 변형이며 문서에서 단어 수 벡터를 모델링하는 데 일반적으로 사용된다. 일반적인 텍스트 마이닝 문제에서 $K{\displaystyle }$ ${\displaystyle K}$을(를) 사전 크기로 하고$$ $M{\displaystyle }$ ${\displaystyle M}$을(를) 문서의 단어 수로 한다. 문서의 i $t{\displaystyle {}^{}}$ ${\displaystyle h^{}}$ ${\$ 단어가$$ 사전의 k $t{\displaystyle {}^{}}$ ${\displaystyle h^{}}$ ${\$ 단어인$$ 경우에만$$ $V{\displaystyle \mathbf{}}$ ${\$displaystyle $\mathbf {V$$}}$을(를$)$ $M{\displaystyle {}_{}}$ ${\displaystyle \times }$ ${\displaystyle K}$ ${\displaystystyle M$${\displaystyle {}_{}}$$time K$$} 이항렬$로 두십시오$$. ${\displaystyle {\stackrel{}{v}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle k_{}}$ ${\$는 사전에서 $k{\displaystyle {}^{}}$ ${\displaystyle t^{}}$ ${\displaystyle h^{}}$ ${\$ 단어의$$ 카운트를$$ 나타낸다. $M{\displaystyle }$ ${\displaystyle M}$ 단어를$$ 포함하는 문서에 대한$$ 상태${\displaystyle }${${\displaystyle V\mathbf{}\}}$ ${\displaystyle \{\mathbf {V},\mathbf {h} \}}$ \}의 에너지는 다음과 같이 정의된다.

${\displaystyle E(\mathbf {V} ,\mathbf {h} )=-\sum _{j=1}^{F}\sum _{k=1}^{K}W_{jk}{\hat{v}_{k}h_{j}-\sum _{k}b_{k}{{k}}{{v}_{k}-M\sum _{j=1}^{f}a_{j}h_{j}}}}}}}}$

조건부 분포는 다음과 같이 주어진다.

${\displaystyle p(h_{j}=1 \mathbf {V} )=g(Ma_{j}+\sum _{k=1}^{K}{\hat {v}_{k}}}}{k}}W_{jk}}}$

${\displaystyle p(v_{ik}=1 \mathbf {h} )={\frac {\mathrm {exp}(b_{k}+\sum _{j=1}^{j=1}^{}F}h_{j}W_{jk}}{\sum _{q=1}^{K}\mathrm {exp}(b_{q}+\sum _{j=1}^{j=1}^{}}}}}F}h_{j}W_{jq}}}}}$

딥 볼츠만 기계

깊은 볼츠만 기계는^[4] 일련의 숨겨진 유닛들을 가지고 있다.인접한 숨겨진 레이어들 사이의 연결뿐 아니라, 눈에 보이는 유닛과 첫 번째 숨겨진 레이어의 숨겨진 유닛들 사이의 연결만 있을 뿐이다. 시스템의 에너지 함수는 일반적인 제한 볼츠만 기계의 에너지 기능에 레이어 상호작용 용어를 추가하며 E ; ) = -∑ = ∑j = ( )- = 1l = ( )로 정의된다.${\displaystyle {\begin{aligned}$E({\mathbf {v} ,\mathbf {h} ;\theta })=&-\sum _{i=1}^{D}\sum _{j=1}^{F_{1}}W_{ij}^{(1)}v_{i}h_{j}^{(1)}-\sum _{j=1}^{F_{1}}\sum _{l=1}^{F_{2}}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}\\&-\sum _{l=1}^{F_{2}}\sum _{p=1}^{F_{3}}W_{lp}^{(3)}h_{l}^{(2)}h_{p}^{(3)}-\sum _{i=1}^{D}b_{i}v_{i}-\sum _{j=1}^{F_{1}}b_{j}^{(1)}h_{j}^{(1)}-\sum _{l=1}^{F_{2}}b_{l}^{(2)$}h_{l}^{{l}^{{p=1}-\sum _{p=1}^{F_{3}b_{p}^{p}}^{p}h_{p}^{p}^{(3)}}}\end{aigned}}}}}}}}}}}}}$

공동분포는

${\displaystyle P(\mathbf {v} ;\theta )={\frac {1}{{\mathcal {Z}}(\theta )}}\sum _{\mathbf {h} }\mathrm {exp} (-E(\mathbf {v} ,\mathbf {h} ^{(1)},\mathbf {h} ^{(2)},\mathbf {h} ^{(3)};\theta ))}$

멀티모달 딥 볼츠만 기계

멀티모달 딥 볼츠만 기계는^[5][6] 이미지 경로 경로를 가우스-베르눌리 DBM으로, 텍스트 경로를 복제된 소프트맥스 DBM으로 모델링하는 이미지 텍스트 바이모달 DBM을 사용하며, 각 DBM에는 2개의 숨겨진 레이어와 1개의 가시 레이어가 있다. 두 DBM은 추가적인 상단 숨겨진 계층에서 함께 결합한다. The joint distribution over the multi-modal inputs defined as T=hp(3)+∑ 나는 p W(3m)h내가(2m)hp(3)+∑ pbp(3)hp(3){\displaystyle{\begin{정렬}(\mathbf{v}^{m},\mathbf{v}^{t};\theta)&, =\sum _{\mathbf{h}^{(2m)},\mathbf{h}^{(2t)},\mathbf{h}^{(3)}}P(\mathbf{h}^{(2m)},\mathbf{h}^{(2t)},\mathbf{h}^{(3)})(\sum_{\mat.hbf${h} ^{(1m)}}P(\mathbf {v} _{m},\mathbf {h} ^{(1m)} \mathbf {h} ^{(2m)}))(\sum _{\mathbf {h} ^{(1t)}}P(\mathbf {v} ^{t},\mathbf {h} ^{(1t)} \mathbf {h} ^{(2t)}))$$\\&={\frac {1}{{\mathcal {Z}_{M}(\theta )}}}\sum _{\mathbf {h}\mathrm {exp}(\sum _{kj})$$W_{kj}^{{kj}^{k_{k}^{t}h_{j}^{1t}\\&+\sum _{jl}$$W_{jl}^{(2t)}h_{j}^{(1t)}h_{l}^{(2t)}+\sum _{k}b_{k}^{t}v_{k}^{t}+M\sum _{j}b_{j}^{(1t)}h_{j}^{(1t)}+\sum _{l}b_{l}^{(2t)}h_{l}^{(2t)}\\&-\sum _{i}{\frac {(v_{i}^{m}-b_{i}^{m})^{2}}{2\sigma ^{2}}}+\sum _{ij}{\frac {v_{i}^{m}}{\sigma _{i}}}$$W_{ij}^{{ij}^{h_{j}^{(1m)}\\&+\sum _{jl}$$W_{jl}^{(2m)}h_{j}^{(1m)}h_{l}^{(2m)}+\sum _{j}b_{j}^{(1m)}h_{j}^{(1m)}+\sum _{l}b_{l}^{(2m)}h_{l}{(2m)}\\&+\sum _{lp}W^{(3t)}h_{l}^{(2t)}h_{p}^{(3)}+\sum _{lp}W^{(3m)}h_{l}^{(2m)}h_{p}^{(3)}+\sum _{p}b_{p}^{(3)}h_{p}^{(3)}\end{aligned}}}$

보이는 단위와 숨겨진 단위에 대한 조건부 분포는

${\displaystyle p(h_{j}^{1m)=1 \mathbf {v}^{m},\mathbf {h}^{h}}}}=g(\sum _{i=1}^{D})}W_{ij}^{1m}}{\frac {v_{i}^{m}}{{\sigma _{i}}+\sum _{l=1}^{F_{2}^{m}}}}}}}}}W_{jl}^{{jl}^{{l}^{(2m)}+b_{j}^{(1m)}}}}$

${\displaystyle p(h_{l}^{{l}^{(2m)=1 \mathbf {h}^{h}},\mathbf {h}^{h}}}=g(\sum _{j=1}^{F_{1}^{m}}}}}}}}}}}}}}.W_{jl}^{jl}^{{j}^{{j}^{{m}^{{p=1}^{F_{3}}}W_{lp}^{p}}^{p}}^{p}}}^{p}}}+b_{l}^{l}}^{{{l}}}}}}}}}}}}}}}}}}}}}}}}}}^{{{{{{{{{{{{{l}}}}}}}}}}}}}}}}}}}}}$

${\displaystyle p(h_{j}^{(1t)}=1 \mathbf {v} ^{t},\mathbf {h} ^{(2t)})=g(\sum _{k=1}^{K}W_{kl}^{(1t)}v_{k}^{(t)}+\sum _{l=1}^{F_{2}^{t}}W_{jl}^{{jl}^{l}^{l}^{{l}}}+Mb_{j}^{1t}}}}}$

${\displaystyle p(h_{l}^{{l}^{(2t)=1 \mathbf {h}^{h}},\mathbf {h}^{h}}}=g(\sum _{j=1}^{F_{1}^{1}^{t}}}}}}}}}}}.W_{jl}^{jl}^{{j}^{j}^{{j}^}+\sum _{p=1}^{F_{3}}W_{lp}^{lp}}^{p}^{p}}}}^{p}}}+b_{l}^{l}{l}}}}}}}}}}}}}^{{{{{{{{t}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

${\displaystyle p(h_{p}^{3)=1 \mathbf {h}^{(2)=g(\sum _{l=1}^{F_{2}^{m}}}}}W_{lp}^{{lp}^{{lp}^{h_{l}^{{l}^{l}}+\sum _{l=1}^{F_{2}^{t}}}}}}W_{lp}^{{lp}^{(3t)}h_{l}^{(2t)}+b_{p}^{p}^{(3)}}}}}$

${\displaystyle p(v_{ik}^{t}=1 \mathbf {h}{h}^{1t}}={\frac {\mathrm {exp})(\sum _{j=1}^{1}^{1}^{t}h_{j}^{j}^{1t){1t)}{{jk}^{(1t)}+b_{k}^{t}}{\sum _{q=1}^{K}\mathrm {exp}(\sum _{j=1}^{F_{1}^{1}^{t}h_{j}^{j}^{1t){1t)}{{jq}^{(1t)}+b_{k}^{t}}}}}}$

${\displaystyle p(v_{i}^{m} \mathbf {h}^{{h}}}}\sim {\mathcal{N}(\sigma _{i}\sum _{j=1}^{F_{1}^{m}}}}}})W_{ij}^{{ij}^{h_{j}^{1m}+b_{i}^{m},\sigma _{i}^{2}}$

추론과 학문

이 모델의 정확한 최대우도 학습은 난해할 수 있지만, 데이터 의존적 기대치를 추정하기 위해 평균 필드 추론을 사용하고 MCMC 기반 확률적 근사 절차를 사용하여 모델의 예상 충분한 통계량을 근사하게 만드는 가변 접근방식을 사용하여 DBM의 근사 학습을 수행할 수 있다.^[7]

적용

멀티모달 딥 볼츠만 기계는 분류에 성공적으로 사용되며 데이터 검색 누락. 다중모달 딥 볼츠만 머신의 분류 정확도는 모델들을 영상-텍스트 양식과 단일 양식으로 데이터에서 시험했을 때 지원 벡터 머신, 잠재 Diriclet 할당 및 딥 믿음 네트워크를 능가한다. 멀티모달 딥 볼츠만 기계도 관찰된 형식에 비해 상당히 정밀하게 누락된 형식을 예측할 수 있다.

참고 항목

• 홉필드 네트워크
• 마르코프 랜덤 필드
• 마르코프 체인 몬테카를로

참조