플로우 기반 생성 모델

시리즈의 일부(on)
머신 러닝 데이터 마이닝(data mining)
패러다임 지도학습 비지도 학습 온라인 학습 일괄 학습 메타학습 준지도 학습 자기주도학습 강화학습 규칙 기반 학습 양자기계학습
문제 분류 생성모델 회귀 클러스터링 치수 축소 밀도추정 이상 탐지 데이터 정리 오토ML 연관규칙 의미분석 구조예측 피쳐 엔지니어링 특징 학습 랭킹을 익히는 법 문법유도 온톨로지 학습 멀티모달 학습
지도학습 (분류 • 회귀분석) 도제학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형회귀분석 나이브 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 연관성 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k- 퍼지 기대-최대화(EM) DBSAN 옵틱스 평균이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마코프
이상 탐지 RANSAC k-NN 국소이상치인자 고립림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥 드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 저장고 계산 제한된 볼츠만 기계 GAN 확산모델 SOM 컨볼루션 신경망 유넷 트랜스포머 비전. 스파이킹 신경망 멤트랜지스터 전기화학 램(ECRAM)
강화학습 Q-러닝 사르사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 능동적 학습 크라우드소싱 휴먼 인 더 루프
모델진단 학습곡선
수학적 기초 커널 머신 치우침-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오캄 학습 PAC 학습 통계학습 VC이론
기계학습 장소 ECML PKDD 뉴립스 ICML ICLR IJCAI ML JMLR
관련기사 인공지능 용어집 머신러닝 연구용 데이터셋 목록 컴퓨터 비전 및 이미지 처리 분야의 데이터셋 목록 기계학습 개요
v t

흐름 기반 생성 모델은 단순한 분포를 복잡한 분포로 변환하기 위해 확률의 변화 법칙을 사용하는 통계적 방법인 정규화 흐름을 활용하여 확률 분포를 명시적으로 모델링하는 기계 학습에 사용되는 생성 모델입니다.^[1][2]

우도를 직접 모형화하는 것은 많은 이점을 제공합니다.예를 들어 음의 로그 우도를 손실 함수로 직접 계산하고 최소화할 수 있습니다.또한 초기 분포에서 샘플링하고 흐름 변환을 적용하여 새로운 샘플을 생성할 수 있습니다.

대조적으로, VAE(variational autoencoder) 및 생성 적대적 네트워크와 같은 많은 대체 생성 모델링 방법은 우도 함수를 명시적으로 나타내지 않습니다.

방법

$z{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$을(를) 분포 $p{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}{}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle p_{0}(z_{0})}$인(다변수일 가능성이 있음$)$ 랜덤 변수라고 합니다.

$i$ = ${\displaystyle 1,}$ ${\displaystyle ...,K}$ ${\displaystyle$i = 1$,...,K}$의 경우$$${\displaystyle z_{}}$ = ${\displaystyle {fi}_{}}$ (${\displaystyle {}_{}{zi}_{}}$- ${\displaystyle 1_{}}$) ${\displaystyle z_{i$}=$f_{i}(z_{i-1})}$를 ${\displaystyle z_{}}$ 0 ${\displaystyle z_{0}}$에서 변환된 일련의 임의 변수라고 합니다$.$함수 $f{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{},...,f_{}}$ K ${\$은(는) 가역적이어야 합니다$$. 즉,${\displaystyle {\mathrm{역함수}}_{}^{}}$ ${\displaystyle f_{}^{}}$- 1 {\$displaystyle f_{$i}^{-$1}$이(가) 존재합니다$$.최종 출력 $z{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ ${\$은(는) 대상 분포를 모델링합니다$$.

${\displaystyle {zK}_{}}$ ${\$의 로그 가능성은 다음과$$ 같습니다(유도체 참조).

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum_{i=1}^{K}\log \left \det {\frac {df_{i}(z_{i-1}){dz_{i-1}}\right }$

로그 우도를 효율적으로 계산하려면 함수 f ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle ...,{}_{}}$ ${\displaystyle K_{}}$ ${\$}, $...,f_{K}}$는 1. 반전시키기 쉽고, 2. 야코비안의 행렬식을 계산하기 쉬운 값이어야$$ 합니다.실제로 함수 $f{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{},...,f_{}}$ K ${\$는 심층 신경망을 사용하여 모델링되며$$, 대상 분포에서 데이터 샘플의 부정적인 로그 가능성을 최소화하도록 훈련됩니다.이러한 아키텍처는 일반적으로 역과 야코비안 행렬식 계산 모두에서 신경망의 순방향 통과만 필요하도록 설계됩니다.이러한 아키텍처의 예로는 NICE,^[3] RealNVP,^[4] Glow 등이 있습니다.^[5]

로그 가능성 도출

$z$ ${\displaystyle 1_{}}$ ${\displaystyle z_{1}}$과 $z$ ${\displaystyle 0_{}}$ ${\displaystyle z_{0}}$을(를) 고려합니다$.$ $z$ ${\displaystyle 0_{}}$ = ${\displaystyle f_{}^{}}$ 1${\displaystyle {}_{}^{}}$- ${\displaystyle 1_{}^{}}$ (${\displaystyle {}_{}^{}{z}_{}}$ 1 )${\displaystyle z_{0$}=$f_{1}^{-1}(z_{1})}($을) 참조하십시오$.$

변수 공식의 변경에 ${\displaystyle {의해\mathrm{}}_{}}$ z 1 ${\$의 분포는 다음과$$ 같습니다.

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}\right }$

여기서 ${\displaystyle det\frac{}{}}$ f ${\displaystyle \frac{{1\mathrm{}}_{}^{}}{}}$- ${\displaystyle \frac{1_{}^{}}{}}$ (${\displaystyle \frac{{}_{}^{}{z\mathrm{}}_{}}{}}$ ${\displaystyle \frac{{}_{}}{}}$) ${\displaystyle \frac{{}_{}}{}}$ ${\displaystyle \frac{{1\mathrm{}}_{}}{}}$ ${\$dz}}}는$$ $f{\displaystyle {}_{}^{}}$ ${\displaystyle 1_{}^{}}$- 1 ${\$의 야코비안 행렬의 결정 인자입니다$.$

역함수 정리에 의해:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left \det \left ({\frac {df_{1}(z_{0})}{dz_{0}}\right)^{-1}\right}}$

ID ${\displaystyle det}$ (${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ )${\displaystyle {}^{}}$= ${\displaystyle det}$( ${\displaystyle A{}^{}}$) -${\displaystyle 1^{}}$ ${\displaystyle \det (A^{-1$})=\$det$ ($A)^{-1}}($여기서 $A$ ${\displaystyle A}$는 가역 행렬임)에 따라 다음과 같습니다.

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left \det {\frac {df_{1}(z_{0})}{dz_{0}}\right ^{-1}}$

로그 가능성은 다음과 같습니다.

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left \det {\frac {df_{1}(z_{0})}{ dz_{0}}\right }$

일반적으로 위의 내용은 임의의 ${\displaystyle {zi}_{}}$ ${\displaystyle z_{i}}$ 및 ${\displaystyle {zi}_{}}$- ${\displaystyle 1_{}}$ ${\displaystyle z_{i-1}}$에 적용됩니다$.$ ${\displaystyle \mathrm{로그}}$ ⁡ ${\displaystyle {pi}_{}}$( ${\displaystyle {zi}_{}}$ ${\displaystyle \log p_{i}($${\displaystyle {}_{}}$${i})}$은(는) ${\displaystyle {로그}_{}}$ ⁡ ${\displaystyle {\mathrm{pi}}_{}}$ -${\displaystyle {}_{}}$1 ${\displaystyle {}_{}{\mathrm{zi}}_{}}$-$$1) {\$displaystyle$ \$log p_{i-1}(z_{$i-1})}을(는) 귀납법으로 추론할 수 있습니다.

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum_{i=1}^{K}\log \left \det {\frac {df_{i}(z_{i-1}){dz_{i-1}}\right }$

교육방법

딥 러닝 모델을 교육할 때 일반적으로 수행되는 것처럼 흐름을 정규화하는 목표는 모델의 가능성과 추정되는 목표 분포 사이의 Kullback-Leibler 차이를 최소화하는 것입니다.$p$ θ ${\displaystyle p_{\theta }}$ 모델의 $가능성$과 p${\displaystyle {}^{}}$∗$${\$displaystyle p^{*}$ 학습 대상 분포를 나타내면, (정방향) KL-분산은 다음과 같습니다.

${\displaystyle D_{KL}[p^{*}(x) p_{\theta}(x)]=-\mathbb {E} _{p^{*}(x)}[\log(p_{\theta}(x))]+\mathbb {E} _{p^{*}(x)}[\log(p^{*}(x)]}$

방정식의 오른쪽에 있는 두 번째 항은 목표 분포의 엔트로피에 해당하며 우리가 모델이 학습하기를 원하는 매개 $변수$θ {\$displaystyle$ \$theta}$와 무관하며, 이는 목표 분포 아래에서 최소화할 음의 로그 가능성의 예상만 남깁니다.이 다루기 어려운 항은 중요도 샘플링을 통해 몬테카를로 방법으로 근사화할 수 있습니다.실제로 데이터 집합$${${\displaystyle {xi}_{}}$ ${\displaystyle i_{}}$ = ${\displaystyle 1_{}}$ :${\displaystyle N_{}}$ ${\displaystyle \{x_{i}\}_{i$=$1:$$대상$ $분포$ p${\displaystyle {}^{}}$$∗$${\displaystyle {}^{}x)}$ ${\displaystyle p^{*}(x)}$에서 각각 독립적으로 추출된 N$}$개의 표본은 다음과 같이 추정할 수 있습니다$.$

${\displaystyle -{\hat {\mathbb {E}}}_{p^{*}(x)}[\log(p_{\theta}(x))]=-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta}(x_{i}))}$

그러므로 학습목표는

${\displaystyle {\underset {\theta}{\operatorname {arg\,min}}}\D_{KL}[p^{*}(x) p_{\theta}(x)]}$

로 대체됩니다.

${\displaystyle {\underset {\theta}{\operatorname {arg\,max}}}\\sum _{i=0}^{N}\log(p_{\theta}(x_{i}))}$

즉, 모형의 우도와 목표 분포 사이의 Kullback-Leibler 분산을 최소화하는 것은 목표 분포의 관측된 표본에서 모형의 우도를 최대화하는 것과 같습니다.^[6]

흐름을 정규화하는 훈련을 위한 의사 코드는 다음과 같습니다.^[7]

• INPUT. 데이터 집합 $x$ ${\displaystyle 1_{}}$ :${\displaystyle {}_{}}$n ${\displaystyle x_{1:n$ 흐름 모델 $f$ θ(${\displaystyle }$⋅ ),${\displaystyle {}_{}}$ ${\displaystyle 0_{}}$ ${\displaystyle f_{\theta}(\cdot$ $p_{0}.$
• SOVEL. ${\displaystyle \underset{}{최대}}$ θ ∑ ${\displaystyle \mathrm{jln}}$ ⁡ ${\displaystyle {}_{}}$ θ${\displaystyle {}_{}{}_{}}$ ${\displaystyle j_{}}$ ${\displaystyle \max _{\theta }\sum$ _${j}\ln p_{\theta }(x_{j})}$
• RETURN. θ ^ ${\displaystyle {\hat {\theta}}}$

변형

평면 흐름

가장 초기의 예.^[8]일부 활성화 함수 $h$ ${\displaystyle h}$을(를) 고정하고$$θ =${\displaystyle (u,w,b)}$ ${\displaystyle \theta$ =($u,w,b)}$을(를) 적절한 차원으로 설정한 다음

역 $f$ θ -${\displaystyle 1_{}^{}}$ ${\displaystyle f_{\theta}^{-1}}$에는 일반적으로 닫힌 형식 솔루션이 없습니다.

자코비안은 ${\displaystyle det}$(${\displaystyle {}^{}}$+ ${\displaystyle {\text{'}}^{}}$ ${\displaystyle (}$⟨ ${\displaystyle w,}$ ${\displaystyle z}$ ⟩${\displaystyle }$+ ${\displaystyle b}$) ${\displaystyle w^{}}$ ${\displaystyle T}$ )${\displaystyle {}^{}}$= ${\displaystyle 1}$+ ${\displaystyle {\text{'}}^{}}$ ${\displaystyle (}$⟨ w${\displaystyle ,}$ ${\displaystyle z}$ ⟩${\displaystyle }$+ ${\displaystyle b}$ )${\displaystyle }$⟨ ${\displaystyle u,}$ ${\displaystyle w}$ ⟩ $displaystyle \det (I$+ $h'$ (\$langle w,z\rangle +b)uw^{$$T}) = 1+h'(\langlew$

모든 곳에서 가역적이 되려면 모든 곳에서 0이 아니어야 합니다.예를 들어 $h$ = ${\displaystyle \tanh }$ ${\displaystyle$h =\$tanh}$ 및 ⟨ , ⟩> - ${\displaystyle \leu,w\rangle >-1}$이(가) 요구 사항을 충족합니다.

비선형 독립 성분 추정(NICE)

$x{\displaystyle ,}$ ${\displaystyle z}$ ∈ ${\displaystyle {\mathrm{R2}}^{}}$ n ${\displaystyle x,z\in \mathbb {R}^{2n}}$를 짝수차원이라고 하고, 그들을 가운데로 나누자.그러면 정규화 흐름 함수는

여기서 $m$ θ ${\displaystyle m_{\theta}}$는 가중치가 θ ${\displaystyle \theta}$인 신경망입니다$.$

${\displaystyle {}_{}^{}{f}_{}^{}}$ ${\displaystyle {\theta }_{}}$${\displaystyle {}_{}^{}}$- ${\displaystyle 1_{}^{}}$ ${\displaystyle f_{\theta}^{-1}$은${\displaystyle {}_{}^{}}$$z$ ${\displaystyle 1_{}}$ ${\displaystyle {}_{}}$ x ${\displaystyle 1_{}}$${\displaystyle {}_{}^{}}$z ${\displaystyle 2_{}}$ = ${\displaystyle x_{}}$ ${\displaystyle {}_{}}$${\displaystyle {}_{}^{}}$-${\displaystyle {}_{}{}_{}}$ θ${\displaystyle {}_{}{x}_{}}$ 1${\displaystyle {}_{}}$) ${\displaystyle$${\displaystyle z_{}^{}}$$_{1$}= $x_{1},$${\displaystyle z_{}^{}}$$_{2$}= $x_{2}-m_{\theta}(x_{1}}}$이며$,$ Jacobian은 1에 불과하므로 흐름이 볼륨을 유지합니다.

$n$ = ${\displaystyle 1}$ ${\displaystyle$n=$1}$일 때$,$ 이것은 x ${\displaystyle 2_{}}$ ${\displaystyle x_{2}}$ 방향을 따라 휘어진 전단으로 보입니다.

실제 비볼륨 보존(Real NVP)

Real Non-Volume Preserving 모델은 NICE 모델을 다음과 같이 일반화합니다.^[4]

그 $역수$는 ${\displaystyle z_{}}$ 1${\displaystyle {}_{}}$= ${\displaystyle x_{}}$ 1${\displaystyle {}_{}}$ ${\displaystyle z_{}}$ 2 = ${\displaystyle {}^{}}$- ${\displaystyle {{}_{}}^{}}$ θ ${\displaystyle {{}_{}}^{}}$ x${\displaystyle {}_{}{1_{}}^{}}$ ) ⊙ ( ${\displaystyle 2_{}}$ - ${\displaystyle {}_{}}$ θ${\displaystyle {}_{}}$( ${\displaystyle x_{}}$ 1${\displaystyle }$)$${\$displaystyle z_{1}$=$x_{1}, z_{2$}=$e$$^{-s_{\theta}(x_{1})}\odot(x_{2}-m_{\theta}(x_{1})}$이고$,$ Jacobian은$$∏ ${\displaystyle \underset{}{\overset{}{i}}}$ = ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle e^{}}$ s θ${\displaystyle {{}_{}}^{}}$(${\displaystyle {z_{}}^{}}$ 1${\displaystyle {{}_{}}^{}}$ )$${\$displaystyle \$prod$$_{$i$=$1}^{s_{theta}(z_{1$NICE 모델은 $설정$ θ = 0 ${\displaystyle s_{\theta$}=$0}$을(를) 사용하여 복구됩니다$.$ Real NVP 맵은 $벡터$ x ${\displaystyle x}$의 전반부와 후반부를 분리하여 유지하므로 일반적으로 Real NVP 레이어 뒤에 순열$$(${\displaystyle {}_{}}$ ${\displaystyle 1_{}}$ ${\displaystyle x_{}}$ 2${\displaystyle {}_{}}$ ↦ (${\displaystyle x_{}}$ 2${\displaystyle {}_{}}$ ${\displaystyle x_{}}$ 1$)$ {\$displaystyle (x_{1}, x_{2})\mapsto (x_{2}, x_{1})$를 추가해야 합니다.

생성 흐름(광채)

생성 흐름 모형에서 ^[5]각 층에는 다음과 같은 세 부분이 있습니다.

• 채널별 아핀 변환
  $${\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}$$

  
  야코비안 ∏ ${\displaystyle {cc}_{}^{}}$ ${\displaystyle {\mathrm{CHW}}_{}^{}}$ ${\displaystyle \prod_{c}s_{c}^{$$HW$
• 반전 가능한 1x1 컨볼루션
  $${\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}$$

  
  자코비안 ${\displaystyle 데트}$(K${\displaystyle ){}^{\mathrm{HW}}}$ ${\$ \det$(K)^{HW}}.$여기서 $K{\displaystyle }$ ${\displaystyle K}$는 임의의 가역 행렬입니다.
• Real NVP, Real NVP에 설명된 Jacobian과 함께.

가역적인 1x1 컨볼루션을 사용하는 아이디어는 Real NVP에서처럼 전반부와 후반부를 단순히 퍼뮤트하는 것이 아니라 일반적으로 모든 레이어를 퍼뮤트하는 것입니다.

마스킹 자동회귀흐름(MAF)

${\displaystyle {}^{}}$ ${\$에 대한 분포의 자기 회귀 모형은 다음과 같은 확률적 과정으로 정의됩니다$$.^[9]

여기서 ${\displaystyle {\mu i}_{}}$ :${\displaystyle {}_{}{}^{}}$ -${\displaystyle 1^{}}$ → ${\displaystyle R}$ ${\displaystyle \mu _{i$} $:\mathbb {$R$} ^{i-1}\to$\$mathbb$${R}$σ i${\displaystyle {}_{}}$: ${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ →${\displaystyle }$( ${\displaystyle 0,\mathrm{}}$∞${\displaystyle )}$ ${\displaystyle \$sigma _${i} ^{i-1}\to (0,\infty )}$는 자기회귀모형을 정의하는 고정함수입니다.

재매개변수화 트릭을 통해 자기 회귀 모델은 정규화 흐름으로 일반화됩니다.

$자동{\displaystyle }$ 회귀 ${\displaystyle \mathrm{모델}}$은 z ~${\displaystyle }$N${\displaystyle }$(${\displaystyle 0,}$ ${\displaystyle {In}_{}}$) {\$displaystyle z\sim$ N($0,$I_${n$})}을(를) 설정하여 복구됩니다$.$

순방향 매핑은 느리지만(순차적이기 때문에) 역방향 매핑은 빠릅니다(평행적이기 때문에).

자코비안 행렬은 하위 대각선이므로 자코비안은 σ ${\displaystyle 1_{}}$ σ ${\displaystyle 2_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle 1_{}}){\displaystyle {}_{}}$⋯ σ n${\displaystyle {}_{}}$(${\displaystyle x_{}}$ 1${\displaystyle {}_{}}$: ${\displaystyle n_{}}$ - ${\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}.$

MAF의 두 맵 $f$ θ ${\displaystyle f_{\theta}}$와 $f$ θ -${\displaystyle 1_{}^{}}$ ${\displaystyle f_{\theta}^{-1}}$을(를) 반대로 하면 순방향 매핑이 빠르고 역방향 매핑이 느린 IAF(Inverse Autoregressive Flow)가 됩니다.

CNF(Continuous Normalizing Flow)

함수 구성에 의해 흐름을 구성하는 대신, 다른 접근법은 흐름을 연속 시간 동적으로 공식화하는 것입니다.^[11][12]$z{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$을(를) 분포 $($ ${\displaystyle {0\mathrm{}}_{}}$ {\$displaystyle p(z_{0})}$의 잠재 변수라고 하자$.$ 이 잠재 변수를 다음 흐름 함수를 사용하여 데이터 공간에 매핑하십시오.

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int_{0}^{T}f(z_{t},t)dt}$

여기서 $f{\displaystyle }$ ${\displaystyle f}$는 임의의 함수이며 신경망 등으로 모델링할 수 있습니다.

그러면 역함수는 자연스럽게 다음과 같습니다.^[11]

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}-f(z_{t},t)dt}$

$그리고{\displaystyle }$ x ${\displaystyle x}$의 로그 우도는 다음과 같이 구할 수 있습니다$$.^[11]

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int_{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}\right]dt}$

추적은 야코비안 ∂ ${\displaystyle z_{}}$ ${\displaystyle {{}_{}}_{}}$ ${\displaystyle \partial _{z_{t}}f}$의 대각선에만 의존하기 때문에$$"자유 형식" 야코비안을 허용합니다.여기서 '자유형'이란 야코비아인의 형태에 아무런 제약이 없다는 뜻입니다.이는 흐름을 정규화하는 이전의 이산 모델과 대조되는데, 이 모델에서 야코비안은 효율적으로 평가될 수 있도록 상하 대각선으로만 신중하게 설계되었습니다.

그 흔적은 "허친슨의 속임수"로 추정할 수 있습니다.^[14][15]

주어진 임의의 $행렬$ ${\displaystyle {}^{}}$∈ R ${\displaystyle {}^{}}$× n$${\$displaystyle$ ${\displaystyle W^{}}$$\in$ $\$$mathbb$ ${R$$}$^{$n\$$times$ n$\},$ $임의$의 u ∈ $E$$$[${\displaystyle u}$ ${\displaystyle {}^{}}$ ${\displaystyle T^{}}$ ]${\displaystyle {}^{}}$= ${\displaystyle I}$ ${\displaystyle$E$[u^{$$T$$}]$ $=$ $I$${\displaystyle }$E [${\displaystyle {}^{}}$ ${\displaystyle \mathrm{TWu}}$ ${\displaystyle ]}$ $=$ ${\displaystyle \mathrm{tr}}$(${\displaystyle W)}$ ${\displaystyle E[u^{T}Wu$] $=$ $tr(W)}$ .$$(증명: 기대를 직접 확장합니다.)

일반적으로 랜덤 벡터는 $N{\displaystyle (0,}$ ${\displaystyle I)}$ ${\displaystyle N(0,I)}($정규 분포) 또는 ${\displaystyle \{\pm {}^{}}$ -${\displaystyle {1/2\mathrm{}}^{}{}^n}$ ${\$라다마허 분포)에서 샘플링됩니다.

${\displaystyle f}$가 신경망으로 구현되면$$ 신경망 ODE 방법이 필요합니다^[16].실제로 CNF는 신경 ODE를 제안한 것과 같은 논문에서 처음 제안되었습니다.

CNF에는 두 가지 주요 단점이 있는데, 하나는 연속적인 흐름이 동형이어야 한다는 것이고, 따라서 방향과 주변의 등방성을 보존한다는 것입니다. (예를 들어, 공간을 연속적으로 변형하여 왼쪽을 오른쪽으로 뒤집는 것은 불가능하고, 구를 뒤집거나 매듭을 푸는 것은 불가능합니다.) 다른 하나는 학습된 $흐름{\displaystyle }$ f ${\$$displaystyle f}$은(즉, 모두 동일한 문제를 해결하는 $f$ ${\displaystyle f}$이(가) 무한히 존재하기 때문에 잘못된 $behaved$일 수 있습니다.

추가 차원을 추가함으로써 CNF는 방향을 반대로 설정하고 주변 동위원소를 초과할 수 있는 충분한 자유를 얻을 수 있습니다(책상에서 다각형을 집어 3-공간에서 뒤집거나 4-공간에서 매듭을 풀 수 있는 것과 마찬가지로). 이는 "증강 신경 ODE"를 산출합니다.^[17]

${\displaystyle {}^{}}$ ${\$의 임의의 동형 사상은 다양체에 대한 휘트니 임베딩 정리와 신경망에 대한 보편 근사 정리를 결합하여 증명된$$${\displaystyle {\mathrm{R2}}^{}}$ n${\displaystyle {}^{}}$+ 1 ${\$에서 작동하는 신경 ODE에 의해 근사화될 수 있습니다$$.^[18]

${\displaystyle f}$ $흐름$을 정규화하려면 정규화 손실을 부과할 수 있습니다$.$이 논문은 최적 운송 이론을 바탕으로 다음과 같은 정규화 손실을 제안했습니다.

여기서 λ λ > ${\displaystyle \lambda _{K},\lambda _{J}$ > $0}$은(는) 하이퍼 매개 변수입니다.첫 번째 항은 흐름 필드를 시간에 따라 진동시킨 모델을 처벌하고, 두 번째 항은 공간에 걸쳐 흐름 필드를 진동시킨 모델을 처벌합니다.두 항은 함께 모형을 공간과 시간에 걸쳐 매끄러운("범프"가 아닌) 흐름으로 유도합니다.

다운사이드

흐름을 정규화하여 고차원 밀도를 추정하는 데 성공했음에도 불구하고 설계에는 여전히 몇 가지 단점이 있습니다.우선, 입력 데이터가 투사되는 잠재 공간은 저차원 공간이 아니므로 흐름 기반 모델은 기본적으로 데이터 압축을 허용하지 않으며 많은 계산이 필요합니다.그러나 이미지 압축은 여전히 수행할 수 있습니다.^[19]

흐름 기반 모델은 분포를 벗어난 표본(즉, 훈련 세트와 동일한 분포에서 추출되지 않은 표본)의 가능성을 추정하는 데 실패한 것으로도 악명이 높습니다.^[20]이러한 현상을 설명하기 위해 몇 가지 가설을 공식화하였는데, 그 중 전형적인 집합 가설,^[21] 모델 교육 시 추정 문제 ^[22]또는 데이터 분포의 엔트로피로 인한 근본적인 문제가 있습니다.^[23]

흐름을 정규화하는 가장 흥미로운 특성 중 하나는 학습된 편향 지도의 가역성입니다.이 속성은 이론적 가역성을 보장하는 모델(cf.: RealNVP, Glow) 설계의 제약에 의해 부여됩니다.변수 변화 정리의 적용 가능성, 지도의 자코비안 계산 및 모델의 샘플링을 보장하기 위해서는 역의 무결성이 중요합니다.그러나 실제로는 이러한 가역성이 침해되고 수치의 부정확성 때문에 역지도가 폭발합니다.^[24]

적용들

플로우 기반 생성 모델은 다음과 같은 다양한 모델링 작업에 적용되었습니다.

• 오디오 생성^[25]
• 이미지생성^[5]
• 분자그래프생성^[26]
• 포인트 클라우드 모델링^[27]
• 비디오 생성^[28]
• 이미지 압축^[19] 손실
• 이상 탐지^[29]

참고문헌

외부 링크

• 흐름 기반 심층 생성 모델
• 흐름 모형 정규화