뉴럴 네트워크 가우스 프로세스

베이지안 네트워크는 사건에 확률을 할당하여 모델 예측의 불확실성을 특징짓기 위한 모델링 도구이다.딥 러닝과 인공 신경망은 기계 학습에서 훈련 예에서 배우는 계산 모델을 구축하기 위해 사용되는 접근법이다.베이지안 신경망은 이러한 필드를 병합합니다.매개 변수와 예측이 모두 ^[1][2]확률적인 인공 신경망의 일종이다.표준 인공 신경망은 종종 잘못된 ^[3]예측에도 높은 신뢰도를 할당하지만, 베이지안 신경망은 예측이 얼마나 정확할지를 더 정확하게 평가할 수 있다.

NNGP(Neural Network Gausian Processes)는 특정 ^{[4][5][6][7][8][9][10][11][12]}제한에서 베이지안 신경 네트워크와 동등하며 베이지안 신경 네트워크를 평가하기 위한 폐쇄형 방식을 제공합니다.그것들은 대응하는 베이지안 신경망에 의해 만들어진 예측에 대한 분포를 설명하는 가우스 공정 확률 분포입니다.인공 신경망의 연산은 보통 인공 뉴런의 순차적 층으로 구성된다.층에 있는 뉴런의 수는 층폭이라고 불립니다.NNGP와 베이지안 뉴럴 네트워크 사이의 등가는 베이지안 뉴럴 네트워크의 레이어가 무한히 넓어졌을 때 발생합니다(그림 참조).이 넓은 폭의 제한은 실용적으로 중요합니다.이는 일반적으로 유한 폭의 뉴럴 네트워크가 레이어 ^{[13][14][8][15]}폭의 증가에 따라 엄격하게 더 나은 성능을 발휘하기 때문입니다.

NNGP는 또한 몇 가지 다른 맥락에서 나타난다. NNGP는 매개변수의 무작위 초기화 후, 그러나 훈련 전에 광범위한 비베이지안 인공 신경 네트워크에 의해 만들어진 예측에 대한 분포를 설명한다. NNGP는 신경 접선 커널 예측 방정식의 용어로 나타난다. NNGP를 특징짓기 위해 심층 정보 전파에 사용된다.그녀의 하이퍼 파라미터와 아키텍처는 훈련할 ^[16]수 있을 것이다.이는 신경망의 다른 큰 폭 제한과 관련이 있다.

만화 일러스트

뉴럴 네트워크의 파라미터$of{\displaystyle }$(\$displaystyle \theta)$의 모든 설정은 뉴럴 네트워크에서 계산한 특정 함수에 해당합니다.따라서 뉴럴 네트워크 파라미터에 대한 이전 $분포{\displaystyle }$ p${\displaystyle (}$ ${\displaystyle )}$ $)(\displaystyle$ p$(\theta))$는 네트워크에 의해 계산된 함수에 대한 이전 분포에 대응합니다.신경망이 무한히 넓어짐에 따라, 함수에 대한 이러한 분포는 많은 아키텍처에서 가우스 프로세스로 수렴됩니다.

오른쪽 그림은 neural network의 2개의 $입력{\displaystyle }$ ${\displaystyle x^{}}$ ${\displaystyle {}^{}}$$displaystyle$ x$}$ $및$ x$${\$display$ x$^{*}$에 대한 1차원 $출력{\displaystyle {}^{}}$ z L (${\displaystyle }$; ; ${\displaystyle )}$) ( \ $displaystyle$ z^ L （ \ $cdot$; \ theta ;$$） )을$$ 서로 비교한 그림입니다.검은색 점은 p${\displaystyle }$( ${\displaystyle )}$) \ $display style$ p$(\theta$)$$에서의 파라미터 랜덤 드로잉에 대해 이들 입력의 뉴럴 네트워크에 의해 계산된 함수를 나타냅니다.빨간색 선은${\displaystyle \mathrm{네트워크}}$ $출력{\displaystyle {}^{}}$ ${\displaystyle z^{}}$ L${\displaystyle {}^{}}$( ${\displaystyle x}$; ${\displaystyle )}$ $){$ $display$ z^ { $L$（ $x$; \$theta$） }$및$ ${\displaystyle z^{}}$ L${\displaystyle {}^{}}$( ${\displaystyle {}^{}}$; $）{$ $L$}($x$${\displaystyle }$${\displaystyle {}^{}}$ \ $display$ $style$z^ { * } ( x ^ { * } ; \ $theta$ )에 의해 유도되는 Iso-probility 등고선입니다.이는 파라미터 공간의 $분포{\displaystyle }$ p${\displaystyle (}$ ${\displaystyle )}$ $)(\displaystyle$ p$(\theta)}$에 대응하는 함수 공간의 분포이며, 검은색 점은 이 분포에서 얻은 샘플입니다.무한히 넓은 신경망의 경우, 신경망에 의해 계산된 함수에 대한 분포는 가우스 프로세스이므로 네트워크 출력에 대한 공동 분포는 유한한 네트워크 입력 집합에 대한 다변량 가우스이다.

이 항에서 사용하는 표기법은 NNGP와 완전히 연결된 네트워크 간의 대응관계를 도출하기 위해 사용하는 표기법과 동일합니다.자세한 내용은 이 항에서 확인할 수 있습니다.

NNGP에 대응하는 아키텍처

무한히 넓은 베이 시안로는 신경 네트워크와 NNGPs 사이의 등가 단 하나의 숨겨진 layer[4]:을 층마다 장치의 숫자가 무한대에 실려 간다게 완전히 연결된 네트워크 deep[6][7]를 열기로, 채널의 숫자로 나선형의. 신경 네트워크가 무한대에 실려 간다;다는 것을 보였다 att의 숫자로[8][9][10]변압기 네트워크.주목 머리는 taken to infinite.^[17] 유닛 수가 ^[12]무한대로 되면 네트워크가 반복됩니다.실제로 이 NNGP 대응은 거의 모든 아키텍처에 적용됩니다.일반적으로 아키텍처가 행렬 곱셈과 좌표적 비선형성(텐서 프로그램)을 통해서만 표현될 수 있다면, 무한 폭 ^[12]GP를 가진다.특히 여기에는 다층 퍼셉트론, 반복신경망(예를 들어 LSTM, GRU), (nD 또는 그래프) 컨볼루션, 풀링, 건너뛰기 연결, 주의, 배치 정규화 및/또는 층 정규화로 구성된 모든 피드포워드 또는 반복신경망이 포함된다.

무한히 넓은 완전 접속 네트워크와 가우스 프로세스 간의 대응

이 섹션에서는 완전히 연결된 아키텍처의 특정 사례에 대해 무한히 넓은 뉴럴 네트워크와 가우스 프로세스 간의 대응 관계를 확장합니다.이 문서에서는 대응이 유지되고 있는 이유를 나타내는 증명 스케치를 제공하고 완전히 연결된 네트워크에 대한 NNGP의 특정 기능 형식을 소개합니다.입증 스케치는 2018년 ^[8]Novak 등의 접근방식을 따른다.

네트워크 아키텍처 사양

네트워크 내의 각 $l$에 대한 ${\displaystyle {가중치}^{}}$ W l$(\$ W$^{l})$과 ${\displaystyle {바이어스}^{}}$ b l$(\$$displaystyle$b$^{l})$로 구성된$$ 입력$x{\displaystyle }$(\$displaystyle$$$x$)$와 $θ$(\displaystyle \$theta)$를 가진 완전히 연결된 인공 신경망을 고려합니다.${\displaystyle l^{}}$(\$displaystyle$z^{$l$ 액티베이션(비선형성 $후{\displaystyle {}^{}}$) y$$ (\$displaystyle$y$^{l$ 포인트별 $비선형성$ ${\displaystyle (}$ ($)$ )및 레이어 $폭{\displaystyle {}^{}}$ n ${\displaystyle l^{}}$(\$displaystyle$ n$^{l$간단히 하기 위해$$의$$$너비{\displaystyle {}^{}}$ N + 1$(\style$n$$^{l+1)$^{L}}$은(는) 1로 간주됩니다.이 네트워크의 모수에는 사전 $분포{\displaystyle }$ p$))\displaystyle$ p$(\theta$가 있습니다.이 분포는 각 무게와 바이어스에 대해 등방성 가우스이며 레이어 폭에 반비례하여 스케일링된 무게의 분산입니다.이 네트워크는 오른쪽 그림에 나타나 있으며 다음 방정식 세트로 설명되어 있습니다.

${\displaystyle {text {aligned}x&\equiv {input}\y^{l}(x)\left\{\display {array}{lcl}x&l=0\\phi \left(z^{l-1}(x)\오른쪽)<0\end {array}\right.\\z_{i}^{l}(x)&=\sum _{j}W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {mathcal {N}\left(0,\frac {sigma _{w}^{l}}\right)\b_{i}^{l}&\sim {N}\left(0,\sigma _{b}^2}\오른쪽)\\phi(\cdot)&\equiv {text{cdot}\y^{l}(x), z^{l-1}(x)&\in \mathbb {R}^{n^{l}\times 1)\n^{L+1}&=1\\\\\theta=\leftW^{0}, b^{0}, \dots, W^{L}, b^{L}\right\}\end{aligned}}$

${\displaystyle z^{}}$ ${\displaystyle l{}^{}{}^{}}$ y$$ \ $displaystyle$ z$^{l}$ y$^{l}$는 가우스 프로세스입니다.

먼저 사전 $활성화{\displaystyle {}^{}}$ ${\displaystyle z^{}}$ l$${\$displaystyle z^{$l$$}은(는) 앞의 $활성화{\displaystyle {}^{}}$ ${\displaystyle y^{}}$ {\$displaystyle y^{l$에 따라 조정된 가우스 프로세스에 의해 설명된다는 것을 알 수 있습니다.이 결과는 한정된 폭에서도 유지됩니다.각 사전 $활성화{\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$l {\$style z_{i}^l}$은 $가중치{\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$l {$displaystyle W_{ij}^l}$ 및$$ $바이어스{\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ l$${\$display b_{i}^l$에 해당하는 가우스 랜덤 변수의 가중치 합이다. 여기서 각 가우스 변수의 계수는 선행 $활성화$이다.${\displaystyle {}_{}^{}}$ l$${\$displaystyle y_{$j}^$l$$}.$ ${\displaystyle {}_{}^{}}$(\$displaystyle z_{i}^{$l$$})는 0-평균 가우시안입니다($계수{\displaystyle {}_{}^{}}$ $y_{j}^l}$에 따라 다름).${\displaystyle z^{}}$l$${\$displaystyle$ z$^{l$$}$은 ${\displaystyle y^{}}$ {\$displaystyle$ y$^{l$ $세트$에 대해 공통으로 가우스이므로 이전 $활성화{\displaystyle {}^{}}$ y {\$displaystyle$ y$^{l$에 따라 가우스 프로세스에 의해 기술됩니다.이 가우스 프로세스의 공분산 또는 커널은 무게 및 바이어스 분산 ${\displaystyle w_{}^{}}$ w$$$$${\displaystyle$ \$sigma _{$w}^$2$}$$및 ${\displaystyle {\mathrm{}}_{}^{}}$ 2 {\$displaystyle$ \$sigma$ _{$b}^2}}$및 이전 $액티베이션$의 ${\displaystyle {두}^{}}$ 번째 모멘트 $매트릭스{\displaystyle {}^{}}$ K ${\displaystyle l^{}}${\$displaystyle$$$K$^{l$에 따라 달라집니다$.$

${\displaystyle {begin{aligned}z_{i}\mid y^{l}&\sim {mathcal {GP}\left(0,\sigma _{w}^2}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&=sum _{i}y_{i}^{l}(x)y_{l}(x')\end{aligned}}$

무게 척도 ${\displaystyle w_{}^{}}$ w$${\$displaystyle$ \$sigma$ _${w}^{2}}$의 효과는 모든 입력에 대해 편중이 공유되는 동안 K$$$${\$displaystyle$ K$^{l$에서 공분산 행렬에 대한 기여도를 재조정하는 것입니다. 따라서 ${\displaystyle b_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}${\$displaystyle$$\sigma$ _${$$b}^{i}^{$l$}^{$2}}^{l}}^{l}}}}}}^2$$}^2}^2}^2}^2}}}}}는 $zi}$의 차이를 나타낸다.nt 데이터 점이 더 비슷하고 공분산 행렬이 상수 행렬과 더 비슷합니다.

${\displaystyle z^{}}$ ${\displaystyle l{}^{}{}^{}}$ ${\displaystyle K^{}}$l \ $displaystyle$ z$^{l} K^{l}$는 가우스 프로세스입니다.

사전 $활성화{\displaystyle {}^{}}$ ${\displaystyle z^{}}$ l$${\$displaystyle z^{$l$$}은(는) $두{\displaystyle {}^{}}$ ${\displaystyle {번째}^{}}$모멘트 행렬 K l {\$displaystyle$ K$^{l$에서 ${\displaystyle y^{}}$ ${\$ y$^{l}$에만 $의존$합니다. 따라서 z$$ {$displaystyle$ z$^{$$l$은 조건이 아닌 ${\displaystyle K^{}}$ l$${\$displaystyle}$에 따른 가우스 $프로세스$라고 할 수 있습니다.ned $on{\displaystyle {}^{}}$ {\$displaystyle y^{l$

$({displaystyle {begin{aligned}z_{i}\mid K^{l}&\sim {mathcal {GP}\left(0,\sigma _{w}^2}+\sigma _{b}^2}\오른쪽).\end { aligned}}$

$레이어{\displaystyle {}^{}}$ ${\displaystyle {폭}^{}}$ n l ${\displaystyle {}^{}}$ ${\$ { $displaystyle n$^ { l } \$rightarrow$ \ infty$$$}$에 ${\displaystyle {따라}^{}}$ ${\displaystyle {}^{\mathrm{l}}}$ -$$1 { $displaystyle K$^ { $l$} \ $mid$^ { $l$- 1$$ }이 결정론이 됩니다.

${\displaystyle K^{}}$l \ $display style$ K^ {$$$l$ }은 ${\displaystyle y^{}}$ $l$\ $displaystyle$ y $^${ l$$}의 두 번째 모멘트 행렬이며,$$ l \ $displaystyle$$$y$^$ { l }은 $비선형성{\displaystyle }$ ${\$ { \ $displaystyle$ \ phi$$$}$를 적용한 후의 활성화 $벡터$이므로${\displaystyle {}^{}}$ ( ${\displaystyle z^{}}$l -${\displaystyle {}^{}{1}^{}}$)$styleft \ ph$ \ $ph$ \ $rig$ { $l }$로 대체할 수 있습니다.$ht$에 ${\displaystyle {의해\mathrm{z}}^{}}$ l -$$1(\$style z$^{$l-1$로L> 0(\$displaystyle$ l$>0)$에 $(\$ K$^{l})$을 $나타내는{\displaystyle {}^{}}$ 수정된 방정식이 생성됩니다.

$({displaystyle {begin {l}(x,x')&=sum frac {1}{n^{l}}\sum _{i}\phi \left(z_{i}^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x)'\right).\end { aligned}}$

${\displaystyle z^{}}$l - ${\displaystyle 1^{}}$ ${\displaystyle K^{}}$l -$$ ({ $displaystyle$ z$^{l-1} K^{l-1})$은 이미 가우스 프로세스라고 판단했습니다.${\displaystyle {즉}^{}}$, K$$l을 $정의$하는 합계({$displaystyle$ K$^{l})$는 ${\displaystyle {K\mathrm{l}}^{}}$ $-$ 1$({$ K$^{l-1$의 함수인 가우스 프로세스에서 얻은 ${\displaystyle {n개}^{}}$({$displaystyle$ n$^{l})$ $샘플$에 대해 평균입니다.

$({displaystyle {begin{aligned}\left\{z_{i}{l-1}(x')\right\}&\sim {mathcal {GP}\left(0,\sigma _{w}^{2}+sigma _{b}^{2}\right}\right.\end { aligned}}$

레이어 $폭{\displaystyle {}^{}}$ ${\displaystyle n^{}}${\$displaystyle$ n$^{l}}$이 무한대로 진행됨에 따라 가우스 프로세스의 n개 $샘플$에 $대한{\displaystyle {}^{}}$ 이 평균은 가우스 프로세스의 적분으로 대체될 수 있습니다.

${\displaystyle {n^{l}\rightarrow \infty }K^{l}(x,x')&=\int dzdz'\phi(z'){\mathcal {N}\left(\begin{array}z\z\0'}{right}}}\K^{l-1}(x',x)&K^{l-1}(x',x')\end{array}}\right]+\sigma_{b}^{2}\right)\end{aligned}}}$

따라서 무한폭 제한에서는 $입력{\displaystyle }$$$x(\$displaystyle$ x$)$와 x$(\$ x$')$ 쌍에 대한 두 번째 모멘트 $행렬{\displaystyle {}^{}}$ K$$ {$displaystyle$ K$^{l}}$은 ${\displaystyle (}$ (${\displaystyle z}$) $\$$display$ style$$$\phi (z$$)$의 곱에 대한 적분으로 표현할 수 있습니다$.$${\displaystyle (}$ ($$ ) { $displaystyle \phi$( \ $cdot$) }가 ReLU,^[18] ELU,^[19] GELU 또는^[5] 오류 함수의 비선형성인 경우 등 분석적으로 해결된 여러 상황이 있습니다.해석적으로 해결할 수 없는 경우에도 2D 적분이기 때문에 일반적으로 ^[6]수치적으로 효율적으로 계산할 수 있습니다.${\displaystyle {이}^{}}$ 적분은 $결정론적$이므로 K ${\displaystyle l^{}{}^{}}$-$$({$디스플레이 스타일$ K$^{l} K^{l-1})$은 결정론적이다.

줄여서 함수$F{\displaystyle }$(\$displaystyle$ F$)$를 정의합니다.이것은 모든 입력 쌍에 $대해{\displaystyle {}^{}}$ 이 2d 적분을 계산하고 ${\displaystyle K^{}}$${\displaystyle l^{}}$-$$(\$style$ K^{l-1})을$$K l$$(\$displaystyle$ K$^{$l$\})$에 $매핑합니다{\displaystyle {}^{}}$.

$(\displaystyle {n^{l}\rightarrow \infty }K^{l}&=F\left(K^{l-1}\right).\end { aligned}}$

${\displaystyle z^{}}$ L ${\displaystyle {}^{}}$ {\$displaystyle$ z$^{L}\mid$ x$}$는 NNGP입니다.

${\displaystyle K^{}}$ l$display$ ${\displaystyle K^{}}$ l -$$1 { $displaystyle$ K^ {l } \ mid $K^$ {$l-1$} 이 n l$$ $display$ { $style n$^ {l } \$rightarrow$ \infty $\}$ $로서{\displaystyle {}^{}}$ K$L$ {$displaystyle$ K$^$${$L} 이$$ 결정론적 함수로 재귀적으로 기술할 수 $있다{\displaystyle {}^{}}$.

${\displaystyle {\displaystyle {\min \left(n^{1},\display,n^{L}\righty}K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L}\left(K^{0}\오른쪽),\end{aligned}}$

${\displaystyle {여기}^{}}$서 F L$${\$displaystyle$ F$^{$$L}}$은 기능$F$를 순차적으로$L{\displaystyle }$ {\$displaystyle$ L$}$회$$ 적용하는 것을 나타냅니다.이 식을 입력층 제2모멘트 $행렬{\displaystyle {}^{}}$ K ${\displaystyle {0\mathrm{}}^{}x,}$ ${\displaystyle {}^{}}$θ) ${\displaystyle =}$ ${\displaystyle \frac{{1n\mathrm{}}^{}}{}}$ 0${\displaystyle \frac{{}^{}}{}\underset{i}{}}$ i ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle x_{}^{}}$ i ${\$ { $display K^$ 0 $（ x$ , x , x ' ） =$sum frac$ { 1 } { $n ^$ { 0 } { n } { n } { n } { n _ $sum$ _ { $i$}$x{\displaystyle }$ _ x _$${ i } { i } } } } $is$ { i is { $i$} is is is ′ ′ ′ ′ ′ ′ ′ ′ ′ ′ ′ ′ $isplaystyle$ z$^{L} K^{L}$는 가우스 프로세스이며, 뉴럴 네트워크의 출력은 입력 측면에서 가우스 프로세스로 표현될 수 있습니다.

${{displaystyle {begin{aligned}z_{i}{L)(x)&\sim {mathcal {GP}\left(0,\sigma _{w}^2}F^{L}\left(K^{0}\right)+{b}^2}\sigma _{\right}.\end { aligned}}$

소프트웨어 라이브러리

Neural Tangents는 다양한 공통 ANN 아키텍처에 대응하는 NNGP 및 Neural Tangent ^[20]커널로 계산 및 추론을 위해 사용되는 자유 오픈 소스 Python 라이브러리입니다.

레퍼런스