역전파

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

기계학습에서 역전파(backprop,^[1] BP)는 피드포워드 뉴럴 네트워크를 훈련하기 위해 널리 사용되는 알고리즘이다.역전파의 일반화는 다른 인공신경망(ANN) 및 일반적으로 기능에 대해 존재한다.이러한 알고리즘의 클래스는, 통칭으로 「역전파」^[2]라고 불립니다.신경망을 장착할 때 역전파는 단일 입력-출력 예에 대한 네트워크의 가중치에 대한 손실 함수의 구배를 계산하고, 각 가중치에 대한 구배의 순진한 직접 계산과는 달리 효율적으로 계산한다.이 효율성은 다층 네트워크를 훈련하기 위해 구배 방법을 사용할 수 있게 하며, 손실을 최소화하기 위해 가중치를 업데이트한다. 구배 강하 또는 확률적 구배 강하와 같은 변형이 일반적으로 사용된다.역전파 알고리즘은 체인 규칙에 의한 각 무게에 대한 손실 함수의 구배를 계산하고, 구배를 한 번에 1개씩 계산하며, 체인 규칙에서 중간 용어의 중복 계산을 피하기 위해 마지막 계층에서 역방향으로 반복함으로써 작동한다.이것은 동적 프로그래밍의 ^[3]한 예이다.

역전파라는 용어는 엄격하게 구배 계산 알고리즘만을 참조하며, 구배 사용 방법은 참조하지 않는다. 그러나 이 용어는 종종 확률적 구배 ^[4]강하와 같은 구배 사용 방법을 포함한 전체 학습 알고리즘을 참조하기 위해 느슨하게 사용된다.역전파는 역전파의 단일층 버전인 델타 규칙에서 구배 계산을 일반화하며, 역전파는 역전파의 특수한 경우(또는 "역모드")^[5]인 자동 미분에 의해 일반화된다.루멜하트, 힌튼 & 윌리엄스(1986a)에서 역전파라는 용어와 신경 네트워크에서의 일반적인 용도가 발표되었고, 그 후 루멜하트, 힌튼 & 윌리엄스(1986b)에서 정교하고 대중화되었지만, 이 기술은 여러 번 독립적으로 재발견되었고 1960년대 이전 기술도 많이 있다. ^[6]역사를 보라.Goodfellow, Bengio & Courville(2016)[7]의 딥러닝 교과서에 현대적인 개요가 제시되어 있다.

개요

역전파는 손실함수에 관한 피드포워드 뉴럴 네트워크의 무게공간에서의 구배를 계산한다.다음을 나타냅니다.

• ${\displaystyle x}${\$displaystyle$ x$\}$ : 입력(기능의 일부)
• $\displaystyle$ y$:$ 목표 출력

  분류의 경우 출력은 클래스 확률의 벡터(예를 들어 (${\displaystyle 0.\mathrm{1,}}$0.${\displaystyle \mathrm{7,\; 0}}$.2$)\displaystyle(0.1,$${\displaystyle 0}$$.7,0.$2$)\},$ 타겟 출력은 one-hot/dummy 변수(예를 들어 $({\displaystyle 0,1}$,${\displaystyle }$0$)\displaystyle(0,0,0))$에 의해 부호화된 특정 클래스입니다.

• $\displaystyle$ C$:$ 손실 함수 또는 "비용 함수"^[a]

  분류의 경우 일반적으로 교차 엔트로피(XC, 로그 손실)이며 회귀의 경우 일반적으로 SEL(Square Error Loss)입니다.

• ${\displaystyle L}$ $\$ $displaystyle$L$$: 레이어 수
• ${\displaystyle W^{}}$ l ${\displaystyle =}$ ( ${\displaystyle w_{}^{}}$ j ${\displaystyle {}_{}^{}}$l$$) { { $displaystyle$ W$^{$l } = ( w$_$ { $jk$}^{ $l$} $\}$ : $레이어{\displaystyle }$ ${\displaystyle \mathrm{l}}$-$$1$$ ~$l{\displaystyle }${ $displaystyle$ $l$$$$}$ 사이의$$$$ 무게. ${\displaystyle {여기}_{}^{}}$서 w ${\displaystyle {}_{}^{}}$ { $displaystyle$$w$_ { $jk$}^$l}$ { l $}$ { $displaystyle$ l${\displaystyle }$}^1 - l l l l l l l l l l l in$}$ in in l1 - l - l - node l （ $l{\displaystyle }$ ） : l - l ${\displaystyle \mathrm{1<img\; alt="k"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/c3c9a2c7b599b37105512c5d570edc034056dd40"\; style="vertical-align:\; -0.338ex;\; width:1.211ex;\; height:2.176ex;">}}$ l 1 l in l l l l l l l$style$ j$}$ - $레이어$ 1의 세번째 노드 {\$display style$ l$}$
• ${\displaystyle f^{}}$ l$${\$displaystyle$f^{$l$ : $layer{\displaystyle }$l {\$displaystyle$ l$}$에서의 활성화 기능

  분류의 경우 마지막 레이어는 보통 이진 분류를 위한 로지스틱 함수이며, 다중 클래스 분류를 위한 softargmax(softargmax)인 반면, 은닉 레이어의 경우 전통적으로 각 노드(좌표)에서 Sigmoid 함수(로지스틱 함수 또는 기타)였지만, 현재는 정류기(램프, ReLU)가 일반적이기 때문에 더 다양합니다.

역전파의 도출에는 다른 중간량이 사용되며, 필요에 따라 아래에 소개된다.바이어스 항은 고정 입력이 1인 가중치에 해당하므로 특별히 처리되지 않습니다.역전파의 목적상, 특정 손실 함수 및 활성화 함수는 그러한 함수와 그 파생상품을 효율적으로 평가할 수 있는 한 중요하지 않다.기존의 활성화 기능에는 Sigmoid, tanh 및 ReLU가 포함되지만 이에 한정되지 않습니다. 이때부터 swish,^[8][9] mish 및 기타 활성화 기능도 제안되었습니다.

네트워크 전체는 함수 구성과 매트릭스 곱셈의 조합입니다.

$(\displaystyle g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ) )$

트레이닝 세트의 경우 입력-출력 쌍의 세트${\displaystyle }${ ( ${\displaystyle x_{}}$i , ${\displaystyle y_{}}$i ) $}$ { $displaystyle \$left \ { ( $x$_ {$$$i$ , $y$_ {$i$ ) \ $right \$} 。트레이닝 세트의 각 입력-출력${\displaystyle }$쌍( $i$, $y )$에 대해 모델의 손실은 그 쌍의 차이입니다.${\displaystyle g}$ ${\displaystyle (}$ ${\displaystyle {}_{}{i}_{}}$) { $displaystyle$g ( $x$_ {$i$ ) } the$$ the y y y ${\displaystyle {출력}_{}}$ y$$i { $displaystyle$ y$_$ {$i$} :

$(\displaystyle C(y_{i},g(x_{i})) )$

구별에 주의해 주세요.모델 평가 중 가중치는 고정되지만 입력은 변화하고(및 타깃 출력을 알 수 없는 경우도 있습니다), 네트워크는 출력 레이어로 종료됩니다(손실 함수는 포함되지 않습니다).모델 트레이닝 중에, 입력-출력 쌍은 고정되고, 무게는 변화하며, 네트워크는 손실 함수로 끝납니다.

역전파는 고정 입출력 쌍$,$ $)$의 구배를 계산합니다.여기서 $무게{\displaystyle {}_{}^{}}$ w ${\displaystyle j_{}^{}}$k ${\displaystyle {}_{}^{}}$$(\$$displaystyle w_{$jk$}^{$$i$은 다를 수 있습니다.그라데이션의 각 성분인${\displaystyle \mathrm{}\delta }$C /${\displaystyle \mathrm{}{}_{}^{}}$ ${\displaystyle w_{}^{}}$ j ${\displaystyle {}_{}^{}}$l$$, \ $displaystyle$\ $partial$ C / \ $partial$ w$_$ { $jk$}^{ l$$}는$$ 체인규칙으로 계산할 수 있지만, 각 무게에 대해 별도로 이 작업을 수행하는 것은 비효율적입니다.역전파는 불필요한 중간값을 계산하지 않고 중복 계산을 회피함으로써 구배를 효율적으로 계산한다.구배는 각 층의 가중치 입력의 구배(${\displaystyle {특히}^{}}$ §$$l \$displaystyle \delta$^{$l})$를 후방에서 전방으로 계산한다.

비공식적으로 중요한 것은 ${\displaystyle W^{}}$ l$\$ W$^{l}$의 무게가 손실에 영향을 미치는 유일한 방법은 다음 레이어에 대한 영향을 통해 선형적으로 영향을 미치므로 $\$^{$l}$ $레이어$ l$\displaystyle$ l$\}$에서 무게의 구배를 계산하기 위해 필요한 데이터는 l\displaystyle \delta ^{l}뿐입니다.n 이전 레이어 ${\displaystyle l^{}}$l -$$ { $displaystyle$ \ $displaystyle ^$ { l -$$1 } 을$$ 계산하고 재귀적으로 반복합니다.이를 통해 두 가지 방법으로 비효율성을 방지할 수 있습니다.첫째, $l$의$$구배를 계산할 때 l${\displaystyle }$+${\displaystyle 1}$, l${\displaystyle }$+$2{\displaystyle }$ , ... (\$displaystyle$ l + 1, l + $,\$ displaystyle$$$l$ +$1, l$ + 2, \$ldots$}$둘째$, 각 단계에서 가중치의 변화에 관한 숨겨진 레이어 값의 파생물을 불필요하게 계산하는 대신 최종 출력(손실$)$에 대한 가중치의 구배를 직접 계산하기 때문에 ${\displaystyle {}_{}^{}}$한 중간 계산을 회피한다$.{\displaystyle \mathrm{}}$$laystyle \syslog a_{j'}^{l'}/\syslog w_{jk}^{l$

역전파는 단순한 피드포워드 네트워크에 대해 매트릭스 곱셈의 관점에서, 또는 보다 일반적으로 인접 그래프로 표현할 수 있습니다.

행렬 곱셈

각 레이어의 노드가 (레이어를 건너뛰지 않고) 바로 다음 레이어의 노드에만 접속되어 최종 출력의 스칼라 손실을 계산하는 손실함수가 있는 피드포워드 네트워크의 기본 케이스에서는 매트릭스 곱셈만으로 ^[c]역전파를 이해할 수 있다.본질적으로 역전파는 각 계층 간의 가중치 구배를 부분적 산물의 단순한 수정('역전파 오차')으로 하여 왼쪽에서 오른쪽으로 각 계층 간의 파생물의 곱으로서 비용함수의 파생물에 대한 식을 평가한다.

입출력 쌍$({\displaystyle x}$,${\displaystyle y}$) {$displaystyle (x , y$ $)\}$의 경우 손실은 다음과 같습니다.

$({displaystyle C(y,f^{L}(W^{L-1}\cdots f^{2}(W^{2}f^{1}x)\cdots ))})$

이를 계산하려면 입력 $(\displaystyle$ x$)$에서 시작하여 앞으로 이동합니다. 각 레이어의 가중치 입력은 z $(\$ z$^{l})$이고 $레이어{\displaystyle }$l(\$displaystyle$$$a$^{l})$의 출력은$$l(\$displaystyle$ a^{l$\})$입니다. 역전파의 경우 $활성화$는 l$(\$ a$^{l})$입니다.} 및$$ 파생${\displaystyle {}^{}}$($f$ l${\displaystyle {}^{}}$) ${\$ { {$displaystyle$ ( f $^$ { l ) $$} $（$ $z{\displaystyle {}^{}}$ $l$ { $displaystyle$z$^$ { l} ） {\$$pass for pass for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for for

입력에 관한 손실의 미분은 체인 규칙에 의해 주어집니다.각 항은 입력 $(\displaystyle$ x$\})$의 네트워크 값으로 평가되는 총 미분입니다.

${\displaystyle\frac{dC}{da^{L}}\circ {frac {da^}L}}{dz^{L}}\cdot {frac {dz^}L}}{da^{L-1}}\circ {frac {da^{L-1}}\cdot {dz^{L-1}}{da^{L-2}}\ldots {frac {da^{1}}\cdot {partial}\cdot {1}{frac^{l-1}}$

여기서 ${\$ { $displaystyle \circ }$는 Hadamard 제품으로 요소별 제품으로 왼쪽에서 오른쪽으로 제품을 가져옵니다.

손실함수의 ^[d]도함수, ^[e]활성화함수의 도함수,^[f] 가중치의 행렬은 다음과 같다.

${\displaystyle\frac{dC}{da^{L}}\circ(f^{L}),\cdot W^{L}\circ(f^{L-1}),\cdot W^{1},\cdot W^{1}.$

구배$$δ(\$displaystyle \nabla)$는 입력에 관한 출력의 도함수 전치이므로 행렬은 전치되고 곱셈 순서는 반전되지만 엔트리는 동일합니다.

$\displaystyle _{x}C=(W^{1})^{T}\cdot (f^{1})'\ldots \circ (W^{L-1})^{T}\cdot(f^{L-1}),\circ(W^{L})^{T}\cdot(f^{L})'\circ \nabla _{a^{L}}C.}$

역전파는 기본적으로 이 식을 오른쪽에서 왼쪽으로 평가하고(등가적으로 왼쪽에서 오른쪽으로 도함수에 대한 이전 식을 곱하는 것), 도중에 각 계층에서 구배를 계산하는 것으로 구성됩니다. 가중치의 구배는 단순한 하위 표현식이 아니기 때문에 추가된 단계가 있습니다: 추가 곱셈이 있습니다..

부분 제품(오른쪽에서 왼쪽으로 곱하기)의 보조량$$ l \$display \delta$^{$l}$을 소개합니다.이것은 "$level{\displaystyle }$ l$\display style$ l$"$에서 "error"로 해석되며$,$ $level$ l\$display$ style l$"$에서 입력값의 기울기로 정의됩니다.

$\displaystyle \display ^{l}:=(f^{l}),\display(W^{l+1})^{T}\cdots\circ(W^{L-1})^{T}\cdot(f^{L-1}),\circ(W^{L})^{T}\cdot(f^{L})'\circ \nabla _{a^{L}}C.}$

$(\$^{$l})$은 $(\displaystyle$ l$)$의 노드 수와 같은 길이의 벡터입니다.각 컴포넌트는 "그 노드의 (값)에 기인하는 비용"으로 해석됩니다.

$레이어{\displaystyle }$l\$display l$의 무게의 구배는 다음과 같습니다.

$({displaystyle\displayla_{W^{l}}C=\delta^{l}(a^{l-1})^{T.}$

$({$ a$^{l-1})$의 계수는 $({displaystyle l-1})$과 레벨$$l$({$$displaystyle$ l$})$ 사이의$$ $무게{\displaystyle {}^{}}$ W$$({$displaystyle$ W$^{l})$이 입력(활성화)에 비례하여$$ $레벨{\displaystyle }$ l({$displaystyle$l})에 영향을 미치기 때문입니다.

§$$ \$displaystyle \delta$^{$l}$은 다음과 같이 재귀적으로 쉽게 계산할 수 있습니다.

$\displaystyle \l-1:=(f^{l-1}),\display(W^{l})^{T}\cdot \delta ^{l}.}$

따라서 체중의 구배는 각 수준에 대해 몇 개의 행렬 곱셈을 사용하여 계산할 수 있다. 이것은 역전파이다.

순진하게 포워드를 ${\displaystyle {계산}^{}}$하는 경우와 비교($그림$에 §$$l \$displaystyle \delta$^{$l}$ 사용$$):

$(\displaystyle\displaystyle\signed^{1}&=(f^{1}),\displaystyle(W^{2})^{T}\cdot (f^{2})'\cdots \circ (W^{L-1})^{T}\cdot(f^{L-1}),\circ(W^{L})^{T}\cdot (f^{L})'\circ \cdots _{a^{L}}C\\delta ^{2}&=(f^{2})'\cdots \cdots (W^{L-1})^{T}\cdot(f^{L-1}),\circ(W^{L})^{T}\cdot (f^{L})'\circ \cdla _{a^{L}}C\&\vdots \\circ ^{L-1}&=(f^{L-1})'\circ (W^{L}}^{T}\cdot (f^{L})'\circ \cdla _{a^{L}C\\delta ^{L}&=(f^{L})'\circ \cdla _{l}C,\end{aligned}}}}$

역전파에는 다음 두 가지 주요 차이점이 있습니다.

1. §$$${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$(\$displaystyle \delta$^{$l-1})$을 연산하면 l$$(\$displaystyle$\$delta$^{$l})$ 이후$$ $레이어$의 명백한 중복을 피할 수 있습니다.
2. ${\displaystyle {{}^{}}_{}}$를 역방향으로 전파하는 L C$(\displaystyle\nabla_{a^{L}}C)$에서 시작하는 곱셈은 각 스텝이 ${\displaystyle {}^{}}$ 벡터(\$displaystyle\delta$^{$l$에${\displaystyle }$가중치 행렬(${\displaystyle W^{}}$ ${\displaystyle l^{}{}^{}{}^{}}$ T$(\$를 곱하는 것을 의미합니다.$\{{\displaystyle }$$T}$ 및$$ 활성화의 ${\displaystyle {}^{}}$(${\displaystyle {\mathrm{f}}^{}}$l${\displaystyle {}^{}{}^{}}$- 1) ${\$ { $displaystyle$($f^{l-1$ 이와는 대조적으로, 앞의 층의 변화에서 시작하여 앞으로 곱하는 것은 각 곱셈이 행렬에 행렬을 곱하는 것을 의미합니다.이는 비용이 많이 들기 때문에 $레이어{\displaystyle }$l + $($$W$${\displaystyle l^{}}$ + $($ l + 1$$ { $display$ $style$ W^ { l +$$1})에 ${\displaystyle {W\mathrm{l}}^{}}$ + 2$($ W^ {$l$ +$2$를 곱하는 경우)로 향하는1개의 $레이어{\displaystyle }$l(\$displaystyle$ l$)$의 변경 경로를 모두 추적하고 deri를 곱하는 데 대응합니다.활성화의 변동) 체중 변화가 숨겨진 노드의 값에 어떻게 영향을 미치는지에 대한 중간 양을 불필요하게 계산한다.

인접 그래프

이 섹션은 확장해야 합니다.추가해서 도와주실 수 있습니다. (2019년 11월)

보다 일반적인 그래프 및 기타 고급 변형에 대해서는 역 전파를 자동 미분이라는 관점에서 이해할 수 있다. 여기서 역 전파는 역 누적(또는 "역 모드")^[5]의 특수한 경우이다.

직감

동기

지도 학습 알고리즘의 목적은 입력 세트를 올바른 출력에 가장 잘 매핑하는 함수를 찾는 것입니다.역전파의 동기는 입력과 ^[10]출력의 임의의 매핑을 학습할 수 있도록 적절한 내부 표현을 학습할 수 있도록 다층 신경망을 훈련시키는 것이다.

최적화 문제로서의 학습

역전파 알고리즘의 수학적 도출을 이해하기 위해, 먼저 뉴런의 실제 출력과 특정 훈련 예에 대한 정확한 출력 사이의 관계에 대한 직관을 개발하는 데 도움이 됩니다.2개의 입력 단위, 1개의 출력 단위와 숨겨진 단위가 없는 단순한 신경망을 생각해 보자.각 뉴런이 입력의 가중치 합인 선형 출력을 사용한다(입력에서 출력으로의 매핑이 ^[g]비선형인 신경망에 대한 대부분의 작업과 달리).

처음에는 훈련 전에 체중이 랜덤으로 설정됩니다.그런 다음 뉴런은 일련의 튜플$x$1, ${\displaystyle x{}_{}{2\mathrm{}}_{}}$,${\displaystyle }$t $)(x_${1}, $x_{2}, t)$로 구성됩니다.${\displaystyle {여기}_{}}$서 x 1$({$$})$ 및$$ 2({$display style$x_${2$}})는 네트워크에 대한 입력이고 t는 올바른 출력입니다(네트워크가 제공하는 출력 t).호스 입력(교육된 경우)$첫{\displaystyle {}_{}}$ 번째 네트워크(${\displaystyle {x1\mathrm{}}_{}}${ $display style x_{1}}$ 및$$ ${\displaystyle {x\mathrm{}}_{}}$2 { $displaystyle x_{2$에서는 t(임의 가중치 부여)와는 다른 출력 y가 계산됩니다.손실함수 L${\displaystyle (t}$ ,${\displaystyle y}$) {$displaystyle$ L$(t, y$)}은 목표출력 t와 연산출력 y의 불일치 측정에 사용된다.회귀 분석 문제의 경우 오차 제곱을 손실 함수로 사용할 수 있으며, 분류를 위해 범주형 교차 엔트로피를 사용할 수 있습니다.

예를 들어, 제곱 오차를 손실로 사용하는 회귀 문제를 고려하십시오.

${{displaystyle L(t,y)=(t-y)^{2}=E,}$

여기서 E는 불일치 또는 오류입니다.

네트워크를 단일 트레이닝 케이스(${\displaystyle }$( ${\displaystyle 1}$,${\displaystyle 1}$, 0 $){$ $displaystyle ( 1, 1$, 0$$) $\}$ )로 검토합니다.$따라서{\displaystyle {}_{}}$ 입력 x $({$과 x $({$는 각각 1과 1이며 올바른 출력 t는 0입니다.수평축의 네트워크 출력 y와 수직축의 오차E 사이에 관계가 플롯되어 있으면 결과는 포물선이 됩니다.포물선의 최소값은 오차 E를 최소화하는 출력 y에 해당합니다.단일 훈련의 경우 최소값은 수평축에도 해당됩니다.즉, 오차는 0이 되고 네트워크는 목표 출력 t와 정확히 일치하는 출력 y를 생성할 수 있습니다.따라서 입력을 출력에 매핑하는 문제는 최소한의 오차를 발생시키는 함수를 찾는 최적화 문제로 줄일 수 있습니다.

그러나 뉴런의 출력은 모든 입력의 가중치 합계에 따라 달라진다.

${\displaystyle y=x_{1}w_{1}+x_{2}w_{2}}$

${\displaystyle {여기}_{}}$서 w 1$({$ $및$ w$$({$displaystyle w_{2})$는 입력 장치에서 출력 장치로 연결되는 무게입니다.따라서, 오류는 또한 뉴런에 유입되는 무게에 의존하며, 이는 궁극적으로 학습을 가능하게 하기 위해 네트워크에서 변경되어야 하는 것이다.

이 예에서는 트레이닝 데이터를 주입하면 손실 함수가

${{displaystyle E=(t-y)^2}=y^{2}=(x_{1}w_{1}+x_{2}w_{2}^2}=(w_{1}+w_{2})^2}}$

${\displaystyle {그런\mathrm{}}_{}}$ 다음 손실 $함수{\displaystyle }$E({$displaystyle$ E$})$는 포물선 원통의 형태를 취하며 베이스는 ${\displaystyle {w\mathrm{}}_{}}$ 1 ${\displaystyle =}$ w$$({$displaystyle w_{1$}=-$w_{$2$\}\})$를 따릅니다. 따라서 w $=$w ${\displaystyle {2\mathrm{}}_{}}$({$displaystyle w_${1}=-$w_{$2$$}})를 충족하는 모든 무게 세트가 손실 함수를 최소화해야 하므로, 이 추가 제약 조건이 충족해야 합니다.고유한 솔루션으로 수렴할 수 있습니다.가중치에 특정 조건을 설정하거나 추가 훈련 데이터를 주입하여 추가 제약 조건을 생성할 수 있다.

오류를 최소화하는 가중치 집합을 찾기 위해 일반적으로 사용되는 알고리즘 중 하나는 경사 강하이다.역전파를 통해 가장 가파른 하강 방향은 손실 함수 대 현재 시냅스 가중치로 계산된다.그런 다음, 가장 가파른 하강 방향을 따라 무게를 수정할 수 있으며, 오차는 효율적인 방법으로 최소화된다.

파생

경사 강하법은 네트워크의 가중치에 관한 손실 함수의 도함수를 계산하는 것을 포함한다.이것은 보통 역전파를 사용하여 이루어집니다.하나의 출력 ^[h]뉴런을 가정할 때, 제곱 오차 함수는 다음과 같습니다.

${\displaystyle E=L(t,y)}$

어디에

${\displaystyle L}${\$displaystyle$ L$}$은 출력$$$$y {\$displaystyle$ y$}$ 및$$ $목표값{\displaystyle }$t {\$displaystyle$ t$\}$의 손실입니다.

$\displaystyle$t는$$ 트레이닝 샘플의 타깃 출력입니다.

$\displaystyle$y는$$ 출력 뉴런의 실제 출력입니다.

각 $뉴런{\displaystyle }$ j$\displaystyle$j에 대해 $출력{\displaystyle {}_{}}$$$$\$는 다음과 같이 정의됩니다.

$({displaystyle o_{j}=\varphi({text{net}_{j}=\varphi\left(\sum_{k=1}^{n}w_{kj}o_{k}\right)})})$

여기서 활성화 함수$\delta {\displaystyle }$(\$displaystyle \varphi)$는 비선형이며 구별 가능합니다(ReLU가 한 지점에 없는 경우에도).이전에 사용된 활성화 함수는 로지스틱 함수입니다.

$(\displaystyle \varphi (z)=sublicfrac {1}{1+e^{-z}}}})$

다음과 같은 편리한 파생어가 있습니다.

$\displaystyle {d\varphi(z)}{dz}=\varphi(z)(1-\varphi(z))}$

뉴런에 대한 ${\displaystyle {\text{입력}}_{}}$ ${\displaystyle {}_{}}$ j$(\displaystyle\text{net}$_$${j})는 이전 뉴런의 $출력{\displaystyle {}_{}}$ ${\displaystyle o_{}}$k(\$displaystyle o_{k})$의 가중치 합계입니다.뉴런이 입력 레이어 뒤의 첫 번째 레이어에 있는 경우 입력 레이어의 ${\displaystyle o_{}}$ k$(\$})는 네트워크에 대한 $입력{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ k$(\$})일$$ 뿐입니다.뉴런의 입력 단위 수는 $\displaystyle$n입니다$.$${\displaystyle {변수}_{}}$ w ${\displaystyle k_{}}$j(\$displaystyle w_{kj})$는 이전 $레이어$의 뉴런$$k(\$displaystyle$ k$)$와 현재 레이어의 $뉴런{\displaystyle }$j(\$displaystyle$ j$)$ 사이의 무게를$$ 나타냅니다.

오류의 도함수 찾기

$무게$에 대한$$오차의 부분 도함수 계산은 체인 규칙을 사용하여 두 번 수행합니다$.$

$(*displaystyle {\frac E} {\partial w_{ij}} = partial o_{j} = partial o_{j} {\frac {\frac o_{j} {\frac } {\frac o_{j} {\frac } {\frac } {\frac o_{{{{{\frac}} {\frac} {\partial o_j} {\frac} {\frac} {\f} {\f} {\f$

(제1호)

위의 오른쪽 마지막 요소에서는 ${\displaystyle {\text{sum}}_{}}$ ${\displaystyle {}_{}}$ j$(\$에서 ${\displaystyle {\mathrm{wi}}_{}}$ j$(\$에 의존하는 용어는 1개뿐입니다.

${\displaystyle {\frac {text{net}_{j}}=paramfrac {\param w_{ij}}\left(\sum _ {k=1}^{n}w_{k}o_{k}\오른쪽)=paramfrac {\frac}{n}{i}{i}}$

(제2호)

뉴런이 입력 레이어 뒤의 첫 번째 레이어에 있는 경우 ${\displaystyle o_{}}${\$displaystyle o_{i$}}는 $(\$입니다.

입력에 대한 $뉴런{\displaystyle }$ j$\displaystyle$j 출력의$$ 도함수는 단순히 활성화 함수의 부분 도함수이다.

$\displaystyle {\frac o_{j} {\text{net}_{j}} = parfrac {\text{net}_{j}} {\frac {\text{net}}_{j}}}$

(제3호)

로지스틱 활성화 기능 케이스는 다음과 같습니다.

$({displaystyle {\frac o_{j}}{\text{net}_{j}}=\varphi(\text{net}={j}(1-\varphi{text{net}}}_{j})})=o_{j}(1-o_{j})$

역전파에는 활성화 기능이 차별화되어야 하는 이유가 여기에 있습니다.(단, AlexNet 등에서는 0으로 구분할 수 없는 ReLU 활성화 기능이 매우 보급되어 있습니다.)

$첫{\displaystyle {}_{}}$ 번째 인자는 ${\displaystyle o_{}}$ j $=$ (\$displaystyle o_{j}=$y$$})이기 때문에 뉴런이 출력층에 있는지 평가하는 것은 간단하다.

$(\displaystyle {\frac E} {\partial o_{j}} = partial frac {\frac E} {\partial y} )$

(제4호)

제곱 오차의 절반을 손실 함수로 사용하면 다음과 같이 다시 쓸 수 있습니다.

${\displaystyle {\frac E}{\partial o_{j}=partial frac {\frac }{\frac {1}{{j}}{\frac {1}{y}=y-t}$

단$,$ j(\$displaystyle$j)가$$ 네트워크의 임의의 내부 레이어에 $있는{\displaystyle }$ $o$(\$displaystyle$o_{j})에 대한 $파생{\displaystyle }$ E$(\displaystyle$ E$)$를 찾는 것은 그다지 명확하지 않습니다.

E$(\displaystyle$ E$)$를 모든 $뉴런{\displaystyle }$ L $=$ {${\displaystyle u}$ ,${\displaystyle v}$ , ${\displaystyle ...}$ , w$$}(\$displaystyle$ L=\{$u$, $v$, \$dots$, $w\})$의 함수로 $간주$하여 $뉴런{\displaystyle }$j(\$displaystyle$ j$)$로부터 입력을 받습니다.

${\displaystyle {\frac E(o_{j}} {\partial o_{j}} = frac E(\mathrm {net} _ {u} , \text {net} ) _{v} , \frac, \mathrm {net} _{w} } } }$

${\displaystyle o_{}}$j {\$displaystyle o_{j$에 대한 전체 도함수를 취하면 도함수에 대한 재귀 식을 얻을 수 있다.

${\displaystyle {\frac E}{\partial o_{j}=\sum _{\frac \in L}\left {\frac {\text {net}_{\ell }}{\frac {\text }}_{\ell }{\frac o_j}}{\sum}{\sum}}{\sum o_{j}}=\sum _{\ell \in L}\left({\frac {\partial o_{\ell }}{\frac {\frac o_{\ell }}{\frac {\text {net}}_{\ell }}_{\fl }\w\light}$

(제5호)

Therefore, the derivative with respect to ${\displaystyle o_{j}}$ can be calculated if all the derivatives with respect to the outputs ${\displaystyle o_{\ell }}$ of the next layer – the ones closer to the output neuron – are known.($주{\displaystyle }$: 집합$L$의 뉴런$$ 중 하나라도 $뉴런{\displaystyle }$j({$displaystyle$$$j$\})$에 연결되어 있지 않은 경우, ${\displaystyle {\mathrm{이들}}_{}}$은$wij$({$displaystyle w_{$ij$$})와는 독립적이며, 합계에서 대응하는 편도함수는 0으로 사라집니다.)

Eq.1의 Eq.2, Eq.3 Eq.4 및 Eq.5를 대체하면 다음을 얻을 수 있다.

${\displaystyle {\frac E} {\partial w_{ij} = partial o_{j} {\frac o_{j} {\frac } {\frac {\text{net}_{j}} {\frac {\text} {\} {\frac} {\frac} {\frac} {\frac} {\frac} {\text} {\frac} {{{{{net} {\frac} {\frac} {\fr} {{{{{{$

$({displaystyle {frac E}{\partial w_ij}}=o_{i}\partial _{j})$

와 함께

$\displaystyle _{j}=partial frac {\partial o_{j}}{\frac {text {net}_{j}}=partial {j}{\frac L(o_{j},t)}{\frac {partial o_{j}{phi}{\frac}{\frac}{partial }{phi}}{d{\text{net}_{j}}&{\text{if}}}j{\text{\ell\in L}w_{j\ell}}{\delta_{\ell}}{\frac {d\varphi{\text{net}_{j}}}}}}\\\text{\}}}}}}}{\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\}{dhtext{net}_{j}}&{\text{if}}jhtext{는 내부 뉴런입니다.}}\end {case}}$

$function{\displaystyle }$ \ $displaystyle$\ $varphi$}가 로지스틱$$ 함수이고 오류가 제곱 오류인 경우:

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

To update the weight ${\displaystyle w_{ij}}$ using gradient descent, one must choose a learning rate, ${\displaystyle \eta >0}$. The change in weight needs to reflect the impact on ${\displaystyle E}$ of an increase or decrease in ${\displaystyle w_{ij}}$. If ${\displaystyle {\frac {\partial E}{\partial w_{ij}}}>0}$, an increase in ${\displaystyle w_{ij}}$ increases ${\displaystyle E}$; conversely, if ${\displaystyle {\frac {\partial E}{\partial w_{ij}}}<0}$, an increase in ${\displaystyle w_{ij}}$ decreases ${\displaystyle E}$. The new ${\displaystyle \Delta w_{ij}}$ is added to the old weight, and the product of the learning rate and the gradient, multiplied by ${\displaystyle -1}$ guarantees that ${\displaystyle w_{ij}}$ changes in a way that always decreases ${\displaystyle E}$. In other words, in the equation immediately below, ${\displaystyle -\eta {\frac {\partial E}{\partial w_{ij}}}}$ always changes ${\displaystyle w_{ij}}$ in such a way that ${\displaystyle E}$ is decreased:

${\displaystyle \Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}}$

Second-order gradient descent

Using a Hessian matrix of second-order derivatives of the error function, the Levenberg-Marquardt algorithm often converges faster than first-order gradient descent, especially when the topology of the error function is complicated.^[11][12] It may also find solutions in smaller node counts for which other methods might not converge.^[12] The Hessian can be approximated by the Fisher information matrix.^[13]

Loss function

The loss function is a function that maps values of one or more variables onto a real number intuitively representing some "cost" associated with those values. For backpropagation, the loss function calculates the difference between the network output and its expected output, after a training example has propagated through the network.

Assumptions

The mathematical expression of the loss function must fulfill two conditions in order for it to be possibly used in backpropagation.^[14] The first is that it can be written as an average ${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$ over error functions ${\textstyle E_{x}}$, for ${\textstyle n}$ individual training examples, ${\textstyle x}$. The reason for this assumption is that the backpropagation algorithm calculates the gradient of the error function for a single training example, which needs to be generalized to the overall error function. The second assumption is that it can be written as a function of the outputs from the neural network.

Example loss function

Let ${\displaystyle y,y'}$ be vectors in ${\displaystyle \mathbb {R} ^{n}}$.

Select an error function ${\displaystyle E(y,y')}$ measuring the difference between two outputs. The standard choice is the square of the Euclidean distance between the vectors ${\displaystyle y}$ and ${\displaystyle y'}$:

The error function over ${\textstyle n}$ training examples can then be written as an average of losses over individual examples:

Limitations

• Gradient descent with backpropagation is not guaranteed to find the global minimum of the error function, but only a local minimum; also, it has trouble crossing plateaus in the error function landscape. This issue, caused by the non-convexity of error functions in neural networks, was long thought to be a major drawback, but Yann LeCun et al. argue that in many practical problems, it is not.^[15]
• Backpropagation learning does not require normalization of input vectors; however, normalization could improve performance.^[16]
• Backpropagation requires the derivatives of activation functions to be known at network design time.

History

The term backpropagation and its general use in neural networks was announced in Rumelhart, Hinton & Williams (1986a), then elaborated and popularized in Rumelhart, Hinton & Williams (1986b), but the technique was independently rediscovered many times, and had many predecessors dating to the 1960s.^[6][17]

The basics of continuous backpropagation were derived in the context of control theory by Henry J. Kelley in 1960,^[18] and by Arthur E. Bryson in 1961.^{[19][20][21][22][23]} They used principles of dynamic programming. In 1962, Stuart Dreyfus published a simpler derivation based only on the chain rule.^[24] Bryson and Ho described it as a multi-stage dynamic system optimization method in 1969.^[25][26] Backpropagation was derived by multiple researchers in the early 60's^[22] and implemented to run on computers as early as 1970 by Seppo Linnainmaa.^[27][28][29] Paul Werbos was first in the US to propose that it could be used for neural nets after analyzing it in depth in his 1974 dissertation.^[30] While not applied to neural networks, in 1970 Linnainmaa published the general method for automatic differentiation (AD).^[28][29] Although very controversial, some scientists believe this was actually the first step toward developing a back-propagation algorithm.^{[22][23][27][31]} In 1973 Dreyfus adapts parameters of controllers in proportion to error gradients.^[32] In 1974 Werbos mentioned the possibility of applying this principle to artificial neural networks,^[30] and in 1982 he applied Linnainmaa's AD method to non-linear functions.^[23][33]

Later the Werbos method was rediscovered and described in 1985 by Parker,^[34][35] and in 1986 by Rumelhart, Hinton and Williams.^[17][35][36] Rumelhart, Hinton and Williams showed experimentally that this method can generate useful internal representations of incoming data in hidden layers of neural networks.^[10][37][38] Yann LeCun proposed the modern form of the back-propagation learning algorithm for neural networks in his PhD thesis in 1987. In 1993, Eric Wan won an international pattern recognition contest through backpropagation.^[22][39]

During the 2000s it fell out of favour^{[citation needed]}, but returned in the 2010s, benefitting from cheap, powerful GPU-based computing systems. This has been especially so in speech recognition, machine vision, natural language processing, and language structure learning research (in which it has been used to explain a variety of phenomena related to first^[40] and second language learning.^[41]).

Error backpropagation has been suggested to explain human brain ERP components like the N400 and P600.^[42]

See also

• Artificial neural network
• Biological neural network
• Catastrophic interference
• Ensemble learning
• AdaBoost
• Overfitting
• Neural backpropagation
• Backpropagation through time

Notes

References

Further reading

• Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). "6.5 Back-Propagation and Other Differentiation Algorithms". Deep Learning. MIT Press. pp. 200–220. ISBN 9780262035613.
• Nielsen, Michael A. (2015). "How the backpropagation algorithm works". Neural Networks and Deep Learning. Determination Press.
• McCaffrey, James (October 2012). "Neural Network Back-Propagation for Programmers". MSDN Magazine.
• Rojas, Raúl (1996). "The Backpropagation Algorithm" (PDF). Neural Networks : A Systematic Introduction. Berlin: Springer. ISBN 3-540-60505-3.

External links

• Backpropagation neural network tutorial at the Wikiversity
• Bernacki, Mariusz; Włodarczyk, Przemysław (2004). "Principles of training multi-layer neural network using backpropagation".
• Karpathy, Andrej (2016). "Lecture 4: Backpropagation, Neural Networks 1". CS231n. Stanford University. Archived from the original on 2021-12-12 – via YouTube.
• "What is Backpropagation Really Doing?". 3Blue1Brown. November 3, 2017. Archived from the original on 2021-12-12 – via YouTube.