절전-절전 알고리즘

Wake-sleep algorithm
신경망의 층.R, G는 각 층 내의 데이터를 수정하기 위해 Wake-sleep 알고리즘에 의해 사용되는 가중치다.

절전-절전 알고리즘은[1] 확률적 다층[clarification needed] 신경 네트워크를 위한 무감독 학습 알고리즘이다.알고리즘은 양호한 밀도 추정기를 생성하도록 매개변수를 조정한다.[2]두 가지 학습 단계가 있는데, 두 가지 학습 단계가 있는데, 두 단계는 "깨는" 단계와 "수면" 단계로 번갈아 수행된다.[3]그것은 처음에는 다양한 베이지안 학습을 이용하여 뇌 기능을 위한 모델로 고안되었다.그 후, 알고리즘은 머신러닝에 맞게 조정되었다.헬름홀츠 기계를 훈련시키는 방법으로 볼 수 있다.[4][5]그것은 또한 DBN(Deep Velief Networks)에서도 사용될 수 있다.null

설명

Wake-sleep 알고리즘은 데이터 표현을 포함하는 레이어 스택으로 시각화된다.[6]위의 계층은 그 아래 계층의 데이터를 나타낸다.실제 데이터는 맨 아래 층 아래에 위치하여 그 위에 있는 층들이 점차 추상화되도록 한다.각 계층 쌍 사이에는 알고리즘 런타임 동안 신뢰성을 향상시키기 위해 훈련된 인식 중량과 생성 중량이 있다.[7]null

웨이크-슬립 알고리즘은 수렴성이며[8] 적절히 교대하면 확률적일[9] 수 있다.null

트레이닝

훈련은 "깨는" 단계와 "수면" 단계라는 두 단계로 구성된다.null

"웨이크" 단계

뉴런은 인식 연결에 의해 발사된다.그런 다음 생성적 연결(출력에서 입력으로 이어지는 연결)을 수정하여 아래 계층에서 올바른 활동을 재현할 확률을 높인다. – 감각 입력의 실제 데이터에 더 가깝게.[10]null

"수면" 단계

이 과정은 "수면" 단계에서 역전된다. 즉, 뉴런은 생성적 연결에 의해 발사되는 반면, 인식 연결은 위의 계층에서 올바른 활동을 재현할 확률을 증가시키기 위해 수정되고 있다. 즉, 감각 입력의 실제 데이터로 더 나아가야 한다.[11]null

잠재적 위험

가변 베이지안 학습은 확률에 기초한다.근사치가 실수로 수행되어 추가 데이터 표현을 손상시킬 가능성이 있다.또 다른 단점은 복잡하거나 손상된 데이터 샘플과 관련이 있어 표현 패턴을 유추하기 어렵다.null

잠자기 알고리즘은 잠재 변수의 후방 분포에 대한 좋은 추정기를 복구하기 위해 추론 네트워크의 층에 대해 충분히 강력하지 않다고 제안되었다.[12]null

참고 항목

참조

  1. ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (1995-05-26). "The wake-sleep algorithm for unsupervised neural networks". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. S2CID 871473.
  2. ^ Frey, Brendan J.; Hinton, Geoffrey E.; Dayan, Peter (1996-05-01). "Does the wake-sleep algorithm produce good density estimators?" (PDF). Advances in Neural Information Processing Systems.
  3. ^ Katayama, Katsuki; Ando, Masataka; Horiguchi, Tsuyoshi (2004-04-01). "Models of MT and MST areas using wake–sleep algorithm". Neural Networks. 17 (3): 339–351. doi:10.1016/j.neunet.2003.07.004. PMID 15037352.
  4. ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (1995-05-26). "The wake-sleep algorithm for unsupervised neural networks". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. S2CID 871473.
  5. ^ Dayan, Peter; Hinton, Geoffrey E. (1996-11-01). "Varieties of Helmholtz Machine". Neural Networks. Four Major Hypotheses in Neuroscience. 9 (8): 1385–1403. CiteSeerX 10.1.1.29.1677. doi:10.1016/S0893-6080(96)00009-3. PMID 12662541.
  6. ^ Maei, Hamid Reza (2007-01-25). "Wake-sleep algorithm for representational learning". University of Montreal. Retrieved 2011-11-01.
  7. ^ Neal, Radford M.; Dayan, Peter (1996-11-24). "Factor Analysis Using Delta Rules Wake-Sleep Learning" (PDF). University of Toronto. Retrieved 2015-11-01.
  8. ^ Ikeda, Shiro; Amari, Shun-ichi; Nakahara, Hiroyuki. "Convergence of The Wake-Sleep Algorithm" (PDF). The Institute of Statistical Mathematics. Retrieved 2015-11-01.
  9. ^ Dalzell, R.W.H.; Murray, A.F. (1999-01-01). "A framework for a discrete valued Helmholtz machine". 9th International Conference on Artificial Neural Networks: ICANN '99. Vol. 1. pp. 49–54 vol.1. doi:10.1049/cp:19991083. ISBN 0-85296-721-7.
  10. ^ Hinton, Geoffrey; Dayan, Peter; Frey, Brendan J; Neal, Radford M (1995-04-03). "The wake-sleep algorithm for unsupervised neural networks" (PDF). PMID 7761831. Retrieved 2015-11-01. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  11. ^ Dayan, Peter. "Helmholtz Machines and Wake-Sleep Learning" (PDF). Retrieved 2015-11-01.
  12. ^ Bornschein, Jörg; Bengio, Yoshua (2014-06-10). "Reweighted Wake-Sleep". arXiv:1406.2751 [cs.LG].