신경 튜링 기계

Neural Turing machine
튜링 기계
기계.
변종
과학

뉴럴 튜링 머신(NTM)은 튜링 머신의 반복적인 뉴럴 네트워크 모델입니다.이 접근법은 2014년에 [1]Alex Graves 등에 의해 발표되었다.NTM은 뉴럴 네트워크의 퍼지 패턴 매칭 기능과 프로그래밍 가능한 컴퓨터의 알고리즘 파워를 결합합니다.NTM에는 외부 메모리 자원에 결합된 뉴럴 네트워크 컨트롤러가 있으며, 이 컨트롤러는 주의 메커니즘을 통해 상호 작용합니다.메모리 상호작용은 엔드 투 엔드로 구별 가능하며, 구배 [2]강하를 사용하여 최적화할 수 있습니다.Long Short-Term Memory(LSTM; 롱단기메모리) 네트워크 컨트롤러를 탑재한 NTM은 복사, 정렬, 관련 호출 등의 간단한 알고리즘을 예만으로 [1]추론할 수 있습니다.

원본 NTM 논문의 저자는 소스 [1]코드를 공개하지 않았습니다.2018년 제27회 인공신경망 국제회의(International Conference on Infitial Neural Networks)에서 처음으로 안정적인 오픈소스 구현이 발표되어 최우수 논문상을 받았습니다.[3][4][5] NTM의 다른 오픈 소스 구현이 존재하지만, 2018년 현재 운영 [6][7][8][9][10][11][12]용도로는 충분히 안정적이지 않다.개발자는 구현의 구배가 때때로 훈련 중에 알 수 없는 이유로 인해 NaN이 되어 훈련이 [10][11][9]실패하는 경우가 있다고 보고하거나,[7][6] 느린 수렴을 보고하거나,[12][8] 또는 구현의 학습 속도를 보고하지 않는다.

차별화 가능한 신경 컴퓨터는 신경 튜링 기계에서 나온 것으로, 기억의 활성 위치를 제어하고 [13]성능을 향상시키는 주의 메커니즘을 가지고 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b c Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Neural Turing Machines". arXiv:1410.5401 [cs.NE].
  2. ^ "Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu". Retrieved May 17, 2016.
  3. ^ Collier, Mark; Beel, Joeran (2018), "Implementing Neural Turing Machines", Artificial Neural Networks and Machine Learning – ICANN 2018, Springer International Publishing, pp. 94–104, arXiv:1807.08518, Bibcode:2018arXiv180708518C, doi:10.1007/978-3-030-01424-7_10, ISBN 9783030014230, S2CID 49908746
  4. ^ "MarkPKCollier/NeuralTuringMachine". GitHub. Retrieved 2018-10-20.
  5. ^ Beel, Joeran (2018-10-20). "Best-Paper Award for our Publication "Implementing Neural Turing Machines" at the 27th International Conference on Artificial Neural Networks Prof. Joeran Beel (TCD Dublin)". Trinity College Dublin, School of Computer Science and Statistics Blog. Retrieved 2018-10-20.
  6. ^ a b "snowkylin/ntm". GitHub. Retrieved 2018-10-20.
  7. ^ a b "chiggum/Neural-Turing-Machines". GitHub. Retrieved 2018-10-20.
  8. ^ a b "yeoedward/Neural-Turing-Machine". GitHub. 2017-09-13. Retrieved 2018-10-20.
  9. ^ a b "camigord/Neural-Turing-Machine". GitHub. Retrieved 2018-10-20.
  10. ^ a b "carpedm20/NTM-tensorflow". GitHub. Retrieved 2018-10-20.
  11. ^ a b "snipsco/ntm-lasagne". GitHub. Retrieved 2018-10-20.
  12. ^ a b "loudinthecloud/pytorch-ntm". GitHub. Retrieved 2018-10-20.
  13. ^ Administrator. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.