기계학습 연표

Timeline of machine learning

이 페이지는 기계 학습의 연대표입니다.주요 발견, 성과, 이정표 및 기타 주요 이벤트가 포함됩니다.

개요

10년 요약
1950년대 통계적 방법이 발견되고 개선된다.
1950년대 기계학습 연구의 선구자는 간단한 알고리즘을 사용하여 이루어집니다.
1960년대 기계 [1]학습에서 확률론적 추론을 위해 베이지안 방법이 도입되었다.
1970년대 기계학습 효과에 대한 비관론이 불러온 'AI 윈터'다.
1980년대 역전파의 재발견은 머신러닝 연구의 부활을 가져온다.
1990년대 기계 학습 작업은 지식 중심 접근 방식에서 데이터 중심 접근 방식으로 전환됩니다.과학자들은 컴퓨터가 대량의 데이터를 분석하고 그 [2]결과로부터 결론을 도출하는 프로그램('학습')Support-Vector Machine(SVM)과 RNN(Recurrent Neural Network)이 인기를 끌고 있다.[3]뉴럴 네트워크와 슈퍼튜어링 연산을 통한 계산 복잡화 분야가 시작되었다.[4]
2000년대 Support-Vector Clustering[5] 및 기타 커널[6] 방법 및 비지도 기계 학습 방법이 널리 [7]보급됩니다.
2010년대 딥 러닝은 실현 가능해져 머신 러닝은 널리 사용되는 많은 소프트웨어 서비스 및 애플리케이션에 필수적입니다.

타임라인

연도 이벤트 유형 캡션 이벤트
1763 검출 베이즈 정리의 기초 토마스 베이스의 작품 "기회론 문제 해결을 위한 에세이"는 베이스의 친구인 리처드 [8]프라이스에 의해 수정 편집되어 그가 죽은 지 2년 후에 출판되었습니다.그 에세이는 베이즈 정리를 뒷받침하는 작품을 제시한다.
1805 검출 최소 제곱 Adrien-Marie Legendre는 영어로 최소 제곱법으로 [9]알려진 "Méthode des moindres carés"를 묘사합니다.최소 제곱법은 데이터 적합에 널리 사용됩니다.
1812 베이즈 정리 Pierre-Simon Laplace는 Théori Analytique des Probabilités를 출판하고, 이 책에서 그는 Bayes의 작품을 확장하여 현재 Bayes의 [10]정리로 알려진 것을 정의한다.
1913 검출 마르코프 연쇄 안드레이 마르코프 씨는 먼저 시를 분석하는 데 사용한 기술을 기술합니다.그 기술들은 나중에 마르코프 [11]연쇄로 알려지게 되었다.
1943 검출 인공 뉴런 Warren McCulloch와 Walter Pitts는 [12]최초의 신경 모델로 여겨지는 인공 뉴런인 생물학적 뉴런의 기능을 모방한 수학적 모델을 개발했습니다.
1950 튜링 학습기 앨런 튜링은 학습할 수 있고 인공적으로 지능이 될 수 있는 '학습 기계'를 제안한다.튜링의 구체적인 제안은 유전 알고리즘을 [13]예시한다.
1951 최초의 뉴럴 네트워크 머신 Marvin Minsky와 Dean Edmonds는 학습이 가능한 최초의 뉴럴 네트워크 기계인 SNARC를 [14]개발했습니다.
1952 체커를 재생하는 기계 Arthur Samuel은 IBM의 Pougkeepsie Laboratory에 입사하여 최초의 기계 학습 프로그램 중 몇 가지를 연구하기 시작했습니다.처음에는 [15]체커 게임을 하는 프로그램을 개발했습니다.
1957 검출 퍼셉트론 프랭크 로젠블랫은 코넬 항공 연구소에서 일하는 동안 [16]퍼셉트론을 발명했다.퍼셉트론의 발명은 큰 흥분을 불러일으켰고 [17]언론에 널리 다뤄졌다.
1963 성취 Tic-Tac-Toe를 재생하는 기계 Donald Michie는 304개의 성냥 상자와 비즈로 구성된 '머신'을 만들며, 강화 학습을 통해 틱택토(nots and [18]cross라고도 함)를 플레이합니다.
1967 가장 가까운 네이버 가장 가까운 네이버알고리즘이생성되었습니다.이것은 기본 패턴 인식의 시작입니다.이 알고리즘은 [2]루트 매핑에 사용되었습니다.
1969 뉴럴 네트워크의 한계 마빈 민스키와 시모어 파퍼트는 퍼셉트론과 뉴럴 네트워크의 몇 가지 한계를 설명하는 그들의 책 퍼셉트론을 출판한다.뉴럴네트워크가 근본적으로 제한적이라는 해석은 뉴럴네트워크 [19][20]연구에 걸림돌로 작용한다.
1970 자동 차별화(역전파) Seppo Linnainmaa는 중첩된 미분 가능 [21][22]함수의 이산 연결된 네트워크의 자동 미분(AD)을 위한 일반적인 방법을 발표한다.이는 현대판 역전파에 해당하지만 아직 [23][24][25][26]역전파로 명명되지 않았습니다.
1979 스탠포드 카트 스탠포드 대학의 학생들은 [2]방 안의 장애물을 탐색하고 피할 수 있는 카트를 개발한다.
1979 검출 네오인지트론 후쿠시마 쿠니히코씨는 우선 인공신경망의 일종인 [27][28]신인지트론에 관한 연구를 발표한다.신지각은 나중에 CNN([29]convolutional neural network)에 영감을 준다.
1981 설명 기반 학습 Gerald Dejong은 컴퓨터 알고리즘이 데이터를 분석하고 중요하지 않은 데이터를 [2]따르고 폐기할 수 있는 일반적인 규칙을 만드는 설명 기반 학습을 도입했습니다.
1982 검출 반복 신경망 John Hopfield는 Hopfield 네트워크를 대중화합니다.이것은 콘텐츠 주소 [30]지정 가능한 메모리 시스템으로서 기능할 수 있는 순환 신경망의 일종입니다.
1985 넷토크 Terry Sejnowski가 [2]개발한 아기처럼 단어를 발음하는 프로그램입니다.
1986 어플 역전파 Seppo Linnainma의 역자동 분화 모드(Paul Werbos에 의해 신경 네트워크에 처음 적용됨)는 내부 [31]표현을 배우기 위해 David Rumelhart, Geoff Hinton 및 Ronald J. Williams의 실험에 사용됩니다.
1989 검출 강화 학습 Christopher Watkins는 Q-learning을 개발하여 강화 [32]학습의 실용성과 실현 가능성을 크게 향상시킵니다.
1989 상용화 PC 머신러닝의 상용화 Axcelis, Inc.는 PC에서의 [33]유전자 알고리즘 사용을 상용화하는 최초의 소프트웨어 패키지인 Evolver를 출시한다.
1992 성취 백개먼을 재생하는 기계 Gerald Tesauro는 TD-Gammon 프로그램을 개발했습니다.TD는 시간차이 학습을 사용하여 훈련된 인공 신경망을 사용하는 컴퓨터 백개먼 프로그램입니다.TD-Gammon은 최고의 인간 백개먼 [34]선수들의 능력에 필적할 수는 있지만 지속적으로 이를 능가하지는 못합니다.
1995 검출 랜덤 포레스트 알고리즘 Tin Kam Ho는 무작위 의사결정 [35]숲에 대한 논문을 발표합니다.
1995 검출 Support-Vector 머신 Corinna Cortes와 Vapnik은 서포트 벡터 [36][37]머신에 관한 연구를 발표합니다.
1997 성취 IBM, Deep Blue가 Kasparov를 제치다 IBM의 딥 블루가 체스 [2]세계 챔피언을 제쳤다.
1997 검출 LSTM Sepp Hochreiter와 Jurgen Schmidhuber는 LSTM(장기 단기 기억) 반복 신경망을 [38]발명하여 반복 신경망의 효율성과 실용성을 크게 향상시켰습니다.
1998 MNIST 데이터베이스 Yann Le Kun이 이끄는 팀이 MNIST 데이터베이스를 공개합니다.MNIST는 미국 인구조사국 직원과 미국 고등학생의 [39]손으로 쓴 숫자가 혼합된 데이터 세트입니다.그 후 MNIST 데이터베이스는 필기 인식을 평가하는 기준이 되었습니다.
2002 횃불 기계 학습 라이브러리 기계 학습을 위한 소프트웨어 라이브러리인 Torch가 먼저 [40]출시된다.
2006 넷플릭스상 Netflix Prize 대회는 Netflix에 의해 시작되었습니다.경쟁사의 목적은 이전 영화에 대한 사용자의 시청률을 고려할 때 Netflix의 자체 추천 소프트웨어의 시청률 예측 정확성을 10% [41]이상 능가하는 것이었습니다.이 상은 2009년에 수상했다.
2009 성취 ImageNet(이미지넷) ImageNet이 생성됩니다.ImageNet은 스탠포드 대학의 Fei-Fei Li가 구상한 대규모 비주얼 데이터베이스입니다.그는 데이터가 [42]실제 세계를 반영하지 않으면 최고의 머신 러닝 알고리즘이 제대로 작동하지 않는다는 것을 깨달았습니다.많은 이들에게 이미지넷은 21세기 AI[43] 붐의 촉매제였다.
2010 카글 경쟁사 머신러닝 대회의 플랫폼으로서 기능하는 사이트 「카글」을 [44]개시합니다.
2011 성취 위험한 상황에서 인간을 이기는 것 기계 학습, 자연어 처리 및 정보 검색 기술의 조합을 통해 IBM의 Watson은 Jeopardy![45] 대회에서 두 명의 인간 챔피언을 물리쳤습니다.
2012 성취 YouTube에서 고양이를 알아보다 Andrew Ng와 Jeff Dean이 이끄는 Google Brain 팀은 YouTube [46][47]동영상 프레임에서 가져온 레이블 없는 이미지를 보고 고양이를 인식하는 방법을 배우는 신경 네트워크를 만든다.
2014 얼굴 인식의 비약 페이스북 연구원들은 97.35%의 정확도로 얼굴을 식별하는 신경망을 사용하는 시스템인 DeepFace에 그들의 연구 결과를 발표한다.그 결과 이전 시스템보다 27% 이상 개선되었으며 인간의 [48]성과와 맞먹습니다.
2014 시빌 구글의 연구원들은 구글이 내부적으로 사용자 행동에 대한 예측을 [50]하고 추천을 제공하기 위해 사용하는 대규모 병렬 기계 학습을 위한 독점 플랫폼인 Sibyl에 [49]대한 그들의 작업을 상세히 설명한다.
2016 성취 바둑에서 인간을 물리치다 구글의 알파고 프로그램은 기계 학습과 나무 검색 [52]기술을 조합하여 장애인을 이긴[51] 최초의 컴퓨터 바둑 프로그램이 되었다.이후 알파고 제로(AlphaGo Zero)로 개선되고 2017년에는 체스와 알파제로 2인용 게임으로 일반화됐다.
2018 성취 단백질 구조 예측 알파폴드 1(2018)은 2018년 [53]12월 제13회 단백질구조예측기술 임계평가(CASP) 종합 순위에서 1위를 차지했다.
2021 성취 단백질 구조 예측 알파폴드2(2021년)를 사용한 팀은 2020년 11월 CASP 대회에 다시 출전했다.그 팀은 다른 어떤 그룹보다 훨씬 높은 정확도를 달성했다.CASP의 GDT([54]Global Distance Test)에서 약 3분의 2의 단백질에 대해 90을 웃돌았다.GDT는 컴퓨터 프로그램 예측 구조가 실험실에서 결정된 구조와 유사한 정도를 측정하는 테스트로 GDT 계산에 사용된 거리 컷오프 내에서 100이 완전히 일치한다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Solomonoff, R.J. (June 1964). "A formal theory of inductive inference. Part II". Information and Control. 7 (2): 224–254. doi:10.1016/S0019-9958(64)90131-7.
  2. ^ a b c d e f Marr, Bernard (19 February 2016). "A Short History of Machine Learning -- Every Manager Should Read". Forbes.
  3. ^ Siegelmann, H.T.; Sontag, E.D. (February 1995). "On the Computational Power of Neural Nets". Journal of Computer and System Sciences. 50 (1): 132–150. doi:10.1006/jcss.1995.1013.
  4. ^ Siegelmann, Hava (1995). "Computation Beyond the Turing Limit". Journal of Computer and System Sciences. 238 (28): 632–637. Bibcode:1995Sci...268..545S. doi:10.1126/science.268.5210.545. PMID 17756722. S2CID 17495161.
  5. ^ Ben-Hur, Asa; Horn, David; Siegelmann, Hava; Vapnik, Vladimir (2001). "Support vector clustering". Journal of Machine Learning Research. 2: 51–86.
  6. ^ Hofmann, Thomas; Schölkopf, Bernhard; Smola, Alexander J. (2008). "Kernel methods in machine learning". The Annals of Statistics. 36 (3): 1171–1220. arXiv:math/0701907. doi:10.1214/009053607000000677. JSTOR 25464664.
  7. ^ Bennett, James; Lanning, Stan (2007). "The netflix prize" (PDF). Proceedings of KDD Cup and Workshop 2007.
  8. ^ Bayes, Thomas (1 January 1763). "An Essay towards solving a Problem in the Doctrine of Chance". Philosophical Transactions. 53: 370–418. doi:10.1098/rstl.1763.0053. JSTOR 105741.
  9. ^ Legendre, Adrien-Marie (1805). Nouvelles méthodes pour la détermination des orbites des comètes (in French). Paris: Firmin Didot. p. viii. Retrieved 13 June 2016.
  10. ^ O'Connor, J J; Robertson, E F. "Pierre-Simon Laplace". School of Mathematics and Statistics, University of St Andrews, Scotland. Retrieved 15 June 2016.
  11. ^ Langston, Nancy (2013). "Mining the Boreal North". American Scientist. 101 (2): 1. doi:10.1511/2013.101.1. Delving into the text of Alexander Pushkin's novel in verse Eugene Onegin, Markov spent hours sifting through patterns of vowels and consonants. On January 23, 1913, he summarized his findings in an address to the Imperial Academy of Sciences in St. Petersburg. His analysis did not alter the understanding or appreciation of Pushkin's poem, but the technique he developed—now known as a Markov chain—extended the theory of probability in a new direction.
  12. ^ McCulloch, Warren S.; Pitts, Walter (December 1943). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259.
  13. ^ Turing, A. M. (1 October 1950). "I.—COMPUTING MACHINERY AND INTELLIGENCE". Mind. LIX (236): 433–460. doi:10.1093/mind/LIX.236.433.
  14. ^ Crevier 1993, 페이지 34–35 : 1993 및 Russell & Norvig 2003, 페이지 17 없음: Norvig 2003
  15. ^ McCarthy, J.; Feigenbaum, E. (1 September 1990). "In memoriam—Arthur Samuel (1901–1990)". AI Magazine. 11 (3): 10–11.
  16. ^ Rosenblatt, F. (1958). "The perceptron: A probabilistic model for information storage and organization in the brain". Psychological Review. 65 (6): 386–408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029.
  17. ^ Mason, Harding; Stewart, D; Gill, Brendan (6 December 1958). "Rival". The New Yorker. Retrieved 5 June 2016.
  18. ^ Child, Oliver (13 March 2016). "Menace: the Machine Educable Noughts And Crosses Engine Read". Chalkdust Magazine. Retrieved 16 Jan 2018.
  19. ^ Cohen, Harvey. "The Perceptron". Retrieved 5 June 2016.
  20. ^ Colner, Robert (4 March 2016). "A brief history of machine learning". SlideShare. Retrieved 5 June 2016.
  21. ^ Linnainmaa, Seppo (1970). Algoritmin kumulatiivinen pyoristysvirhe yksittaisten pyoristysvirheiden taylor-kehitelmana [The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors] (PDF) (Thesis) (in Finnish). pp. 6–7.
  22. ^ Linnainmaa, Seppo (1976). "Taylor expansion of the accumulated rounding error". BIT Numerical Mathematics. 16 (2): 146–160. doi:10.1007/BF01931367. S2CID 122357351.
  23. ^ Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?". Documenta Matematica, Extra Volume ISMP: 389–400.
  24. ^ Griewank, Andreas and Walther, A. 알고리즘 미분의 원리와 기법, 제2판.SIAM, 2008.
  25. ^ Schmidhuber, Jürgen (2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. Bibcode:2014arXiv1404.7828S. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  26. ^ Schmidhuber, Jürgen (2015). "Deep Learning (Section on Backpropagation)". Scholarpedia. 10 (11): 32832. Bibcode:2015SchpJ..1032832S. doi:10.4249/scholarpedia.32832.
  27. ^ Fukushima, Kunihiko (October 1979). "位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---" [Neural network model for a mechanism of pattern recognition unaffected by shift in position — Neocognitron —]. Trans. IECE (in Japanese). J62-A (10): 658–665.
  28. ^ Fukushima, Kunihiko (April 1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biological Cybernetics. 36 (4): 193–202. doi:10.1007/BF00344251. PMID 7370364. S2CID 206775608.
  29. ^ Le Cun, Yann. "Deep Learning". CiteSeerX 10.1.1.297.6176. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  30. ^ Hopfield, J J (April 1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. 79 (8): 2554–2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
  31. ^ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (October 1986). "Learning representations by back-propagating errors". Nature. 323 (6088): 533–536. Bibcode:1986Natur.323..533R. doi:10.1038/323533a0. S2CID 205001834.
  32. ^ Watksin, Christopher (1 May 1989). "Learning from Delayed Rewards" (PDF). {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  33. ^ Markoff, John (29 August 1990). "BUSINESS TECHNOLOGY; What's the Best Answer? It's Survival of the Fittest". New York Times. Retrieved 8 June 2016.
  34. ^ Tesauro, Gerald (March 1995). "Temporal difference learning and TD-Gammon". Communications of the ACM. 38 (3): 58–68. doi:10.1145/203330.203343. S2CID 8763243.
  35. ^ Tin Kam Ho (1995). "Random decision forests". Proceedings of 3rd International Conference on Document Analysis and Recognition. Vol. 1. pp. 278–282. doi:10.1109/ICDAR.1995.598994. ISBN 0-8186-7128-9.
  36. ^ Golge, Eren. "BRIEF HISTORY OF MACHINE LEARNING". A Blog From a Human-engineer-being. Retrieved 5 June 2016.
  37. ^ Cortes, Corinna; Vapnik, Vladimir (September 1995). "Support-vector networks". Machine Learning. 20 (3): 273–297. doi:10.1007/BF00994018.
  38. ^ Hochreiter, Sepp; Schmidhuber, Jürgen (1 November 1997). "Long Short-Term Memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276. S2CID 1915014.
  39. ^ LeCun, Yann; Cortes, Corinna; Burges, Christopher. "THE MNIST DATABASE of handwritten digits". Retrieved 16 June 2016.
  40. ^ Collobert, Ronan; Benigo, Samy; Mariethoz, Johnny (30 October 2002). "Torch: a modular machine learning software library" (PDF). Retrieved 5 June 2016. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  41. ^ "The Netflix Prize Rules". Netflix Prize. Netflix. Archived from the original on 3 March 2012. Retrieved 16 June 2016.
  42. ^ Gershgorn, Dave (26 July 2017). "ImageNet: the data that spawned the current AI boom — Quartz". qz.com. Retrieved 2018-03-30.
  43. ^ Hardy, Quentin (18 July 2016). "Reasons to Believe the A.I. Boom Is Real". The New York Times.
  44. ^ "About". Kaggle. Kaggle Inc. Retrieved 16 June 2016.
  45. ^ Markoff, John (16 February 2011). "Computer Wins on 'Jeopardy!': Trivial, It's Not". The New York Times. p. A1.
  46. ^ Le, Quoc V. (2013). "Building high-level features using large scale unsupervised learning". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. pp. 8595–8598. doi:10.1109/ICASSP.2013.6639343. ISBN 978-1-4799-0356-6. S2CID 206741597.
  47. ^ Markoff, John (26 June 2012). "How Many Computers to Identify a Cat? 16,000". New York Times. p. B1. Retrieved 5 June 2016.
  48. ^ Taigman, Yaniv; Yang, Ming; Ranzato, Marc'Aurelio; Wolf, Lior (24 June 2014). "DeepFace: Closing the Gap to Human-Level Performance in Face Verification". Conference on Computer Vision and Pattern Recognition. Retrieved 8 June 2016.
  49. ^ Canini, Kevin; Chandra, Tushar; Ie, Eugene; McFadden, Jim; Goldman, Ken; Gunter, Mike; Harmsen, Jeremiah; LeFevre, Kristen; Lepikhin, Dmitry; Llinares, Tomas Lloret; Mukherjee, Indraneel; Pereira, Fernando; Redstone, Josh; Shaked, Tal; Singer, Yoram. "Sibyl: A system for large scale supervised machine learning" (PDF). Jack Baskin School of Engineering. UC Santa Cruz. Retrieved 8 June 2016.
  50. ^ Woodie, Alex (17 July 2014). "Inside Sibyl, Google's Massively Parallel Machine Learning Platform". Datanami. Tabor Communications. Retrieved 8 June 2016.
  51. ^ "Google achieves AI 'breakthrough' by beating Go champion". BBC News. BBC. 27 January 2016. Retrieved 5 June 2016.
  52. ^ "AlphaGo". Google DeepMind. Google Inc. Retrieved 5 June 2016.
  53. ^ Sample, Ian (2 December 2018). "Google's DeepMind predicts 3D shapes of proteins". The Guardian.
  54. ^ Eisenstein, Michael (23 November 2021). "Artificial intelligence powers protein-folding predictions". Nature. 599 (7886): 706–708. doi:10.1038/d41586-021-03499-y. S2CID 244528561.