MNIST 데이터베이스

MNIST database
MNIST sample images
MNIST 테스트 데이터 세트의 샘플 이미지

MNIST 데이터베이스(Modified National Institute of Standards and Technology[1] 데이터베이스)는 다양한 이미지 처리 [2][3]시스템 훈련에 일반적으로 사용되는 손으로 쓴 숫자의 대규모 데이터베이스입니다.데이터베이스는 또한 기계 [4][5]학습 분야에서 훈련과 테스트에도 널리 사용됩니다.NIST의 원래 [6]데이터셋에서 샘플을 "재혼합"하여 생성되었습니다.NIST의 교육 데이터 세트는 미국 인구 조사국 직원으로부터 얻은 것이지만 테스트 데이터 세트는 미국 고등학생으로부터 얻은 것이기 때문에 기계 학습 [7]실험에는 적합하지 않다고 제작자들은 생각했습니다.또한 NIST의 흑백 이미지는 28x28 픽셀 바운딩 박스에 맞게 정규화되었으며 그레이스케일 레벨을 도입한 안티앨리어싱([7]anti-Aliasing)되었습니다.

MNIST 데이터베이스에는 60,000개의 교육 영상과 10,000개의 테스트 [8]영상이 포함되어 있습니다.교육 세트의 절반과 테스트 세트의 절반은 NIST의 교육 데이터 세트에서 얻었으며, 나머지 절반은 NIST의 테스트 데이터 세트에서 [9]가져왔습니다.데이터베이스의 원래 작성자는 데이터베이스에서 [7]테스트된 일부 방법의 목록을 보관합니다.원래의 백서에서는, 서포트 벡터 머신을 사용해 에러율을 0.8%[10]로 하고 있습니다.

확장 MNIST(EMNIST)는 NIST가 [11][12]개발 및 출시한 새로운 데이터 세트이며, MNIST에는 손으로 쓴 숫자의 이미지만 포함되어 있습니다.EMNIST에는 NIST Special Database 19의 모든 이미지가 포함되어 있습니다.NIST Special Database 19는 대문자, 소문자 및 숫자로 구성된 [13][14]대형 데이터베이스입니다.EMNIST의 영상은 MNIST 영상과 동일한 프로세스에 의해 동일한 28x28 픽셀 형식으로 변환되었습니다.따라서 더 작고 오래된 MNIST 데이터 집합에서 작동하는 도구는 수정 없이 EMNIST에서 작동합니다.

역사

MNIST 데이터베이스의 이미지 세트는 1998년에 NIST의 두 데이터베이스를 조합하여 생성되었다.특수 데이터베이스 1 및 특수 데이터베이스 3.특수 데이터베이스 1과 특수 데이터베이스 3은 각각 [7]미국 인구조사국의 고등학생과 직원이 작성한 숫자로 구성된다.

성능

일부 연구자들은 신경 네트워크 위원회를 사용하여 MNIST 데이터베이스에서 "인간에 가까운 성능"을 달성했습니다. 같은 논문에서 저자들은 다른 인식 [15]작업에서 인간보다 두 배의 성능을 달성했습니다.데이터베이스의 원래 웹 사이트에 나열된 가장 높은 오류율은[7] 12%입니다. 이는 사전 [10]처리 없이 단순한 선형 분류기를 사용하여 달성됩니다.

2004년, 연구자들이 RIRA라고 불리는 새로운 분류기를 사용하여 데이터베이스에서 0.42%의 최선의 경우 오류율을 달성했습니다. 이것은 로젠블랫의 퍼셉트론 [16]원리에 기초한 3개의 뉴런 층을 가진 신경 분류기입니다.

일부 연구자들은 무작위로 왜곡된 데이터베이스를 이용해 인공지능 시스템을 실험했다.이러한 경우 시스템은 보통 뉴럴 네트워크이며 사용되는 왜곡은 아핀 왜곡 또는 탄성 [7]왜곡 중 하나입니다.이러한 시스템은 매우 성공적일 수 있습니다.이러한 시스템 중 하나가 데이터베이스 오류율을 0.39%[17]로 달성했습니다.

2011년에는 연구자들이 유사한 신경 [18]네트워크 시스템을 사용하여 이전 최고의 결과보다 개선된 0.27%의 오류율을 보고했다.2013년에는 DropConnect를 사용한 뉴럴 네트워크의 정규화에 기초한 접근방식이 0.21%[19]의 오류율을 달성한다고 주장되었습니다.2016년 단일 컨볼루션 뉴럴 네트워크 최고의 성능은 0.25%의 [20]오류율이었다.2018년 8월 현재, 데이터 증강을 사용하지 않고 MNIST 교육 데이터에 대해 교육을 받은 단일 컨볼루션 뉴럴 네트워크의 최고 성능은 0.25%의 [20][21]오류율입니다.또한 병렬 컴퓨팅 센터(우크라이나 크멜니츠키)는 MNIST에서 0.21%[22][23]의 오류율로 수행하는 5개의 컨볼루션 신경망의 앙상블을 얻었다.테스트 데이터 세트의 일부 이미지는 거의 읽을 수 없으므로 테스트 오류율이 0%[24]에 도달하지 못할 수 있습니다.2018년 버지니아 대학 시스템 및 정보공학부 연구진은 3종류의 뉴럴 네트워크(완전 연결, 반복 및 컨볼루션 뉴럴 네트워크)[25]를 동시에 적층했을 때 0.18%의 오류를 발표했다.

분류자

다음은 데이터 집합에 사용되는 일부 기계 학습 방법과 분류자 유형별 오류율을 보여 주는 표입니다.

유형 분류자 왜곡. 전처리 오류율(%)
선형 분류기 쌍선형 분류기 없음. 디스큐잉 7.6[10]
K-Nearest 네이버 비선형 변형(P2DHMDM)을 수반하는 K-NN 없음. 이동 가능한 가장자리 0.52[26]
부푼 그루터기 Haar 특징의 그루터기 제품 없음. Haar의 특징 0.87[27]
비선형 분류기 40 PCA + 2차 분류기 없음. 없음. 3.3[10]
랜덤 포레스트 고속 Unified Random Forest for Survival, Regression, and Classification(RF-SRC)[28] 없음. 단순한 통계 픽셀의 중요성 2.8[29]
Support-Vector Machine(Support-Vector Machine) 가상 SVM, deg-9 폴리, 2픽셀 지터 부착 없음. 디스큐잉 0.56[30]
심층 뉴럴 네트워크(DNN) 2 레이어 784-800-10 없음. 없음. 1.6[31]
심층 뉴럴 네트워크 2 레이어 784-800-10 탄성 변형 없음. 0.7[31]
심층 뉴럴 네트워크 6 레이어 784-2500-2000-1000-500-10 탄성 변형 없음. 0.35[32]
컨볼루션 뉴럴 네트워크(CNN) 6 레이어 784-40-80-500-1000-10 없음. 트레이닝 데이터의 확대 0.31[33]
컨볼루션 뉴럴 네트워크 6 레이어 784-50-100-500-1000-10-10 없음. 트레이닝 데이터의 확대 0.27[34]
컨볼루션 뉴럴 네트워크(CNN) 13 레이어 64-128(5x)-256(3x)-198-2048-256-256-10 없음. 없음. 0.25[20]
컨볼루션 뉴럴 네트워크 35개 CNN 위원회, 1-20-P-40-P-150-10 탄성 변형 폭 정규화 0.23[15]
컨볼루션 뉴럴 네트워크 5개의 CNN 위원회, 6층 784-50-100-500-1000-10-10 없음. 트레이닝 데이터의 확대 0.21[22][23]
랜덤 멀티모델 딥러닝(RMDL) 10 NN-10 RNN - 10 CNN 없음. 없음. 0.18[25]
컨볼루션 뉴럴 네트워크 스퀴즈 앤 들뜸[35] 네트워크를 갖춘 20개의 CNNS 위원회 없음. 데이터 증강 0.17[36]

「 」를 참조해 주세요.

레퍼런스

  1. ^ "THE MNIST DATABASE of handwritten digits". Yann LeCun, Courant Institute, NYU Corinna Cortes, Google Labs, New York Christopher J.C. Burges, Microsoft Research, Redmond.
  2. ^ "Support vector machines speed pattern recognition - Vision Systems Design". Vision Systems Design. Retrieved 17 August 2013.
  3. ^ Gangaputra, Sachin. "Handwritten digit database". Retrieved 17 August 2013.
  4. ^ Qiao, Yu (2007). "THE MNIST DATABASE of handwritten digits". Retrieved 18 August 2013.
  5. ^ Platt, John C. (1999). "Using analytic QP and sparseness to speed training of support vector machines" (PDF). Advances in Neural Information Processing Systems: 557–563. Archived from the original (PDF) on 4 March 2016. Retrieved 18 August 2013.
  6. ^ Grother, Patrick J. "NIST Special Database 19 - Handprinted Forms and Characters Database" (PDF). National Institute of Standards and Technology.
  7. ^ a b c d e f LeCun, Yann; Cortez, Corinna; Burges, Christopher C.J. "The MNIST Handwritten Digit Database". Yann LeCun's Website yann.lecun.com. Retrieved 30 April 2020.
  8. ^ Kussul, Ernst; Baidyk, Tatiana (2004). "Improved method of handwritten digit recognition tested on MNIST database". Image and Vision Computing. 22 (12): 971–981. doi:10.1016/j.imavis.2004.03.008.
  9. ^ Zhang, Bin; Srihari, Sargur N. (2004). "Fast k-Nearest Neighbor Classification Using Cluster-Based Trees" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (4): 525–528. doi:10.1109/TPAMI.2004.1265868. PMID 15382657. S2CID 6883417. Retrieved 20 April 2020.
  10. ^ a b c d LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). "Gradient-Based Learning Applied to Document Recognition" (PDF). Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. Retrieved 18 August 2013.
  11. ^ NIST. "The EMNIST Dataset". NIST. Retrieved 11 April 2022.
  12. ^ NIST. "NIST Special Database 19". NIST. Retrieved 11 April 2022.
  13. ^ Cohen, G.; Afshar, S.; Tapson, J.; van Schaik, A. (2017). "EMNIST: an extension of MNIST to handwritten letters". ArXiv. Retrieved 12 April 2022.
  14. ^ Cohen, G.; Afshar, S.; Tapson, J.; van Schaik, A. (2017). "EMNIST: an extension of MNIST to handwritten letters". ArXiv. Retrieved 12 April 2022.
  15. ^ a b Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber (2012). "Multi-column deep neural networks for image classification" (PDF). 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642–3649. arXiv:1202.2745. CiteSeerX 10.1.1.300.3283. doi:10.1109/CVPR.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  16. ^ Kussul, Ernst; Tatiana Baidyk (2004). "Improved method of handwritten digit recognition tested on MNIST database" (PDF). Image and Vision Computing. 22 (12): 971–981. doi:10.1016/j.imavis.2004.03.008. Archived from the original (PDF) on 21 September 2013. Retrieved 20 September 2013.
  17. ^ Ranzato, Marc'Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun (2006). "Efficient Learning of Sparse Representations with an Energy-Based Model" (PDF). Advances in Neural Information Processing Systems. 19: 1137–1144. Retrieved 20 September 2013.
  18. ^ Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber (2011). "Convolutional neural network committees for handwritten character classification" (PDF). 2011 International Conference on Document Analysis and Recognition (ICDAR). pp. 1135–1139. CiteSeerX 10.1.1.465.2138. doi:10.1109/ICDAR.2011.229. ISBN 978-1-4577-1350-7. S2CID 10122297. Archived from the original (PDF) on 22 February 2016. Retrieved 20 September 2013.
  19. ^ Wan, Li; Matthew Zeiler; Sixin Zhang; Yann LeCun; Rob Fergus (2013). Regularization of Neural Network using DropConnect. International Conference on Machine Learning(ICML).
  20. ^ a b c SimpleNet (2016). "Lets Keep it simple, Using simple architectures to outperform deeper and more complex architectures". arXiv:1608.06037. Retrieved 3 December 2020.
  21. ^ SimpNet (2018). "Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet". Github. arXiv:1802.06205. Retrieved 3 December 2020.
  22. ^ a b Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate". Retrieved 24 November 2016.
  23. ^ a b Romanuke, Vadim (2016). "Training data expansion and boosting of convolutional neural networks for reducing the MNIST dataset error rate". Research Bulletin of NTUU "Kyiv Polytechnic Institute". 6 (6): 29–34. doi:10.20535/1810-0546.2016.6.84115.
  24. ^ MNIST classifier, GitHub. "Classify MNIST digits using Convolutional Neural Networks". GitHub. Retrieved 3 August 2018.
  25. ^ a b Kowsari, Kamran; Heidarysafa, Mojtaba; Brown, Donald E.; Meimandi, Kiana Jafari; Barnes, Laura E. (2018-05-03). "RMDL: Random Multimodel Deep Learning for Classification". Proceedings of the 2018 International Conference on Information System and Data Mining. arXiv:1805.01890. doi:10.1145/3206098.3206111. S2CID 19208611.
  26. ^ Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney (August 2007). "Deformation models for image recognition". IEEE Transactions on Pattern Analysis and Machine Intelligence. 29 (8): 1422–1435. CiteSeerX 10.1.1.106.3963. doi:10.1109/TPAMI.2007.1153. PMID 17568145. S2CID 2528485.
  27. ^ Kégl, Balázs; Róbert Busa-Fekete (2009). "Boosting products of base classifiers" (PDF). Proceedings of the 26th Annual International Conference on Machine Learning: 497–504. Retrieved 27 August 2013.
  28. ^ "RandomForestSRC: Fast Unified Random Forests for Survival, Regression, and Classification (RF-SRC)". 21 January 2020.
  29. ^ "Mehrad Mahmoudian / MNIST with RandomForest".
  30. ^ Decoste, Dennis; Schölkopf, Bernhard (2002). "Training Invariant Support Vector Machines". Machine Learning. 46 (1–3): 161–190. doi:10.1023/A:1012454411458. ISSN 0885-6125. OCLC 703649027.
  31. ^ a b Patrice Y. Simard; Dave Steinkraus; John C. Platt (2003). "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis". Proceedings of the Seventh International Conference on Document Analysis and Recognition. Vol. 1. Institute of Electrical and Electronics Engineers. p. 958. doi:10.1109/ICDAR.2003.1227801. ISBN 978-0-7695-1960-9. S2CID 4659176.
  32. ^ Ciresan, Claudiu Dan; Ueli Meier; Luca Maria Gambardella; Juergen Schmidhuber (December 2010). "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–20. arXiv:1003.0358. doi:10.1162/NECO_a_00052. PMID 20858131. S2CID 1918673.
  33. ^ Romanuke, Vadim. "The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnytskyi, Ukraine". Retrieved 16 November 2016.
  34. ^ Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate". Retrieved 24 November 2016.
  35. ^ Hu, Jie; Shen, Li; Albanie, Samuel; Sun, Gang; Wu, Enhua (2019). "Squeeze-and-Excitation Networks". IEEE Transactions on Pattern Analysis and Machine Intelligence. 42 (8): 2011–2023. arXiv:1709.01507. doi:10.1109/TPAMI.2019.2913372. PMID 31034408. S2CID 140309863.
  36. ^ "GitHub - Matuzas77/MNIST-0.17: MNIST classifier with average 0.17% error". GitHub. 25 February 2020.

추가 정보

외부 링크