가지치기(인공신경망)
Pruning (artificial neural network)
인공 신경망의 맥락에서 가지치기는 기존 [1]네트워크에서 매개변수(개별 매개변수 또는 뉴런과 같은 그룹의 매개변수를 제거하는 것을 수반할 수 있음)를 제거하는 관행입니다.이 프로세스의 목표는 네트워크의 정확성을 유지하면서 효율성을 높이는 것입니다.이것은 신경망을 실행하는 데 필요한 계산 자원을 줄이기 위해 수행될 수 있습니다.
가지치기의 기본 알고리즘은 [2][3]다음과 같습니다.
- 각 뉴런의 중요성을 평가합니다.
- 뉴런의 중요도에 따라 순위를 매깁니다("중요도"에 대해 명확하게 정의된 측정값이 있다고 가정).
- 가장 중요하지 않은 뉴런을 제거합니다.
- 종료 조건(사용자가 결정)을 확인하여 가지치기를 계속할지 여부를 확인합니다.
최근 고도로 다듬어진 3층 트리 아키텍처는 계산 [4]복잡성이 덜한 CIFAR-10 데이터 세트의 LeNet-5와 유사한 성공률을 달성했습니다.
레퍼런스
- ^ Blalock, Davis; Ortiz, Jose Javier Gonzalez; Frankle, Jonathan; Guttag, John (2020-03-06). "What is the State of Neural Network Pruning?". arXiv:2003.03033 [cs.LG].
- ^ Molchanov, P., Tyree, S., Karas, T., Aila, T., & Kautz, J. (2016)자원 효율적 추론을 위한 컨볼루션 신경망 가지치기.arXiv 사전 인쇄 arXiv:1611.06440.
- ^ 심층 신경망을 가지치기하여 빠르고 작게 만듭니다.
- ^ Meir, Yuval; Ben-Noam, Itamar; Tzach, Yarden; Hodassman, Shiri; Kanter, Ido (2023-01-30). "Learning on tree architectures outperforms a convolutional feedforward network". Scientific Reports. 13 (1): 962. doi:10.1038/s41598-023-27986-6. ISSN 2045-2322. PMC 9886946. PMID 36717568.
