모듈러 뉴럴 네트워크

모듈러 뉴럴 네트워크는 일부 매개체에 의해 모델레이트된 일련의 독립 뉴럴 네트워크로 특징지어지는 인공 뉴럴 네트워크입니다.각 독립 신경망은 모듈 역할을 하며 네트워크가 ^[1]수행하기를 원하는 작업의 일부 하위 작업을 수행하기 위해 별도의 입력에 대해 작동한다.중개자는 각 모듈의 출력을 가져와 네트워크 전체의 출력을 생성하도록 처리합니다.중개자는 모듈의 출력만 받아들이며 모듈에 응답하거나 다른 신호를 보내지 않습니다.또한 모듈은 서로 상호 작용하지 않습니다.

생물학적 기초

인공신경망 연구가 진행됨에 따라, 인공신경망은 그들의 생물학적 영감을 계속 끌어내고 뇌에서 발견되는 세분화와 모듈화를 모방하는 것이 적절하다.예를 들어, 뇌는 시각 지각의 복잡한 작업을 많은 하위 ^[2]작업으로 나눕니다.시상이라고 불리는 뇌의 한 부분에는 색과 대비를 따로 처리하는 층으로 나뉘는 측면 유전핵이 있습니다: ^[3]시력의 주요 구성요소입니다.LGN은 각 컴포넌트를 병렬로 처리한 후 결과를 다른 영역으로 전달하여 컴파일합니다.

시각과 같이 뇌가 처리하는 일부 작업은 하위 네트워크의 계층을 사용합니다.그러나 일부 매개체가 이러한 개별 프로세스를 서로 연결시키는지 여부는 명확하지 않습니다.오히려, 작업이 더욱 추상화됨에 따라, 모듈식 뉴럴 네트워크 모델과 달리, 모듈들은 서로 통신합니다.

설계.

임의의 태스크에 할당할 수 있는 단일 대규모 네트워크와는 달리 모듈러 네트워크 내의 각 모듈에는 특정 태스크를 할당하고 설계자가 특정 방법으로 다른 모듈에 연결해야 합니다.비전 예에서 뇌는 (학습된 것이 아니라) 진화하여 LGN을 만들었습니다.경우에 따라서는 설계자가 생물학적 모델을 따르도록 선택할 수도 있습니다.다른 경우에는 다른 모델이 더 우수할 수 있습니다.결과의 품질은 설계의 품질에 따라 달라집니다.

복잡성

모듈식 뉴럴 네트워크는 하나의 크고 다루기 어려운 뉴럴 네트워크를 더 작고 관리하기 쉬운 컴포넌트로 줄입니다.^[1]일부 작업은 단일 신경망에 대해 다루기 어려울 정도로 크다.모듈러형 뉴럴 네트워크의 이점은 다음과 같습니다.

효율성.

노드가 네트워크에 추가됨에 따라 가능한 뉴런(노드) 연결이 2차적으로 증가합니다.계산 시간은 노드 수와 그 연결에 따라 달라지며, 증가하면 처리 시간에 큰 영향을 미칩니다.개별 모듈에 특정 서브태스크를 할당하면 필요한 연결 수가 줄어듭니다.

트레이닝

여러 파라미터를 모델화하려고 하는 대규모 뉴럴 네트워크는 새로운 데이터가 기존 접속을 변경하거나 혼동을 일으킬 수 있기 때문에 간섭에 시달릴 수 있습니다.각 모듈은 독립적으로 교육할 수 있으며 보다 정확하게 간단한 작업을 숙달할 수 있습니다.즉, 트레이닝 알고리즘과 트레이닝 데이터를 보다 신속하게 구현할 수 있습니다.

견고성

대규모 신경망이 생물학적 네트워크인지 인공적인 네트워크인지에 관계없이 노드 중 하나에서 간섭과 장애의 영향을 받기 쉽습니다.서브태스크를 구분함으로써 장애와 간섭을 보다 쉽게 진단할 수 있으며, 각각이 서로 독립적이기 때문에 다른 서브네트워크에 대한 영향을 제거할 수 있습니다.

메모들

레퍼런스

• Azam, Farooq (2000). "Biologically Inspired Modular Neural Networks. PhD Dissertation". Virginia Tech. hdl:10919/27998.
• Happel, Bart; Murre, Jacob (1994). "The Design and Evolution of Modular Neural Network Architectures" (PDF). Neural Networks. 7 (6–7): 985–1004. doi:10.1016/s0893-6080(05)80155-8.^{[영구 데드링크]}
• Hubel, DH; Livingstone, MS (1990). "Color and contrast sensitivity in the lateral geniculate body and primary visual cortex of the macaque monkey". Journal of Neuroscience. 10 (7): 2223–2237. doi:10.1523/JNEUROSCI.10-07-02223.1990. PMC 6570379. PMID 2198331.
• Tahmasebi, P.; Hezarkhani, A. (2011). "Application of a Modular Feedforward for Grade Estimation". Natural Resources Research. 20 (1): 25–32. doi:10.1007/s11053-011-9135-3. S2CID 45997840.
• Clune, Jeff; Mouret, Jean-Baptiste; Lipson, Hod (2013-01-30). "The evolutionary origins of modularity". Proceedings of the Royal Society B: Biological Sciences. 280 (1755): 20122863. arXiv:1207.2743. doi:10.1098/rspb.2012.2863. ISSN 0962-8452. PMC 3574393. PMID 23363632.
• Tahmasebi, Pejman; Hezarkhani, Ardeshir (2012). "A fast and independent architecture of artificial neural network for permeability prediction". Journal of Petroleum Science and Engineering. 86: 118–126. doi:10.1016/j.petrol.2012.03.019.