신경상징 AI

Neuro-symbolic AI

신경 상징적 AI는 신경 및 상징적 AI 아키텍처를 통합하여 각각의 장단점을 보완하여 추론, 학습 및 인지 모델링이 가능한 강력한 AI를 제공합니다.Valiant와[1] 다른 [2]많은 사람들이 주장했듯이, 풍부한 컴퓨터 인지 모델의 효과적인 구성은 건전한 상징적 추론과 효율적인 기계 학습 모델의 조합을 필요로 한다.게리 마커스는 "하이브리드 아키텍처, 풍부한 사전 지식, 그리고 [3]추론을 위한 정교한 기술의 삼두정치 없이는 우리는 충분하고 자동화된 방식으로 풍부한 인지 모델을 구축할 수 없습니다."라고 주장한다.또한 "AI에 대한 강력하고 지식 중심적인 접근방식을 구축하려면 툴킷에 기호 조작 장치가 있어야 합니다.너무 많은 유용한 지식은 추상화를 표현하고 조작하는 도구 없이 만들어내기에는 추상적이며, 지금까지 우리가 알고 있는 추상적 지식을 안정적으로 조작할 수 있는 유일한 기계는 기호 [4]조작 장치입니다."

Henry [5]Kautz,[6] Francesca Rossi, 그리고 Bart[7] Selman도 합성을 주장했다.그들의 주장은 다니엘 카네만의 책, 빠른 생각과 느린 생각에서 논의된 두 가지 종류의 생각을 다룰 필요성에 기초하고 있다.Kahneman은 인간의 사고를 시스템 1과 시스템 2의 두 가지 요소로 묘사합니다.시스템 1은 빠르고 자동적이며 직관적이며 무의식적입니다.시스템 2는 속도가 느리고 단계별로 명시적입니다.시스템 1은 패턴 인식에 사용됩니다.시스템 2는 계획, 추론 및 숙고적 사고를 처리합니다.이러한 관점에서, 딥 러닝은 첫 번째 종류의 인식을 가장 잘 다루는 반면, 상징적 추론은 두 번째 종류의 인식을 가장 잘 다룬다.둘 다 학습, 추론, 조언을 받아들이고 질문에 대답하기 위해 인간과 상호작용할 수 있는 강력하고 신뢰할 수 있는 인공지능에 필요하다.사실, 대조되는 두 시스템에 대한 명확한 참조를 가진 이러한 이중 프로세스 모델은 1990년대부터 AI와 인지 과학 모두에서 다수의 연구자들에 의해 연구되어 왔다(예:[8]

어프로치의 종류

통합을 위한 접근방식은 다양합니다.Henry Kautz의 신경상징 아키텍처 분류법은 몇 가지 예시와 함께 다음과 같습니다.

  • 심볼릭 뉴럴 심볼릭—단어 또는 하위 단어 토큰이 큰 언어 모델의 궁극적인 입력 및 출력인 자연 언어 처리에서 많은 신경 모델의 현재 접근법입니다.예를 들어 BERT, RoBERTA, GPT-3 등이 있습니다.
  • 심볼릭[뉴럴]—심볼릭 기법이 신경 기술을 호출하는 데 사용되는 AlphaGo로 대표됩니다.이 경우 상징적 접근법은 몬테카를로 나무 탐색이며 신경 기술은 게임 위치를 평가하는 방법을 학습합니다.
  • 신경 심볼—신경 아키텍처를 사용하여 지각 데이터를 기호 및 관계로 해석하고, 이를 기호적으로 추론합니다.신경 개념[9] 학습자가 그 예입니다.
  • 신경:심볼릭 → 신경—예를 들어 맥시마와 유사한 기호 수학 시스템을 사용하여 예를 들어 심볼 연산을 위한 신경 모델을 훈련시키는 등 딥 러닝 모델에 의해 이후에 학습되는 훈련 데이터를 생성하거나 레이블을 지정하는 기호 추론에 관한 관계.
  • Neural_{Symbolic}: 심볼릭 규칙에서 생성된 뉴럴넷을 사용합니다.예를 들어, Neural Oremy [10]Prover는 기술 기반 규칙과 용어에서 생성된 AND-OR 증명 트리에서 신경 네트워크를 구성합니다.로직 텐서[11] 네트워크도 이 범주에 속합니다.
  • Neural [Symbolic] - 신경 모델이 예를 들어 동작을 수행하거나 상태를 평가하기 위해 상징적 추론 엔진을 직접 호출할 수 있습니다.

예를 들어 이러한 범주는 다중 에이전트 시스템을 고려하지 않으므로 전체 범주는 아닙니다.2005년, Bader와 Hitzler는 예를 들어 심볼의 사용이 논리를 포함하는지 여부와 만약 포함한다면 논리가 명제 논리인지 1차 [12]논리인지를 고려하는 보다 세밀한 분류를 제시했다.위의 2005년 분류와 Kautz의 분류법은 2021년 [13]기사에서 비교되고 대조된다.최근 Sepp Hochreiter는 "분자의 특성을 설명하고 소셜 네트워크를 시뮬레이션하며 입자상 [1]상호작용을 통해 물리 및 엔지니어링 애플리케이션의 미래 상태를 예측하기 때문에 "Graph Neural Networks는 신경-심볼릭[14] 컴퓨팅의 주요 모델"이라고 주장했다.

인공지능의 전제조건으로

Marcus는 "...학습과 기호 조작을 결합한 하이브리드 아키텍처는 강력한 지능을 위해 필요하지만 충분하지는 않다"[15]고 주장합니다.

"...강력한 인공지능을 구축하기 위한 네 가지 인지적 전제조건:

  • 대규모 학습과 기호 변환의 대표성 및 계산 능력을 결합한 하이브리드 아키텍처,
  • 다른 형태의 지식과 함께 상징적 지식을 통합한 대규모 지식 기반(본질적 프레임워크를 활용하는 지식 기반)
  • 이러한 지식 기반을 다루기 쉬운 방법으로 활용할 수 있는 추론 메커니즘
  • 이러한 메커니즘 및 지식 [16]기반과 함께 작동하는 풍부한 인지 모델입니다."

이는 1990년대 [17][18]초에 하이브리드 모델에 대한 훨씬 더 초기의 요구를 반영합니다.

역사

Garcez와 Lamb은 이 분야의 연구가 적어도 지난 20년[19][20] 동안(실제로 지금까지 30년 이상) 진행 중이라고 설명했습니다.2005년부터 신경상징 AI에 관한 워크숍이 매년 개최되고 있다[2].1990년대 초, 이 주제에 대한 초기 워크숍이 [17]조직되었다.

오픈 리서치 질문

다음과 같은 많은 주요 연구 문제가 남아 있습니다.

  • 신경 및 상징적 아키텍처를 통합하는 가장 좋은 방법은 무엇입니까?
  • 신경망 내에서 상징적 구조를 어떻게 표현하고 그것들로부터 추출해야 하는가?
  • 상식적인 지식은 어떻게 배우고 추론해야 하는가?
  • 논리적으로 부호화하기 어려운 추상적인 지식은 어떻게 처리될 수 있을까요?

실장

신경상징적 접근방식의 구체적인 구현은 다음과 같습니다.

  • Logic Tensor Networks: 논리식을 뉴럴네트워크로 인코딩하고 동시에 데이터에서 용어 뉴럴 부호화, 용어 가중치 및 공식 가중치를 학습합니다.
  • DeepProbLog: 신경망을 ProbLog의 확률론적 추론과 결합합니다.

인용문

  1. ^ 2008년 용맹.
  2. ^ Garcez et al. 2015.
  3. ^ Marcus 2020, 44페이지
  4. ^ Marcus & Davis 2019, 페이지 17
  5. ^ Kautz 2020.
  6. ^ 로시 2022입니다
  7. ^ 셀만 2022년
  8. ^ 1995년 1월
  9. ^ 마오 외 연구진 2019년
  10. ^ Rocktäschel, Tim; Riedel, Sebastian (2016). "Learning Knowledge Base Inference with Neural Theorem Provers". Proceedings of the 5th Workshop on Automated Knowledge Base Construction. San Diego, CA: Association for Computational Linguistics. pp. 45–50. doi:10.18653/v1/W16-1309. Retrieved 2022-08-06.
  11. ^ Serafini, Luciano; Garcez, Artur d'Avila (2016). "Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge". arXiv:1606.04422 [cs.AI].
  12. ^ Bader & Hitzler 2005.
  13. ^ Sarker, Md Kamruzzaman; Zhou, Lu; Eberhart, Aaron; Hitzler, Pascal (2021). "Neuro-symbolic artificial intelligence: Current trends". AI Communications. 34 (3): 197–209. doi:10.3233/AIC-210084. S2CID 239199144.
  14. ^ L.C. 램, A.S. d'Avila Garcez, M.고리, M.O.R. 프라츠, P.H.C.Avelar, M.Y. Vardi (2020년)"Graph Neural Networks Meeting Neural-Symbolic Computing: 조사와 전망." CoRR abs/2003.00330 (2020)
  15. ^ 마커스 2020, 페이지 50
  16. ^ 마커스 2020, 페이지 48
  17. ^ a b Sun & Bookman 1994.
  18. ^ 호나바르 1995년
  19. ^ Garcez & Lamb 2020, 페이지 2
  20. ^ Garcez et al. 2002.

레퍼런스

「 」를 참조해 주세요.

외부 링크