분포 의미론

Distributional semantics

분포 의미론은 언어 데이터의 큰 표본에서 언어 항목 간의 분포 특성을 바탕으로 언어 항목 간의 의미 유사성을 수량화하고 분류하기 위한 이론과 방법을 개발하고 연구하는 연구 영역이다.분포 의미론의 기본 개념은 소위 분포 가설로 요약될 수 있습니다: 유사한 분포를 가진 언어 항목은 유사한 의미를 가집니다.

분포 가설

언어학에서 분포 가설은 언어 사용의 의미론에서 파생됩니다. 즉, 같은 맥락에서 사용되고 발생하는 단어들은 유사한 [1]의미를 주장하는 경향이 있습니다.

"한마디 말은 그것이 지키는 친구를 통해 특징지어진다"는 근본적인 생각은 [2]1950년대에 퍼스에 의해 대중화 되었다.

분포 가설은 통계적 의미론의 기초가 된다.분포 가설은 언어학에서 [3]비롯되었지만, 현재 인지 과학에서 특히 단어 [4]사용의 맥락에 관해 주목을 받고 있다.

최근 몇 년 동안, 분포 가설은 언어 학습에서 유사성에 기초한 일반화 이론의 기초를 제공해 왔다: 아이들이 비슷한 [5][6]단어의 분포로부터 그들의 사용에 대해 일반화함으로써 그들이 거의 접하지 못했던 단어들을 사용하는 방법을 알아낼 수 있다는 생각이다.

분포 가설은 두 단어가 의미론적으로 더 비슷할수록 분포적으로 더 비슷해지고 따라서 유사한 언어적 맥락에서 더 많이 발생하는 경향이 있다는 것을 시사한다.

이 제안이 유지되는지 여부는 컴퓨터 [7]모델링의 데이터 희소성 문제와 상대적으로 부족한 입력이 주어질 때 어떻게 어린이가 언어를 그렇게 빨리 배울 수 있는지에 대한 질문 모두에 중요한 의미를 갖는다(이는 자극의 빈곤 문제로도 알려져 있다).

벡터 공간의 분포 의미 모델링

분포의미론은 선형대수를 계산 도구와 표현 프레임워크로 사용하는 것을 선호한다.기본 접근법은 고차원 벡터로 분포 정보를 수집하고 벡터 [8]유사성의 관점에서 분포/의미적 유사성을 정의하는 것이다.벡터 수집에 사용되는 분포 정보의 유형에 따라 다른 종류의 유사성을 추출할 수 있다. 언어 항목이 발생하는 텍스트 영역에 대한 정보를 벡터에 채움으로써 주제 유사성을 추출할 수 있다. 정보를 사용하여 벡터를 채움으로써 패러다임 유사성을 추출할 수 있다.항목이 공존하는 다른 언어 항목.후자의 벡터 유형은 또한 개별 벡터 성분을 살펴봄으로써 신태그틱 유사성을 추출하는 데 사용될 수 있습니다.

분포적 유사성과 의미적 유사성 사이의 상관관계에 대한 기본 개념은 여러 가지 방법으로 운용될 수 있다.잠재의미분석(LSA),[9][10] 하이퍼스페이스 아날로그/언어(HAL), 구문 기반 또는 의존성 기반 모델,[11] 랜덤 인덱싱, 의미[12] 접기 및 주제 [13]모델의 다양한 변형을 포함하여 분포적 의미론을 구현하는 다양한 계산 모델이 있습니다.

분포 의미 모델은 주로 다음 매개 변수와 관련하여 다릅니다.

언어 항목을 컨텍스트로 사용하는 분포 의미 모델은 단어 공간 또는 벡터 공간 [15][16]모델이라고도 합니다.

어휘적 의미론을 넘어서

분포 의미론은 일반적으로 상당한 성공을 거두며 어휘 항목(단어 및 복수 단어 용어)에 적용되었지만, 특히 신경적으로 영감을 받은 딥 러닝 모델에 대한 입력 계층으로서의 적용 가능성 때문에 어휘 의미론, 즉 단어의 의미는 전체 발언의 의미론의 일부만 전달할 것이다.예를 들어, "호랑이들은 토끼를 좋아한다."는 절의 의미는 그것이 구성된 세 개의 어휘 항목의 의미를 살펴봐야만 부분적으로 이해할 수 있다.분포 의미론은 비인스턴트 항목이 있든 없든 시공과 같은 더 큰 언어 항목을 포함하도록 쉽게 확장할 수 있지만, 모델의 기본 가정 중 일부는 다소 조정될 필요가 있습니다.구성 문법과 어휘 구문 연속체의 공식은 분포 의미 모델에 보다 정교한 구성을 포함하기 위한 한 가지 접근방식을 제공하며, 일부 실험은 무작위 색인 접근법을 [17]사용하여 구현되었다.

구성분포적 의미모델은 전체 구문 또는 문장의 의미를 특징짓기 위해 참여하는 어휘 단위의 의미를 구성모델로 결합하기 위해 구문 기반의 규칙을 사용하는 명시적 의미함수에 의해 분포적 의미모델을 확장한다.이 연구는 2008년 옥스퍼드 대학의 스티븐 클라크, 밥 코케, 메루쉬 새드르자데에 의해 "[18]의미의 구성 분포 모델"이라는 논문에서 처음 제안되었다.신경 모델을 포함한 구성에 대한 다양한 접근법이 탐색되었으며 SemEval과 [19]같은 확립된 워크숍에서 논의되고 있습니다.

적용들

배포 의미 모델이 다음 작업에 성공적으로 적용되었습니다.

소프트웨어

「 」를 참조해 주세요.

사람

레퍼런스

  1. ^ 해리스 1954
  2. ^ 퍼스 1957
  3. ^ Sahlgren 2008
  4. ^ 맥도날드 & 램스카 2001
  5. ^ 글리트먼 2002
  6. ^ 야렛 2008
  7. ^ Wishart, Ryder; Prokopidis, Prokopis (2017). Topic Modelling Experiments on Hellenistic Corpora (PDF). Proceedings of the Workshop on Corpora in the Digital Humanities 17. S2CID 9191936.
  8. ^ 리거 1991
  9. ^ Derwester 외 1990년
  10. ^ Landauer, Thomas K.; Dumais, Susan T. (1997). "A solution to Plato's problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge". Psychological Review. 104 (2): 211–240. doi:10.1037/0033-295x.104.2.211.
  11. ^ Pado & Lapata 2007
  12. ^ De Sousa Webber, Francisco (2015). "Semantic Folding Theory And its Application in Semantic Fingerprinting". arXiv:1511.08855 [cs.AI].
  13. ^ Jordan, Michael I.; Ng, Andrew Y.; Blei, David M. (2003). "Latent Dirichlet Allocation". Journal of Machine Learning Research. 3 (Jan): 993–1022.
  14. ^ Church, Kenneth Ward; Hanks, Patrick (1989). "Word association norms, mutual information, and lexicography". Proceedings of the 27th Annual Meeting on Association for Computational Linguistics. Morristown, NJ, USA: Association for Computational Linguistics: 76–83. doi:10.3115/981623.981633.
  15. ^ 슈체 1993
  16. ^ 살그렌 2006
  17. ^ Karlgren, Jussi; Kanerva, Pentti (July 2019). "High-dimensional distributed semantic spaces for utterances". Natural Language Engineering. 25 (4): 503–517. arXiv:2104.00424. doi:10.1017/S1351324919000226. S2CID 201141249.
  18. ^ Clark, Stephen; Coecke, Bob; Sadrzadeh, Mehrnoosh (2008). "A compositional distributional model of meaning" (PDF). Proceedings of the Second Quantum Interaction Symposium: 133–140.
  19. ^ "SemEval-2014, Task 1".

원천

외부 링크