계층적 숨겨진 마르코프 모델

Hierarchical hidden Markov model

계층적 숨은 마르코프 모델(HHMM)은 숨겨진 마르코프 모델(HMM)에서 파생된 통계적 모델이다. HHM에서 각 상태는 자급적 확률론적 모델로 간주된다.더 정확히 말하자면, HHM의 각 상태는 그 자체로 HHM이다.

HHM과 HMM은 패턴 인식을 포함한 많은 분야에서 유용하다.[1][2]

배경

학습과 일반화를 용이하게 하기 위해 특정 구조에 HMM을 사용하는 것이 유용할 때도 있다.예를 들어, 충분한 훈련 데이터를 이용할 수 있다면 완전히 연결된 HMM을 항상 사용할 수 있지만, 임의 상태 전환을 허용하지 않음으로써 모델을 구속하는 것이 종종 유용하다.같은 방법으로 HMM을 더 큰 구조에 내장하는 것이 유익할 수 있다. 이론적으로는 기본 HM 외에 다른 문제를 해결할 수는 없지만 필요한 훈련 데이터의 양에 관해서는 일부 문제를 더 효율적으로 해결할 수 있다.

설명

계층적 숨은 마르코프 모델(HHMM)에서 각 상태는 자급적 확률론적 모델로 간주된다.보다 정확히 말하면, HHM의 각 상태는 그 자체로 HHM이다. 이것은 HHM의 상태가 표준 HMM 상태의 경우와 마찬가지로 단일 관측 기호가 아닌 관측 기호의 시퀀스를 방출한다는 것을 의미한다.

HHMH. 회색 선은 수직 전환을 나타낸다.수평 전환은 검은색 선으로 표시된다.밝은 회색 원은 내부 상태, 어두운 회색 원은 활성 상태로 제어권을 되돌리는 터미널 상태 입니다.생산 상태는 이 그림에서 볼 수 없다.

HHM에 있는 상태가 활성화되면 자체 확률론적 모델, 즉 기초 HHM의 상태 중 하나를 활성화하고, 기초 HHM 등을 활성화할 수 있다.생산상태라고 불리는 특수한 상태가 활성화될 때까지 그 과정이 반복된다.생산 상태만이 일반적인 HM의 의미로 관측 기호를 방출한다.생산 상태가 기호를 방출하면 제어는 생산 상태를 활성화한 상태로 되돌아간다.관측 기호를 직접 발현하지 않는 상태를 내부 상태라고 한다.내부 상태에서 HHM에서 상태를 활성화하는 것을 수직 전환이라고 한다.수직 전환이 완료된 후, 수평 전환은 동일한 레벨 내의 상태로 발생한다.수평 전환이 종료 상태로 이어질 때, 제어는 마지막 수직 전환을 생산한 계층에서 더 높은 HHM의 상태로 반환된다.

수직적 전환은 일련의 생산 상태에 도달하여 마침내 최상위 수준으로 복귀하기 전에 더 많은 수직적 전환을 초래할 수 있다는 점에 유의하십시오.따라서 방문한 생산 국가는 최상위 수준에서 국가가 "생산"하는 일련의 관측 기호를 발생시킨다.

HHM 매개변수와 모델 구조를 추정하는 방법은 HMM 매개변수보다 복잡하며, 관심 있는 판독기는 Fine 등(1998)을 참조한다.

HMM과 HHM은 동일한 분류자에 속한다.즉, 그것들은 같은 일련의 문제들을 해결하는 데 사용될 수 있다.사실, HHM은 표준 HMM으로 변환될 수 있다. 그러나 HHMM은 그 구조를 활용하여 문제의 일부분을 더 효율적으로 해결한다.

위상

고전적 HHMM은 미리 정의된 위상이 필요한데, 이는 서브모듈의 수와 위계 구조를 미리 알아야 한다는 것을 의미한다.[1]Samko 외 연구진(2010)은 새로운 HHM에 대한 위상을 감독되지 않은 방식으로 정의하기 위해 형상공간(즉, 마르코프 모델 자체 외부에서)의 상태에 대한 정보를 사용했다.[2]단, HHM 구성과 관련된 정보를 포함하는 그러한 외부 데이터는 언어 처리와 같은 모든 맥락에서 이용할 수 없을 수 있다.

참고 항목

추가 읽기

  • S. Fine, Y. Singer and N.Tishby, "위계적 히든 마르코프 모델:분석 및 응용 프로그램", 기계 학습, vol. 32, 페이지 41–62, 1998
  • K.머피와 M.Paskin. "계층적 HMMs에서의 선형 시간 추론", NIPS-01(Neural Info)Proc. 시스템).
  • H. Bui, D.Phung and S.벤카테시AAAI-04(인공지능에 관한 전국회의) "일반국가 서열체계를 갖춘 히어로컬 히든 마르코프 모델"

참조

  1. ^ a b Fine, Shai; Singer, Yoram; Tishby, Naftali (1998-07-01). "The Hierarchical Hidden Markov Model: Analysis and Applications". Machine Learning. 32 (1): 41–62. doi:10.1023/A:1007469218079. ISSN 1573-0565. Retrieved 2021-11-03.
  2. ^ a b Samko, Oksana; Marshall, David; Rosin, Paul (2010-01-01). Automatic Construction of Hierarchical Hidden Markov Model Structure for Discovering Semantic Patterns in Motion Data. Vol. 1. pp. 275–280.