가변 길이 메모리를 가진 확률적 체인

가변 길이에 대한 기억을 가진 확률적 사슬은 유한한 알파벳의 유한한 질서의 확률적 사슬의 한 계열로, 매 번 지나갈 때마다 문맥이라 불리는 과거의 유한한 접미사 하나만 있으면 다음 기호를 예측할 수 있다. 이들 모델은 1983년 조르마 리사넨이 정보이론 문헌에 데이터 압축의 보편적 도구로 ^[1]도입했으나 최근에는 생물학,^[2] 언어학^[3], 음악 등 다양한 분야의 데이터를 모델링하는 데 활용되고 있다.^[4]

정의

가변 길이의 메모리를 가진 확률 체인은 확률 체인$({\displaystyle {Xn}_{}{}_{}}$) ${\displaystyle n_{}}$ ${\displaystyle {\in }_{}}$ ${\displaystyle Z_{}}$ ${\$ Z$\}\})$이며 유한한 알파벳 $A{\displaystyle }$ ${\displaystyle$ A$\}$의 값을 취하며 확률론적 컨텍스트 트리$($ tree ,${\displaystyle p}$ ) $displaystystyle$ (\$tau ,p)$을 특징으로 한다$.$

• $【\displaystyle \tau】}$은(는) 모든 컨텍스트의 그룹이다$$. A context ${\displaystyle X_{n-l},\ldots ,X_{n-1}}$, being ${\displaystyle l}$ the size of the context, is a finite portion of the past ${\displaystyle X_{-\infty },\ldots ,X_{n-1}}$, which is relevant to predict the next symbol ${\displaystyle X_{n}}$;
• ${\displaystyle p}$ $[\displaystyle p}$은(는) 각 맥락과 관련된 전환 확률의 집합이다.

역사

가변 길이의 메모리를 가진 확률형 체인의 등급은 데이터 압축 시스템을 위한 A 범용 시스템이라는 글에서 조르마 리사넨에 의해 소개되었다.^[1] 그러한 종류의 확률적 사슬은 P에 의해 통계학적, 확률론적 공동체에서 대중화되었다. 1999년, Vühlmann과 A. J. Wyner는 Variable Length Markov Chains라는 기사에서, 불만과 와이너에 의해 "변량 길이 마르코프 체인"(VLMC)으로 명명된 이들 체인은 "변량 순서 마르코프 모델"(VOM), "확률적인 접미사 트리",^[2] "콘텍스트 트리 모델"^[5]로도 알려져 있다. '변수길이의 기억을 가진 스토크스틱 체인'이라는 명칭은 갈베스와 뢰처바흐가 2008년 동명 기사에서 소개한 것으로 보인다.^[6]

예

중단된 광원

램프, 관찰자, 그리고 그들 둘 사이의 문으로 시스템을 고려하라. 램프에는 두 가지 가능한 상태가 있다. 켜짐, 켜짐, 꺼짐, 꺼짐, 0으로 표시된다. 램프가 켜지면 관찰자는 도어가 열린 상태, 1 또는 닫힌 상태, 0에 따라 도어를 통해 빛을 볼 수 있다. 이러한 상태는 램프의 원래 상태와 무관하다.

$({\displaystyle {Xn}_{}{}_{}}$)${\displaystyle n_{}}$ ${\displaystyle {\ge }_{}}$ ${\displaystyle 0_{}}$ ${\$ 0$}}}$ 값을 가진 마코프 $체인$으로,${\displaystyle }$A = ${\displaystyle 0\mathrm{},}$ ${\displaystyle 1}${\$displaystyle$ A$={0,1}$의 값을 가지고$$, p$${\$displaystyle p}$을 확률 전이 행렬로 한다. 또한 (${\displaystyle {\xi n}_{}{}_{}}$)${\displaystyle {\mathrm{n}}_{}}$ ${\displaystyle {\ge }_{}}$ 0 ${\$$}})$ 도어의 상태를 나타내는 독립 랜덤 변수의 시퀀스가 되게$$ 하고$,$ 체인$({\displaystyle {Xn}_{}{}_{}}$) ${\displaystyle n_{}}$ ${\displaystyle {\ge }_{}}$ ${\displaystyle 0_{}}$ ${\$ 0$}}$과 독립적으로 $값$을 취한다.

${\displaystyle \mathb {P}(\xi _{n}=1)=1-\varepsilon }$

여기서 < >${\displaystyle$ 0$<\epsilon <1$ 새 시퀀스$({\displaystyle {Zn}_{}{}_{}}$) ${\displaystyle {\mathrm{n}}_{}}$ ${\displaystyle {\ge }_{}}$ 0 ${\$을(를) 정의하십시오$$.

${\displaystyle Z_{}}$ ${\displaystyle n_{}}$= X ${\displaystyle n_{}}$ ${\displaystyle {\xi n}_{}}$ ${\$}\{n$}}$${\displaystyle }$매$$ ($Z_{n})$ ${\displaystyle n_{}{\ge }_{}}$ $.$ {\$displaystyle($Z_{n})_${n\geq 0}.$$}$

관찰자가 램프를 켤 수 있는 마지막 순간($즉{\displaystyle {}_{}}$, Z ${\displaystyle k_{}}$= ${\displaystyle 1}$ ${\displaystyle Z_{k}=1}$인 < n ${\displaystyle k>로$최소 순간$$k ${\displaystyle k}$을$($를) 식별하기 위해.

컨텍스트 트리를 사용하면 다음 상태를 식별하는 데 관련된 시퀀스의 과거 상태를 나타낼 수 있다.

확률 체인$({\displaystyle {Zn}_{}{}_{}}$) ${\displaystyle n_{}}$ ${\displaystyle {\in }_{}}$ ${\displaystyle {Z\mathbb{}}_{}}$ ${\$은(는) 가변 길이의 메모리를 가진 체인으로$$, $A{\displaystyle }$ ${\displaystyle A}$의 값을 취하며$$ 확률적 컨텍스트 트리$({\displaystyle }$ (${\displaystyle }$,$$) ${\displaystystylease$ tree $(\typ)$와 호환된다$.$

${\displaystyle \tau =\{1,10,100,\cdots \}\cdots \}\{0^{\infuly }\}.}$

가변 길이 체인의 추론

샘플 $X{\displaystyle {}_{}}$ ${\displaystyle l_{}{}_{}}$,${\displaystyle }$… ,${\displaystyle }$X ${\displaystyle {}_{}}$ ${\$을(를) 제공하면 다음과 같은 알고리즘을 사용하여 전용 컨텍스트 트리를 찾을 수 있다$.$

컨텍스트 알고리즘

Rissanen은 A 범용 데이터 압축 시스템 기사에서 데이터를 생성하는 확률론적 컨텍스트 트리를 추정하기 위해 일관된 알고리즘을 도입했다.^[1] 이 알고리즘의 기능은 두 단계로 요약할 수 있다.

1. 가변 길이의 메모리가 있는 체인에 의해 생산된 샘플을 고려할 때, 우리는 샘플에 컨텍스트할 수 있는 모든 지원자를 가지는 최대 트리에서 시작한다.
2. 이 나무의 가지들은 데이터에 잘 적응된 가장 작은 나무를 얻을 때까지 잘려진다. 로그 우도의 비율과 같이 주어진 게인 함수를 통해 컨텍스트 단축 여부를 결정한다.

Be ${\displaystyle X_{0},\ldots ,X_{n-1}}$ a sample of a finite probabilistic tree ${\displaystyle (\tau ,p)}$. For any sequence ${\displaystyle x_{-j}^{-1}}$ with ${\displaystyle j\leq n}$, it is possible to denote by ${\displaystyle$$N_{n}(x_{-j}^{-1})$ 샘플에서 시퀀스가 발생한 횟수$$, 즉,

${\displaystyle N_{n}(x_{-j}^{-1}=\sum _{t=0}^{n-j}\mathbf {1}{1} \reft\{X_{t}^{t+j-1}=x_{-j}^{-j}}@}}}}{-1}}}\}}}}}}}}}}}}}}}}}}}}}}}}}$

Rissanen은 $먼저{\displaystyle {}_{}^{}}$ X ${\displaystyle n_{}^{}}$- ${\displaystyle K_{}^{}}$( n${\displaystyle {}_{}^{}}$) ${\displaystyle {\mathrm{n}}_{}^{}}$- 1 ${\$ 여기서 $K{\displaystyle }$ ( n ) = C ${\displaystyle log}$ $⁡$ ${\displaystyle n}$ $displaystyle K(n)=$에 의해 주어지는 컨텍스트 최대 후보를 작성했다.$C\log{n}$와 $C{\displaystyle }$ ${\displaystyle C}$는 임의의 양의 상수다. $C{\displaystyle }$ ${\displaystyle \log }$ ${\displaystyle n}$ ${\$를 선택하는 직관적인 이유는 $크기$가 n ${\displaystyle n}$인 표본을 바탕으로$$ ${\displaystyle \mathrm{로그}}$ ${\displaystyle n}$ ${\$보다 긴 시퀀스의 확률을 추정할 수 없기 때문이다$.$

거기서부터 리사넨은 통계적 우도비에 기초한 일련의 시험에 따라 연속적으로 가지를 자르기를 통해 최대 후보를 단축시킨다. 보다 공식적인 정의에서 bANnxk1b0이 전환 확률 $p{\displaystyle }$ ${\displaystyle$ p$}$의 확률 추정기를 정의한$$ 경우

${\displaystyle {\p}_{-k}^{-1}(a\mid x_{-k}^{-1}={\frac {N_{n}(x_{-k}^{-1}a)}{\sum _{b\in A}{-k}^{-1}b}}}}}}}}}}}}}}}}}$

where ${\displaystyle x_{-j}^{-1}a=(x_{-j},\ldots ,x_{-1},a)}$. If ${\displaystyle \sum _{b\in A}N_{n}(x_{-k}^{-1}b)\,=\,0}$, define ${\displaystyle {\hat {p}}_{n}(a\mid x$$_{-k}^{-1}\,=\,1/$A $\}$

$i{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 1}$ ${\displaystyle i\geq 1}$에 대해 정의하십시오$.$

${\displaystyle \Lambda _{n}(x_{-i}^{-1})\,=\,2\,\sum _{y\in A}\sum _{a\in A}N_{n}(yx_{-i}^{-1}a)\log \left[{\frac {{\hat {p}}_{n}(a\mid x_{-i}^{-1}y)}{{\hat {p}}_{n}(a\mid x_{-i}^{-1})}}\right]\,}$

여기서 $y{\displaystyle }$ ${\displaystyle {}_{}^{}}$-${\displaystyle {\mathrm{i}}_{}^{}}$ - 1${\displaystyle {}_{}^{}}$=${\displaystyle }$( ${\displaystyle y,}$ ${\displaystyle x_{}}$- i${\displaystyle {}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {\mathrm{x}}_{}}$- ${\displaystyle {}_{}}$) ${\displaystyle yx_{-i}^{-1}=(y,x_{-i},\ldots,x_{-1}},$ 그리고$$

${\displaystyle {\p}_{n}(a\mid x_{-i}^{-1}y)={\frac {N_{n}(yx_{-i}^{-1}a)}{\sum _{b\in A}{n}{-i}^{-1}b}}}}.}$

Note that ${\displaystyle \Lambda _{n}(x_{-i}^{-1})}$ is the ratio of the log-likelihood to test the consistency of the sample with the probabilistic context tree ${\displaystyle (\tau ,p)}$ against the alternative that is consistent with ${\displaystyle (\tau ',p')}$, where ${\displaystyle \tau }$ ${\displaystyle \tau }$과($)$ {\displaystyle $\tau '}$은(는) 형제 매듭 집합에 의해서만 다르다$$.

현재 추정된 컨텍스트의 길이는 다음과 같이 정의된다.

${\displaystyle {\hat{\ell }_{n}(X_{0}^{n-1}=\max \left\{i=1,\ldots,K(n):\Lambda _{n}(X_{n-i}^{n-1}\,>,\,C\log n\right\}\,}$

여기서 $C{\displaystyle }$ ${\displaystyle C}$은(는) 임의의 양의 상수임. 마침내 리사넨에 의해 다음과 같은 결과가 나왔다.^[1] 유한 확률론적 컨텍스트 트리$({\displaystyle }$ (,${\displaystyle p}$ ${\displaystyle )\{\backslash }$$displaystyle$, ${,$ p $){\$$dots,X_{n-1}$의 $X{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$,${\displaystyle }$… , ${\displaystyle {}_{}}$ -${\displaystyle 1_{}}$ ${\$$displaystyle (\tau,p$ 그 다음

${\displaystyle P\left({\hat {\ell }}_{n})(X_{0}^{n-1}}\neq \ell(X_{0}^{n-1}\오른쪽)\longrightrow 0,}$

$n{\displaystyle }$→ ${\displaystyle \mathrm{\infty }}$ ${\displaystyle n\rightarrow \infit }$이(가) 있을 때$.$

베이시안 정보 기준(BIC)

패널티 상수 > ${\displaystyle c>0}$을(를) 가진 BIC에 의한 컨텍스트 트리의 추정기는 다음과 같이 정의된다.

${\displaystyle {\hat {\tau }_{\mathrm {BIC} }}={\underset {\tau \in {\mathcal {T}_{n}{\arg \max }\{\log L_{\tau }}(X_{1}^{n}-c\,{\textrm{d}f(\tau )\logn\}}}}}}.$

최소 최대값 기준(SMC)

가장 작은 맥시저 기준은^[3] 챔피언 트리 C 세트의 가장 작은 트리 τ을 선택하여 계산한다.

${\displaystyle \lim_{n\to \flat }{\frac {\log L_{{1}^{n}-}\log L_{\hat {\\tau }}}}{1}{1}^{n}}}{n}}}}}}}}}$

참고 항목

• 가변 순서 마르코프 모델
• 마르코프 체인
• 확률적 과정

참조