내부-외부 알고리즘

컴퓨터 공학에서 해석 알고리즘의 경우, 내부-외부 알고리즘은 확률론적 문맥 자유 문법으로 생산 확률을 재추정하는 방법입니다.그것은 제임스 K에 의해 소개되었다. 1979년 숨겨진 마르코프 모델에 대한 매개 변수 추정을 위한 전진-후진 알고리즘의 확률적 문맥 없는 문법에 대한 일반화로서 베이커.예를 들어 기대-최대화 알고리즘(비감독 학습 알고리즘)의 일부로 기대치를 계산하는 데 사용된다.

내부 및 외부 확률

$\beta _{j}(p,q)$ ( $\beta _{j}(p,q)$ , $\beta _{j}(p,q)$ q $)({displaystyle \beta$ _ ${j}(p,q))$ 는 $\beta_j(p,q)$ 루트 $N^{j}$ j { $displaystyle$ N $^{j}$ $및$ $문법G$ { $displaystyle$ ^[1]G $}$ 의 $N^j$ 경우 p $w_{p}\cdots w_{q}$ ${$ 를 생성할 총 확률입니다.

_{j}(p,q)=P(w_{pq}N_{pq}^{j}G)

Outside $\alpha _{j}(p,q)$ j $\alpha _{j}(p,q)$ , $\alpha _{j}(p,q)$ )({ $displaystyle \alpha$ _ ${j}(p,q))$ 는 $\alpha_j(p,q)$ 시작 $N^{1}$ $N^{1}$ 1 $({$ $displaystyle$ N $^{1})$ 로 $N^1$ 시작하여 $N_{pq}^{j}$ $N_{pq}^{j}$ $N_{pq}^{j}$ j({ $displaystyle$ $N_{pq}^{j}$ N_ ${$ $pq$ }^{ $j$ 및 $w_{p}\cdots w_{q}$ 모든 $워드가$ 될 확률의 합계입니다. $문법$ G $(\displaystyle$ G $G$ ^[1]

{{displaystyle \alpha _{j}(p,q)=P(w_{1(p-1),N_{pq}^{j},w_{(q+1)m}G)}

내부 확률 계산

베이스 케이스:

$\displaystyle _{j}(p,p)=P(w_{p} N^{j},G)}$

일반적인 케이스:

문법에 $N_{j}\rightarrow N_{r}N_{s}$ $N_{j}\rightarrow N_{r}N_{s}$ $N_{j}\rightarrow N_{r}N_{s}$ $N_{j}\rightarrow N_{r}N_{s}$ r $N_{j}\rightarrow N_{r}N_{s}$ N $N_{j}\rightarrow N_{r}N_{s}$ {\ $displaystyle N_{$ j}\ $rightarrow N_{r}N_{$ s $N_{j}\rightarrow N_{r}N_{s}$ }이 있다고 가정하면, $N_{j}$ j { $displaystyle$ $n_$ {p}\ $cdots w_$ ${$ $q}$ 에서 $w_p \cdots w_q$ $N_{j}$ $N_{j}$ 하는 w p $w_{p}\cdots w_{q}$ w $w_{p}\cdots w_{q}$ w w w w w $w_{p}\cdots w_{q}$ w $styledisplay$ w_{ $p$ }가 $w_{p}\cdots w_{q}$ 됩니다.

$\displaystyle \sum _{k=p}^{k-1}P(N_{j}\rightarrow N_{r}N_{s})\beta _{r}(p,k)\displaystyle _{s}(k+1,q)}$

$\beta _{j}(p,q)$ j ( $\beta _{j}(p,q)$ , $)({displaystyle$ \ $beta _{j}(p,q$ )})는 $\beta _{j}(p,q)$ 가능한 모든 규칙의 합계입니다.

$\displaystyle _{j}(p,q)=\sum _{N_{r},N_{s}}\sum _{k=p}^{k=q-1}P(N_{j}\rightarrow N_{r}N_{s}\beta _{r}(p,k)\s}+1$

확률외의 계산

베이스 케이스:

$\displaystyle \alpha _{j}(1,n)=param{case}1&{\mbox{if}}j=1\0&{\mbox{cases}}\end{cases}}}$

여기서 시작 기호는 $N_{1}$ 1 $(\$ N_ ${1$ 입니다.

일반적인 케이스:

$N_{j}$ j 를 $생성$ 하는 문법에 $N_{r}\rightarrow N_{j}N_{s}$ r $N_{r}\rightarrow N_{j}N_{s}$ $N_{r}\rightarrow N_{j}N_{s}$ j $N_{r}\rightarrow N_{j}N_{s}$ {\ $displaystyle$ $N_{r}\rightarrow N_{j}N_{s}$ N_ ${$ $r$ }\ $rightarrow N_{$ $j}$ $N_{s$ $N_{j}$ $N_{r}\rightarrow N_{j}N_{s}$ 이 $N_{r}\rightarrow N_{j}N_{s}$ 있다고 가정합니다.다음으로 외부 $\alpha _{j}(p,q)$ j ( $\alpha _{j}(p,q)$ , $\alpha _{j}(p,q)$ q $){displaystyle \alpha$ _ ${j}(p,q)}$ 에 $\alpha_j(p,q)$ 대한 이 규칙의 왼쪽 기여는 다음과 같습니다.

$\displaystyle \sum _{k=1}^{k=n}P(N_{r}\rightarrow N_{j}N_{s}\alpha _{r}(p,k)\alpha _{s}(q+1,k)}$

이제 문법에 $N_{r}\rightarrow N_{s}N_{j}$ N $N_{r}\rightarrow N_{s}N_{j}$ $N_{r}\rightarrow N_{s}N_{j}$ $N_{r}\rightarrow N_{s}N_{j}$ $N_{r}\rightarrow N_{s}N_{j}$ j \ $displaystyle$ N_ ${r$ }\ $rightarrow N_{s}N_{j}$ 이 $N_{r}\rightarrow N_{s}N_{j}$ 있다고 가정합니다.따라서 외부 $\alpha _{j}(p,q)$ j $\alpha _{j}(p,q)$ ( $\alpha _{j}(p,q)$ , $\alpha _{j}(p,q)$ q $){displaystyle \alpha$ _ ${j}(p,q)}$ 에 $\alpha_j(p,q)$ 대한 이 규칙의 올바른 기여는 다음과 같습니다.

$\displaystyle \sum _{k=1}^{k=p-1}P(N_{r}\오른쪽 화살표 N_{s}N_{j})\alpha _{r}(k,q)\alpha _{s}(k,p-1)}$

외부 $\alpha _{j}(p,q)$ j $\alpha _{j}(p,q)$ , $\alpha _{j}(p,q)$ $)({displaystyle \alpha$ _ ${j}(p,q)})$ 는 $\alpha _{j}(p,q)$ 이러한 모든 규칙에 대한 좌우 기여의 합계입니다.

$\displaystyle \alpha _{j}(p,q)=\sum _{N_{r},N_{s}\sum _{k=q+1}^{k=n}P(N_{r}\오른쪽 화살표 N_{j}N_{s}\alpha _{r}(p,k)\sum_{sum_{k}_{k}$

레퍼런스

^ ^a ^b Manning, Christopher D.; Hinrich Schütze (1999). Foundations of Statistical Natural Language Processing. Cambridge, MA, USA: MIT Press. pp. 388–402. ISBN 0-262-13360-1.

J. Baker(1979) :음성 인식을 위한 훈련 가능한 문법.J. J. 울프와 D에서.H. Clatt 편집자, 미국 음향학회 제97회 회의에서 발표된 스피치 커뮤니케이션 페이퍼, 547-550페이지, 매사추세츠주 케임브리지, 1979년 6월. MIT.
Karim Lari, Steve J. Young(1990):내부-외부 알고리즘을 사용한 확률적 문맥 자유 문법의 추정.컴퓨터 음성 및 언어, 4:35-56
Karim Lari, Steve J. Young(1991) :Inside를 사용한 확률적 문맥 자유 문법의 적용-외부 알고리즘컴퓨터 음성 및 언어, 5:237~257.
페르난도 페레이라, 이브 샤베스(1992) :부분 괄호로 묶인 코퍼스에서 내부-외부 재견적.제30회 컴퓨터 언어학 협회, 컴퓨터 언어학 협회, 128–135에 관한 연차 회의의 속행.

외부 링크

[manning-schuetze1999-1] Manning, Christopher D.; Hinrich Schütze (1999). Foundations of Statistical Natural Language Processing. Cambridge, MA, USA: MIT Press. pp. 388–402. ISBN 0-262-13360-1.

[1]

Search