크네저-니 스무딩

Kneser-Ney 스무딩은 주로 그 이력을 바탕으로 문서에서 n그램의 확률 분포를 계산하는 데 사용되는 방법이다.^[1]주파수가 낮은 n그램은 생략하기 위해 확률의 낮은 순서 항에서 고정값을 빼서 절대할인하는 방식을 사용했기 때문에 가장 효과적인 평활법으로 널리 알려져 있다.이 접근방식은 상위 및 하위 n그램 모두에 대해 동등하게 효과적인 것으로 간주되어 왔다.이 방법은 1994년 라인하르트 크네세르, 우트 에센, 헤르만 네이[de]^[2]에 의해 제안되었다.

이 방법의 개념을 잘 보여주는 일반적인 예는 빅램 '샌프란시스코'의 빈도수다.훈련 말뭉치에 여러 번 등장하면 유니그램 '프랜시스코'의 빈도도 높아진다.n그램의 빈도를 예측하기 위해 단일한 주파수에만 의존하면 왜곡된 결과가 나타나지만,^[3] Kneser-Ney 스무딩은 단어에 앞서 가능한 단어에 대한 단어의 빈도를 고려하여 이를 수정한다.

방법

$c{\displaystyle (w}$, ${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$) ${\displaystyle c(w,w')$를 단어 $w{\displaystyle }$ ${\displaystyle w}$에 이어 말뭉치에서$$ $w{\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ${\$의 발생 횟수로 한다$$.

빅그램 확률에 대한 방정식은 다음과 같다.

${\displaystyle p_{KN}(w_{i} w_{i-1})={\frac {\max(c(w_{i-1},w_{i})-\delta ,0)}{\sum _{w'}c(w_{i-1},w')}}+\lambda _{w_{i-1}}p_{KN}(w_{i})}$^[4]

여기서 유니그램 확률 $p{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ ${\displaystyle N_{}{}_{}}$ ${\displaystyle i_{}}$) ${\displaystyle p_{KN}(w_{i}})$은 낯선 맥락에서$$ ${\displaystyle w_{}}$ i ${\$라는 단어를 볼 확률을 결정하는 것으로, 다른 단어$$ 뒤에 나타나는 횟수를 말뭉치에서 구별되는 연속 단어 쌍 수로 나눈 값으로 추정한다.

${\displaystyle p_{KN}(w_{i})={\frac {\{w':0<c(w',w_{i}\}}{{{w',w'}}}}{{{{w',w'}}}}}}:0<c(w',w')\}}}}}}}}$

$p{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ ${\displaystyle N_{}}$ ${\$은(는) 위의 방법으로 정의한 값이 음수가 아니고 합이 1이므로 적절한 분포라는$$ 점에 유의한다.

매개 변수 $\Delta {\displaystyle }$ ${\displaystyle \delta }$은(는) 각 n그램의 카운트(일반적으로 0과 1 사이)에서 차감된 할인 값을 나타내는 상수다$$.

정규화 상수 $\lambda {\displaystyle {}_{}}$ ${\displaystyle {w_{}}_{}}$ -${\displaystyle {1_{}}_{}}$ ${\$$displaystyle$ $\lambda _{w_{i-1}$ 값은 모든 $w{\displaystyle {}_{}}$ ${\displaystyle i_{}}$에$$대해$$ 조건부 확률 $p{\displaystyle {}_{}}$ $KN$ w ${\displaystyle i_{}{}_{}}$- ${\displaystyle 1_{}}$ $KN}(w_{i}$ $w_{i-1})$을 1과 같게$$ 만들기 위해 계산된다$$.나는{\displaystyle w_{나는}는 w의 나는}이 말뭉치에서 1{\displaystyle w_{i-1}− 컨텍스트에 적어도 한번은 우리는 정확히 동일한 상수 양 δ/(∑ w′ c(나는 − w1, 아니 ′)){\disp에 의해 확률은 할인 요금 발생한다 각 w}그(제공되 δ>1{\displaystyle \delta<1})를 관찰한다.을 낳$tyle {\$$displaystyle w_{$i-1$}/\left(\sum _{w'}c(w_{i-1$$}$$w$ 따라서 총 ${\displaystyle {할인}_{}}$은 w -${\displaystyle 1_{}}$ ${\$$displaystyle w_{$$i-1$$}$ 이후에 발생할 수 있는 고유$$ 단어 $수$에 따라 선형적으로 달라진다$.$This total discount is a budget we can spread over all ${\displaystyle p_{KN}(w_{i} w_{i-1})}$ proportionally to ${\displaystyle p_{KN}(w_{i})}$. As the values of ${\displaystyle p_{KN}(w_{i})}$ sum to one, we can simply define ${\displaystyle {\lambda }_{w_{i-1}}}$${\displaystyle \lambda _{w_{i-1}}$은(는) 이 총 할인액과 같아야$$ 한다.

${\displaystyle \lambda _{w_{i-1}={\frac {\frac }{\sum _{w'c(w_{i-1}w')}}}{w':0(w_{i-1}w')\}}}$

이 방정식은 n그램까지 확장할 수 있다.$w$ ${\displaystyle i_{}^{}}$-${\displaystyle {}_{}^{}}$n + ${\displaystyle 1_{}^{}}$i - 1 ${\$은(는) ${\displaystyle n_{}}$${\displaystyle }$-$$ {\$displaystyle$ n-1$}$ 단어로 하고 ${\$:

${\displaystyle p_{KN}(w_{i} w_{i-n+1}^{i-1})={\frac {\max(c(w_{i-n+1}^{i-1},w_{i})-\delta ,0)}{\sum _{w'}c(w_{i-n+1}^{i-1},w')}}+\delta {\frac { \{w':0<c(w_{i-n+1}^{i-1},w')\} }{\sum _{w'}c(w_{i-n+1}^{i-1},w')}}p_{KN}(w_{i} w_{i-n+2}^{i-1})}$^[5]

이 모델은 상위 및 하위 순서 언어 모델의 정보를 통합하는 절대 할인 보간 개념을 사용한다.낮은 순서의 n그램에 대한 용어를 추가하면 높은 순서의 n그램에 대한 카운트가 0일 때 전체 확률에 가중치가 더해진다.^[6]마찬가지로, n그램의 카운트가 0이 아닐 때 하위 순서 모델의 무게는 감소한다.

수정된 크네저-니 스무딩

이 방법의 수정도 존재한다.^[7]

참조