베이시안 프로그래밍

이 기사는 주요 출처에 대한 언급에 너무 많이 의존하고 있다. 이차 또는 3차 소스를 추가하여 개선하십시오. (2016년 8월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

다음에 대한 시리즈 일부
베이지안 통계
이론
인정결정규칙 베이지안 효율 베이지안 인식론 베이지안 확률 확률해석 베이즈 정리 베이즈 인자 베이시안 추론 베이시안 네트워크 이전 후향 우도 결합전 후방예측 하이퍼 파라미터 하이퍼프리스트 무관심의 원리 최대 엔트로피의 원리 경험적 베이즈 방식 크롬웰의 법칙 번스타인-본 미세스 정리 슈바르츠 기준 신뢰할 수 있는 간격 최대 후미 추정치 급진확률주의
기술
베이지안 선형 회귀 분석 베이시안 추정기 대략적인 베이시안 연산 마르코프 체인 몬테카를로
수학포털
v t

통계에 대한 시리즈 일부
확률론
확률 공리 결정론 시스템 인디테르민주의 무작위성
확률공간 샘플 공간 이벤트 총체적으로 철저한 사건들 초등 이벤트 상호배타성 결과 싱글턴 실험 베르누이 재판 확률분포 베르누이 분포 이항 분포 정규 분포 확률측도 변량변수 베르누이 과정 연속 또는 이산형 기대값 마르코프 체인 관측치 무작위 보행 확률적 과정
보완적 사건 관절확률 한계 확률 조건부 확률
독립 조건부 독립성 전체 확률의 법칙 대수의 법칙 베이즈 정리 부울의 부등식
벤 다이어그램 트리 다이어그램
v t

베이시안 프로그래밍은 확률론적 모델을 명시하고 필요한 정보가 없을 때 문제를 해결하는 기법을 갖는 형식주의 및 방법론이다.

에드윈 T. 제인즈는 불완전하고 불확실한 정보를 가진 이성적 추론의 대안이자 논리의 확장으로서 확률을 고려할 수 있다고 제안했다. 그의 창간 저서 확률론에서: 그가^[1] 개발한 과학논리는 이 이론을 발전시켜 이른바 '로봇'이라는 것을 제안했는데, 이는 물리적인 장치가 아니라 확률적 추론을 자동화하기 위한 추론 엔진인 논리가 아닌 확률에 대한 일종의 프롤로그였다. 베이시안 프로그래밍은^[2] 이 "로봇"의 공식적이고 구체적인 구현이다.

베이시안 프로그래밍은 예를 들어 베이시안 네트워크, 동적 베이시안 네트워크, 칼만 필터 또는 숨겨진 마르코프 모델과 같은 그래픽 모델을 지정하기 위한 대수적 형식주의로도 보일 수 있다. 실제로 베이시안 프로그래밍은 베이시안 네트워크보다 일반적이며 확률론적 요인 그래프와 동등한 표현력을 가지고 있다.^[3]

형식주의

베이시안 프로그램은 확률 분포의 집단을 지정하는 수단이다.

베이시안 프로그램의 구성 요소는 다음과 같다.^[4]

${\displaystyle {\text{Program}}{\begin{cases}{\text{Description}}{\begin{cases}{\text{Specification}}(\pi ){\begin{cases}{\text{Variables}}\\{\text{Decomposition}}\\{\text{Forms}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\{\text{Question}}\end{cases}}}$

1. 프로그램은 설명과 질문으로 구성된다.
2. 설명은 프로그래머가 제공한 일부 $({\displaystyle \pi$}$$)과 데이터 집합(${\displaystyle }$ ${\displaystyle \delta })$을 사용하여 사양에 완전히 지정되지 않은 파라미터에 대한 식별 또는 학습 프로세스를 사용하여 작성된다.
3. 규격은 관련 변수 집합, 분해 및 형태 집합에서 생성된다.
4. 양식은 파라메트릭 양식이나 다른 베이시안 프로그램에 대한 질문이다.
5. 질문은 어떤 확률 분포를 계산해야 하는지 명시한다.

설명

The purpose of a description is to specify an effective method of computing a joint probability distribution on a set of variables ${\displaystyle \left\{X_{1},X_{2},\cdots ,X_{N}\right\}}$ given a set of experimental data ${\displaystyle \delta }$ and some specification ${\displaystyle \$$pi$ $\}.$ 이 공동 분포는 $다음$과 같이 표시된다: P${\displaystyle }$( ${\displaystyle X{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle \wedge }$ X${\displaystyle {}_{}}$ ${\displaystyle {\delta }_{}}$ ${\displaystyle X}$ N${\displaystyle }$Δ ${\displaystyle \Delta }$ ${\displaystyle )}$ )$${\$displaystyle P\left(X_{1}\$1}\$wedge$ X_{$2}\cdots \wedge X_{N}\mid \delta \wedge$\pi \$pi$ \pi \pi$\pi$ \pi \right$\}.$^[5]

예비 지식 $\pi {\displaystyle }$ ${\displaystyle \pi }$을(를) 지정하려면 프로그래머가 다음 작업을 수행해야 한다$.$

1. 공동 분포를 정의하는$$ 관련 변수 $\{{\displaystyle X{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ 2,${\displaystyle {}_{}\cdots }$, ${\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\displaystyle {}_{}}$ ${\$의 집합을 정의하십시오.
2. 공동 분포를 분해한다(관련된 독립 확률 또는 조건부 확률로 구분).
3. 각 분포의 형태(예: 각 변수에 대해 확률 분포 목록 중 하나)를 정의하십시오.

분해

Given a partition of ${\displaystyle \left\{X_{1},X_{2},\ldots ,X_{N}\right\}}$ containing ${\displaystyle K}$ subsets, ${\displaystyle K}$ variables are defined ${\displaystyle L_{1},\cdots ,L_{K}}$, each corresponding to one of these subsets. 각 변수 $L{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$$displaystyle L_$${\displaystyle {{}_{}}_{}}$$k$${\displaystyle \}\}}$은$($는$)$ k ${\displaystyle {t{}_{}}_{}}$ h {\$displaystyle \{x_{1},X_{k_{2}},\cdots \right\}}}$을(를) 함께 사용하여$$ 얻는다$$$.$ 베이즈 정리의 재귀적 적용은 다음과 같은 결과를 초래한다.

$디스플레이 스타일 {\displaystyle}&P\왼쪽(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\왼쪽(L_{1}\wedge \cdots \cdots \wedge L_{K}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid L_{1}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid L_{K-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)\end{aligned}}}$

그러면 조건부 독립 가설은 더 단순화할 수 있다. A conditional independence hypothesis for variable ${\displaystyle L_{k}}$ is defined by choosing some variable ${\displaystyle X_{n}}$ among the variables appearing in the conjunction ${\displaystyle L_{k-1}\wedge \cdots \wedge L_{2}\wedge L_{1}}$, labelling ${\dis$$Playstyle R_{k}}$을(를) 이러한 선택한 변수와 설정의 결합으로$$ 사용:

$\displaystyle P\left(L_{k}\mid L_{k-1}\wedge \cdots \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)=P\왼쪽(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$

그 후 다음을 얻는다.

$디스플레이 스타일 {\displaystyle}&P\왼쪽(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid R_{2}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid R_{K}\wedge \delta \wedge \pi \right)\end{aligned}}}$

이러한 공동분포를 단순한 분포의 산물로서 단순화하는 것을 체인 규칙을 사용하여 도출한 분해라고 한다.

이것은 각 변수가 수학적으로 유효한 분해물을 작성하는 데 필요하고 충분한 조건인 컨디셔닝 바의 왼쪽에 최대 한 번 나타나도록 보장한다.^{[citation needed]}

양식

Each distribution ${\displaystyle P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$ appearing in the product is then associated with either a parametric form (i.e., a function ${\displaystyle f_{\mu }\left(L_{k}\right)}$) or a question to another Bayesian program ${\displaystyle P(}$$Δ$$P\왼쪽(L\mid R\wedge$ {\$widehat {\delta }}\widehat {\pi }\오른쪽$

$일반적$으로 f ${\displaystyle {\mu }_{}{}_{}}$ ${\displaystyle k_{}}$) ${\$) 형식인$$경우$,$ $\mu {\displaystyle }$ ${\displaystyle$\mu}은$($는$)$ ${\displaystyle R_{}}$ k {\$displaystyle R_{k}$ 또는$$ $\Delta {\displaystyle }$ ${\delta } 또는$ 둘 모두에 의존할$$ 수 있는 파라미터의 벡터다$$. 이러한 파라미터 중 일부가 데이터 세트$\Delta {\displaystyle }$ {\$displaystyle \delta$ }을$($를) 사용하여 계산될 때 학습이 이루어진다$.$

베이시안 프로그래밍의 중요한 특징은 다른 베이시안 프로그램에 대한 질문을 새로운 베이시안 프로그램의 정의의 구성요소로 사용할 수 있는 능력이다. ${\displaystyle P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)}$ is obtained by some inferences done by another Bayesian program defined by the specifications ${\displaystyle {\widehat {\pi }}}$ and the data ${\displaystyle {\widehat {\delta }}}$. This is similar to 고전적인 프로그래밍에서 서브루틴을 호출하고 계층적 모델을 쉽게 구축할 수 있는 방법을 제공한다.

질문

Given a description (i.e., ${\displaystyle P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)}$), a question is obtained by partitioning ${\displaystyle \left\{X_{1},X_{2},\cdots ,X_{N}\right\}}$ into three sets: the s이어링된 변수, 알려진 변수 및 자유 변수.

세 변수 $S{\displaystyle }$ ${\displaystyle e}$ a a ${\displaystyle a}$ ${\displaystyle c}$ ${\displaystyle h}$ ${\displaystyle d}$ ${\displaystyle Search$ $K{\displaystyle }$ n ${\displaystyle o}$ ${\displaystyle w}$ ${\displaystyle n}$ ${\displaystyle Known}$ 및 $F$ ${\displaystyle r}$ ${\displaystyle e}$ ${\displaystyle Free}$은 이러한 집합에 속하는 변수의 결합으로 정의된다$$.

질문은 분포의 집합으로 정의된다.

${\displaystyle P\왼쪽(Searched\mid {\text{nown}}\wedge \delta \wedge \pi \right)}$

${\displaystyle \mathrm{Kn}}$ ${\displaystyle o}$ w ${\displaystyle n}$ ${\displaystyle Known}$의 추기경으로서 많은 "인스턴트 질문"으로 만들어졌으며$,$ 각각의 질문은 다음과 같은 분포가 된다.

${\displaystyle P\왼쪽({\text{Searched}\mid {\text{Known}\delta \wedge \pi \right)}$

추론

Given the joint distribution ${\displaystyle P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)}$, it is always possible to compute any possible question using the following general inference:

$디스플레이 스타일 {\displaystyle}&P\왼쪽({\text{Searched}}\mid {\text{nown}}\wedge \delta \wedge \pi \right)\\={}&\sum _{\text{Free}\왼쪽[P\왼쪽({\text{Searched}}\text{Free}}}\mid {\text{Known}}\delta \wedge \wedge \pi \right]\\\\\\\\\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle P\left({\text{Known}}\mid \delta \wedge \pi \right)}}\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle \sum _{{\text{Free}}\wedge {\text{Searched}}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}}\\\={{}&}{\frac {1}{Z}\time \sum _{\text{Free}\왼쪽[{\text{Searched}}\wedge{\text{Free}}\wedge {\\delta \pi\right}}\liged}}}}\liged}}}}}}}}}\liged}}}}}}}}ned}$

첫 번째 평등이 한계화 규칙에서 비롯되는 경우, 두 번째 평등은 베이즈의 정리로부터, 세 번째 평등은 한계화의 두 번째 적용에 해당한다. 분모는 정규화 기간으로 보이며 상수 $Z{\displaystyle }$ ${\displaystyle Z}$로 대체될 수 있다$.$

이론적으로 이것은 베이지안 추론 문제를 해결할 수 있다. 그러나 실제로 $P{\displaystyle (\text{검색}}$ ${\displaystyle \mid \text{알고}}$ 있는${\displaystyle \Delta }$ Δ${\displaystyle }$δ${\displaystyle \pi }$ $){\$를 계산하는 비용은 거의 모든 경우에 너무 크다$$.

이음매 분포를 분해로 대체하면 다음과 같은 결과를 얻을 수 있다.

$디스플레이 스타일 {\displaystyle}&P\왼쪽({\text{Searched}}\mid {\text{nown}}\wedge \delta \wedge \pi \right)\\={}&{\frac {1}{Z}\sum _{\text{Free}\왼쪽[{k=1}^{k=1}{k}\왼쪽[P_{i}\mid K_{wedge \pi \right]\오른쪽]\end{liged}}}}}}}}}}}}}}$

문제의 차원성은 낮은 차원 분포의 산물로 분해되어 상당히 감소하기 때문에 일반적으로 계산하기 훨씬 간단한 표현이다.

예

베이시안 스팸 탐지

베이시안 스팸 필터링의 목적은 정크 메일을 제거하는 것이다.

그 문제는 공식화하기 매우 쉽다. 이메일은 두 가지 범주 중 하나로 분류되어야 한다: 비 스팸 또는 스팸. 이메일을 분류하는 데 사용할 수 있는 유일한 정보는 그들의 내용, 즉 단어 집합이다. 이러한 단어를 순서를 고려하지 않고 사용하는 것을 흔히 단어모형 백이라고 부른다.

분류자는 더 나아가 사용자에게 적응할 수 있어야 하며 경험을 통해 배울 수 있어야 한다. 초기 표준 설정부터 분류자는 사용자가 자신의 결정에 동의하지 않을 때 내부 매개변수를 수정해야 한다. 따라서 사용자의 기준에 적응하여 비스팸과 스팸을 구별할 수 있다. 그것은 점점 더 기밀로 분류되는 이메일과 마주치게 되면서 그 결과를 향상시킬 것이다.

변수

이 프로그램을 작성하는 데 필요한 변수는 다음과 같다.

1. ${\displaystyle S}$ ${\displaystyle p}$ a ${\displaystyle m}$ ${\displaystyle Spam}$: 2진수 변수, 전자 메일이 스팸이 아니면 거짓이고 그렇지 않으면 참이다.
2. ${\displaystyle W_{}}$ ${\displaystyle {0\mathrm{}}_{}}$, ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle W_{}}$ ${\displaystyle {\mathrm{N}}_{}}$- 1 ${\$: $N{\displaystyle }$ ${\displaysty$ N$} 이진$ 변수$$. ${\displaystyle {}_{}}$사전의 $n{\displaystyle {}^{}}$ ${\displaystyle t^{}}$ ${\displaystyle h^{}}$ ${\$ n$^{{n}}$가 본문에 있으면 ${\displaystyle W_{}}$ ${\displaystyle n_{}}$ ${\$이 참이다.

이러한 $N{\displaystyle }$+ ${\displaystyle 1}$ ${\displaystyle N+1}$ 이진$$ 변수는 전자 메일에 대한 모든 정보를 합한 것이다.

분해

공동분포에서 시작하여 베이즈의 정리를 재귀적으로 적용하여 다음과 같이 얻는다.

${\displaystyle {\begin{aligned}&P({\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-1})\\={}&P({\text{Spam}})\times P(W_{0}\mid {\text{Spam}})\times P(W_{1}\mid {\text{Spam}}\wedge W_{0})\\&\times \cdots \\&\times P\left(W_{N-1}\mid {\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-2}\right)\end{aligned}}}$

이것은 정확한 수학적 표현이다.

본문의 성질(스팸인지 아닌지)을 알고 있는 단어의 출현 확률은 다른 단어의 출현과 무관하다고 가정하면 대폭 간소화할 수 있다. 이것은 순진한 베이즈 가정이고 이것은 이 스팸 필터를 순진한 베이즈 모델로 만든다.

예를 들어 프로그래머는 다음과 같이 가정할 수 있다.

${\displaystyle P(W_{1}\mid {\text{Spam}\land W_{0}}=P(W_{1}\mid {\text{Spam})}}$

최종적으로 다음을 얻으려면:

${\displaystyle P({\text{Spam}}\land W_{0}\land \ldots \land W_{N-1}=P({\text{Spam}})\prod _{n=0}^{N-1}[P(W_{n}}\mid {\text{Spampampampampam}}}}}})]]]}}}}}}}}}}}}}}}}}}}}}}}}}}})}}}}}$

이런 종류의 가정은 순진한 베이즈의 가정으로 알려져 있다. 말 사이의 독립성이 명백히 완전히 사실인 것은 아니라는 점에서 '사랑스럽다'는 것이다. 예를 들어, 그것은 단어 쌍의 외모가 고립된 외양보다 더 중요할 수 있다는 것을 완전히 무시한다. 그러나 프로그래머는 이 가설을 가정할 수 있으며, 얼마나 신뢰할 수 있고 효율적인지를 시험하기 위해 모델과 관련 추론을 개발할 수 있다.

파라메트릭 양식

공동 분포를 계산할 수 있으려면 프로그래머가 $이제{\displaystyle }$ 분해에 나타나는 N${\displaystyle }$+ ${\displaystyle 1}$ ${\displaystyle N+1}$분포를$$ 지정해야 한다.

1. ${\displaystyle P(\text{스팸})}$ ${\displaystyle P({\text{Spam}})$는 예를 들어 $P{\displaystyle ([\text{스팸}}$= ${\displaystyle 1])}$= 0${\displaystyle .75}$ ${\displaystyle P([{\text{Spam}=1])=0.75}$에 의해 사전 정의된 것이다$$.
2. 각 $N{\displaystyle }$ ${\displaystyle N}$ 양식$$ $P{\displaystyle ({}_{}}$ ${\displaystyle n_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \text{스팸}}$) ${\displaystyle P(W_{n}\mid{\text{Spam})$는 라플라스 계승 규칙을 사용하여 지정할 수 있다$$(이것은 이전에 볼 수 없었던 단어의 제로 주파수 문제에 대응하기 위한 유사 마운트 기반 스무딩 기법이다).
   1. ${\displaystyle P(W_{n}\mid [{\text{Spam}}={\text{false}])={\frac {1+a_{f}^{n}{n}{2+a_{f}}}}}}}$
   2. ${\displaystyle P(W_{n}\mid [{\text{Spam}}={\text{true}])={\frac {1+a_{t}^{n}}{{2+a_{t}}}}}}}}$

${\displaystyle {\mathrm{여기}}^{}}$서 ${\displaystyle f_{}^{}}$ ${\$은(는) 비스팸$$ $메일$에 있는 n t h {\displaystyle $n^{th}}$ 단어의$$ 표시 수를 나타내며$$, ${\displaystyle f_{}}$ ${\$는 비 스팸 전자 메일의 총 수를 나타낸다$$. 마찬가지로 t ${\displaystyle {}_{}^{}}$ ${\$은(는) ${\displaystyle {스팸}^{}}$ ${\displaystyle {\mathrm{메일}}^{}}$에 n$$t h {\$displaystyle$n^{$th}}}$ 단어의$$ 출현 횟수를 나타내며$$ ${\displaystyle t_{}}$ ${\$은 스팸$$ 메일의 총 수를 나타낸다.

식별

The ${\displaystyle N}$ forms ${\displaystyle P(W_{n}\mid {\text{Spam}})}$ are not yet completely specified because the ${\displaystyle 2N+2}$ parameters ${\displaystyle a_{f}^{n=0,\ldots ,N-1}}$, ${\displaystyle a_{t}^{n=0,\ldots$$,N-1$ ${\displaystyle f_{}}$ ${\$ ${\displaystyle t_{}}$ ${\$는 아직 값이 없다$$.

이러한 매개변수의 식별은 일련의 분류된 전자우편을 일괄 처리하거나 사용자의 전자우편 분류를 사용하여 매개변수의 증분 업데이트를 통해 이루어질 수 있다.

두 가지 방법을 결합할 수 있다. 즉, 시스템은 일반 데이터베이스에서 발급된 이러한 매개변수의 초기 표준 값에서 시작할 수 있고, 그 다음, 일부 증분 학습은 각 개별 사용자에 대한 분류자를 맞춤화할 수 있다.

질문

프로그램에 대해 묻는 질문은 "이 텍스트에 어떤 단어가 표시되고 나타나지 않는지 알면서 주어진 텍스트가 스팸일 확률은 얼마인가?"이다. 다음을 통해 공식화할 수 있다.

${\displaystyle P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1}}}$

다음과 같이 계산할 수 있다.

${\displaystyle {\begin{aligned}&P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})\\={}&{\frac {\displaystyle P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]}{\displaystyle \sum _{\text{Spam}}[P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]]}}}\end{정렬}}$

분모는 정규화 상수로 나타난다. 우리가 스팸을 다루고 있는지 결정하기 위해 그것을 계산할 필요는 없다. 예를 들어, 쉬운 방법은 다음과 같은 비율을 계산하는 것이다.

${\displaystyle {\begin{aligned}&{\frac {P([{\text{Spam}}={\text{true}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}{P([{\text{Spam}}={\text{false}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}}\\={}&{\frac {P([{\text{Spam}}={\text{true}}])}{P([{\text{Spam}}={\text{false}}])}}}\time \prod _{n=0}^{{N-1}\왼쪽[{\frac {P(w_{n}\mid [{\text}}={\text{true}])}{P(w_{n}}={\text}mid [{Spam}}={\false}])])}}\오른쪽]\끝{정렬}}$

이 계산은 $[\displaystyle 2N}$개의$$ 제품만 필요하기 때문에 빠르고 쉽다.

베이시안 프로그램

베이시안 스팸 필터 프로그램은 다음과 같이 완전히 정의된다.

${\displaystyle \Prer {\begin{case}Ds{\begin}Sp(\pi ){\begin{case}Va:{\text{Spam},W_{0},W_{1}\ldots W_{N-1}\\Dc:{\begin{cases}P({\text{Spam}}\land W_{0}\land \ldots \land W_{n}\land \ldots \land W_{N-1})\\=P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}\mid {\text{Spam}})\end{cases}}\\Fo:{\begin{pase}P({\text{Spam}):{\begin{case}P([{\text{Spam}={\text{false}])=0.25\\P({\text{Spam}={\text{true})=0.75\end{case}\\P(W_{n}\mid{\text{Spam}}):{\begin{case}P(W_{n}\mid [{\text{Spam}={\text{false}])\\={\frac{1+a_{f}^{n}}{2+a_{f}}\\P(W_{n}}\mid [\text{Spam}}={\text{true}])\\={\frac{1+a_{t}^{n}}{2+a_{t}}\end{case}\\end{case}\end{case}\end{case}\\\\text}Identification({}}\delta )\end{case}\Qu:P({\text{Spam}}\mid w_{0}\land \ldots \land w_{n}\land \land \land \land \land w_{N-1}}\end{case}}}}}}}}}$

베이지안 필터, 칼만 필터 및 숨겨진 마르코프 모델

베이지안 필터(흔히 재귀적 베이지안 추정이라고 함)는 시간 진화하는 공정에 대한 일반적인 확률론적 모델이다. 예를 들어 Kalman 필터 또는 Hidden Markov 모델(HM)과 같은 수많은 모델이 이러한 일반적인 접근법의 특정 예들이다.

변수

• 변수 $S{\displaystyle {}^{}}$ ${\displaystyle {0\mathrm{}}^{}}$,${\displaystyle }$… ,${\displaystyle }$S ${\displaystyle T^{}}$ ${\$은 $0{\displaystyle \mathrm{}}$ ${\displaystyle 0}$에서 $T{\displaystyle }$ ${\displaystyle T}$까지의 시간 지평선에 있다고 간주되는 상태 변수의 시계열이다$.$
• 변수 $O{\displaystyle {}^{}}$ ${\displaystyle {0\mathrm{}}^{}}$,${\displaystyle }$… ,${\displaystyle }$O ${\displaystyle T^{}}$ ${\$는 같은$$ 지평선에 있는 관측 변수의 시계열이다.

분해

분해의 기초는 다음과 같다.

• $시스템{\displaystyle }$ 모델, 전환 모델 또는 동적 모델이라 $불리는{\displaystyle }$ P${\displaystyle (S^{}}$ t${\displaystyle {}^{}{}^{}}$ ${\displaystyle S^{}}$t -${\displaystyle {}^{}{1}^{}}$ )$${\$displaystyle$ P$(S^{t}\mid$ S$^{t-1})$에서 t -${\displaystyle 1}$ ${\displaystyle$ $t-1$의 상태에서 t 시간$$ $t$의 상태로의 전환을 공식화한다$.$
• $P{\displaystyle }$( ${\displaystyle {}^{}}$ ${\displaystyle t^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle S^{}}$ t${\displaystyle {}^{}}$) ${\displaystyle P(O^{t}\mid$ S$^{t}})$에 시스템이 상태 $S{\displaystyle {}^{}}$ ${\displaystyle t^{}}$ ${\$에 있을 때 시간$$ $t{\displaystyle }$ {\$displaystyle t}$에서 관찰할 수 있는 것을 표현하는 관찰 모델이라고 한다$.$
• 시간 $0$의 초기 상태 ${\displaystyle 0}$ : P$($${\displaystyle {}^{}{0\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {0\mathrm{}}^{}}$ )${\displaystyle P(S^{0}\wedge$ O$^{0$ .

파라메트릭 형식

파라메트릭 형식은 제한되지 않으며 서로 다른 선택으로 인해 잘 알려진 다른 모델이 나타난다. 바로 아래의 Kalman 필터와 Hidden Markov 모델을 참조하십시오.

질문

The typical question for such models is ${\displaystyle P\left(S^{t+k}\mid O^{0}\wedge \cdots \wedge O^{t}\right)}$: what is the probability distribution for the state at time ${\displaystyle t+k}$ knowing the observations from instant ${\displaystyle 0}$ to ${\displayst$$yle t}$?

가장 일반적인 경우는 과거 관측치를 알고 현재 $상태$를 검색하는${\displaystyle }$k = ${\displaystyle 0}${\$displaystyle k=0$인 베이시안 필터링이다.

그러나(> ) ${\displaystyle (k>0)}$은는) 과거 관측치로부터 미래 상태를 추론하거나, 평활화 < 0) ${\displaystyle (k<0$을(를) 수행하여 그 순간 전후에 이루어진 관측치로부터 과거 상태를 복구할 수도 있다.

보다 복잡한 질문도 HMM 섹션에서와 같이 질문할 수 있다.

베이시안 필터$({\displaystyle \mathrm{k}}$= 0${\displaystyle }$) ${\displaystyle(k=0)}$은 매우 흥미로운 재귀 속성을 가지고$$ 있어 그 매력에 크게 기여한다. ${\displaystyle P\left(S^{t} O^{0}\wedge \cdots \wedge O^{t}\right)}$ may be computed simply from ${\displaystyle P\left(S^{t-1}\mid O^{0}\wedge \cdots \wedge O^{t-1}\right)}$ with the following formula:

${\displaystyle {\begin{array}{ll}&P\왼쪽(S^{t} O^{0}\wedge \cdots \wedge O^{t}\오른쪽)\\=&P\left(O^{t} S^{t}\right)\times \sum _{S^{t-1}}\left[P\left(S^{t} S^{t-1}\right)\times P\left(S^{t-1} O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}}$

이 방정식의 또 다른 흥미로운 관점은 예측 단계와 추정 단계라는 두 가지 단계가 있다는 것을 고려하는 것이다.

• 예측 단계 동안 동적 모델과 이전 순간의 상태 추정을 사용하여 상태를 예측한다.

${\displaystyle {\begin{array}{ll}&P\왼쪽(S^{t} O^{0}\wedge \cdots \wedge O^{t-1}\오른쪽)\\=&\sum _{S^{t-1}\왼쪽[P\left(S^{t}{t-1}\오른쪽)\time P\left(S^{t-1}\wedgecdots \wedge O^{t-1}\1}\wedge-1}\wedge O^{{t-1}\rigreight}}}}}}}}}}}}}}}}}}}}}}}}\end{array}$

• 추정 단계 중 예측은 마지막 관측치를 사용하여 확인되거나 무효화된다.

$디스플레이 스타일 {\displaystyle}&P\왼쪽(S^{t}\mid O^{0}\wedge \cdots \wedge O^{t}\오른쪽)\\={}&P\왼쪽(O^{t}\mid S^{t}\오른쪽)\time P\left(S^{t} O^{0}\wedge \cdots \wedge O^{t-1}\오른쪽)\end{liged}}}}}}$

베이시안 프로그램

${\displaystyle Pr{\begin{case}Ds{\begin}Sp(\pi ){\begin{case}Va:\\S^{0},\cdots,S^{T},O^{0},\cdots,O^{T}\Dc:\\begin{case}&#P\\좌(S^{0}\wedge \cdots \wedge S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T} \pi \right)\\=&P\왼쪽(S^{0}\wedge O^{0}\오른쪽)\time \prod _{t=1}^{{}}T}\왼쪽[P\p(S^{t} S^{t-1}\오른쪽)\time P\left(O^{t}S^{t}\오른쪽)\end{case}}\case}\}\\\\\\cHBFFFFF\t}\time P\lefts.\Fo:\\{\begin{case}P\왼쪽(S^{0}\웨지 O^{0}\오른쪽)\\\\P\왼쪽(S^{t}S^{t-1}\오른쪽)\\\P\left(O^{t}S^{t}\오른쪽)\end{case}\end{case}\end}\case}\nd{case}\\\id\end{case}\\Qu:\\{\begin{cases}{\begin{array}{l}P\left(S^{t+k} O^{0}\wedge \cdots \wedge O^{t}\right)\\\left(k=0\right)\equiv {\text{Filtering}}\\\left(k>0\right)\equiv {\text{Prediction}}\\\left(k<0\right)\equiv {\text{Smoothing}}\end{array}}\end{cases}}\end{cases}}}$

칼만 필터

아주 잘 알려진 칼만 필터는^[6] 베이시안 필터의 특별한 경우다.

이 프로그램은 다음과 같은 베이시안 프로그램에 의해 정의된다.

${\displaystyle Pr{\begin{case}Ds{\begin}Sp(\pi ){\begin{case}Va:\\S^{0},\cdots,S^{T},O^{0},\cdots,O^{T}\Dc:\\begin{case}&#P\왼쪽(S^{0}\웨지 \cdots \wedge O^{T} \pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^0}\pi \right)\\\prod _{t=1}^{}{c}P\ft=1^{0}}T}\\왼쪽[P^{t}S^{t-1}\wedge \pi \right]\time P\left(O^{t}S^{t}\wedge \pi \right)\end{array}\case{}\}\case}\}\}\cards{}\}\}\case}\Fo:\\{\begin{case}P\좌측(S^{t}\mid S^{t-1}\웨지 \pi \오른쪽)\equiv G\좌측(S^{t},A\bullet S^{t-1},Q\오른쪽)\\\P\reft(O^{t}\mid S^{t}\wedge \pi \right)\equiv G\left(O^{t},H\bullet S^{t},R\right)\end{case}}\case}\end{case}}}\d}\case}}}}\\case}\Id\end{case}\\Qu:\\P\왼쪽(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\case}}}}}$

• 변수는 연속적이다.
• The transition model ${\displaystyle P(S^{t}\mid S^{t-1}\wedge \pi )}$ and the observation model ${\displaystyle P(O^{t}\mid S^{t}\wedge \pi )}$ are both specified using Gaussian laws with means that are linear functions of the conditioning variables.

With these hypotheses and by using the recursive formula, it is possible to solve the inference problem analytically to answer the usual ${\displaystyle P(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi )}$ question. 이것은 Kalman 필터의 인기와 그들의 일상적인 애플리케이션의 수를 설명하는 매우 효율적인 알고리즘으로 이어진다.

뚜렷한 선형 전이 및 관찰 모델이 없을 때, 이러한 모델을 국소적으로 취급하는 것이 1차 테일러의 확장을 이용하여 여전히 가능한 경우가 많다. 이러한 일반화를 흔히 확장 칼만 필터라고 한다.

히든 마르코프 모델

히든 마르코프 모델(HM)은 베이시안 필터의 또 다른 인기 있는 전문화 모델이다.

이 프로그램은 다음과 같은 베이시안 프로그램에 의해 정의된다.

${\displaystyle \Prer {\begin{case}Ds{\begin}Sp(\pi ){\begin{case}Va:\\S^{0},\ldots, S^{T},O^{0},\ldots,O^{T}\Dc:\\\begin{case}&#P\왼쪽(S^{0}\wedge \cdots \wedge O^{T}\mid \pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}\mid \pi \right)\\\prod _{t=1}^{{}}{c}}{0}\p}}}{{p}}}}}{{{{{{{{{p}T}\왼쪽[P^{t}\mid S^{t-1}\wedge \pi \right)\time P\left (O^{t}\mid S^{t}\wedge pi \right]\end{array}\right}\case}\nd}\case}\}\}\nd}\nd}\nd}\nd}\nd}\nd}\nd}\ndown\Fo:\\{\begin{case}P\left(S^{0}\wedge O^{0}\mid \pi \right)\equiv {\text{Matrix}}\\P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv {\text{Matrix}}\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv {\text{Matrix}}\end{cases}}\end{cases}}\\id\end{case}\\Qu:\\\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]\end{cases}}}$

• 변수는 별개로 처리된다.
• The transition model ${\displaystyle P\left(S^{t}\mid S^{t-1}\wedge \pi \right)}$ and the observation model ${\displaystyle P\left(O^{t}\mid S^{t}\wedge \pi \right)}$ are

두 개 모두 확률 매트릭스를 사용하여 지정된다.

• HMM에 대해 가장 자주 묻는 질문은 다음과 같다.

${\displaystyle \max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]}$

과거의 관측을 알면서 현 상태로 이어지는 가장 개연성 있는 일련의 상태는 무엇인가?

이 특별한 질문은 Viterbi 알고리즘이라고 불리는 구체적이고 매우 효율적인 알고리즘으로 대답될 수 있다.

더 바움-웰치 알고리즘은 MHMs를 위해 개발되었다.

적용들

학술적 지원

2000년 이후 베이시안 프로그래밍은 로봇공학 응용과 생명과학 모델을 개발하기 위해 사용되어 왔다.^[7]

로보틱스

로봇 공학에서,bayesian 프로그램 자율적 robotics,[8][9][10][11][12]로봇 CADsystems,[13]에 driver-assistance systems,[14]로봇 팔 선행 제어, 모바일 robotics,[15][16]human-robot interaction,[17]human-vehicle 상호 작용(자율 운전자 모델 베이즈)[18][19][20][21][22]비디오 게임 아바타 프로그램과 traini 적용되었다.Ng[23]과 실시간 전략 게임(AI).[24]

생명과학

생명 과학에서,bayesian 프로그래밍은 시력에서 motion,[25]에서 도약 안구 움직임을 연구하려고visuo-vestibular interaction[26]모델이 되는 모양을 재건하기 위해;연설 인식과 제어에[27]과 인식과 계속됨 필적을 모형화 초기 연설 acquisition[28]과articulatory-acoustic 시스템의 출현;[29]공부하는 데 사용되었다.rol.[30]

패턴인식

베이시안 프로그램 학습은 잠재적인 응용 프로그램 음성 인식과 합성, 이미지 인식 및 자연 언어 처리를 가지고 있다. 구성성(부분으로부터 추상적 표현을 구축함), 인과성(부분으로부터 복잡성을 구축함) 및 학습(이전에 인식된 개념을 사용하여 새로운 개념의 창조를 용이하게 함)의 원리를 채용한다.^[31]

가능성 이론

확률론적 접근방식(베이지안 프로그래밍뿐만 아니라)과 가능성 이론의 비교는 계속 논의되고 있다.

예를 들어 퍼지 집합,^[32] 퍼지 논리^[33] 및 가능성 이론과^[34] 같은 가능성 이론은 불확실성을 모형화하는 확률의 대안이다. 그들은 불완전/불확실성 지식의 특정 측면을 모델링하기에 확률은 불충분하거나 불편하다고 주장한다.

확률의 방어는 주로 콕스의 정리에 기초하는데, 콕스의 정리는 불확실성이 존재하는 곳에서 이성적 추론에 관한 네 가지 가설에서 출발한다. 이 가설들을 만족시키는 유일한 수학적 틀이 확률론임을 증명한다. 논거는 확률 이외의 접근방식은 반드시 이러한 가정 중 하나와 그 침해의 가치를 침해한다는 것이다.

확률론적 프로그래밍

확률론적 프로그래밍의 목적은 프로그래밍 언어의 표현성에서 복잡성을 인코딩하는 데까지 이익을 얻으면서 불확실성을 다루기 위해 고전적 프로그래밍 언어의 범위를 확률론적 모델링(특히 베이시안 네트워크)과 통합하는 것이다.

확장 고전 프로그래밍 언어에는 Probabilistic Horn Fireding,^[35] Independent Choice Logic,^[36] PRISM,^[37] Prolog의 확장을 제안하는 ProbLog에서 제안된 논리 언어가 포함된다.

또한 IBAL이나 CHURITE와 같은 기능 프로그래밍 언어(본질적으로 Lisp and Scheme)의 확장일 수도 있다. 기본 프로그래밍 언어는 BlOG와 PEATERIE 또는 CES와 FIGARO와 같은 보다 표준화된 언어처럼 객체 지향적일 수 있다.^[38]

베이시안 프로그래밍의 목적은 다르다. Jaynes의 "논리로서의 가능성"에 대한 이론은 확률은 합리성, 계산, 프로그래밍의 완전한 이론이 재구성될 수 있는 위의 논리의 확장이자 대안이라고 주장한다.^[1] 베이시안 프로그래밍은 불완전성과 불확실성을 고려한 확률에 기초한 프로그래밍 접근법으로 고전 언어를 대체하려고 시도한다.

베이시안적 표현력과 확률적 프로그래밍의 의미론적 표현력과의 정확한 비교는 공공연한 질문이다.

참고 항목

참조

추가 읽기

• Kamel Mekhnacha (2013). Bayesian Programming. Chapman and Hall/CRC. doi:10.1201/b16111. ISBN 978-1-4398-8032-6.

외부 링크

• 베이시안 프로그래밍 전용 추론 엔진 ProBT를 다운로드할 수 있는 베이시안 프로그래밍북의 동반 사이트.
• Bayesian-programming.org 사이트는 자세한 정보와 수많은 출판물을 포함한 베이시안 프로그래밍의 홍보를 위해 2013-11-23을 아카이브에 보관했다.