최대 엔트로피 확률 분포

이 글에는 여러 가지 문제가 있다.이 문제를 개선하거나 대화 페이지에서 토의하십시오.(이러한 템플릿 메시지를 제거하는 방법 및 시기 알아보기) 이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "최대 엔트로피 확률 분포" – 뉴스 · 신문 · 책 · 학자 · JSTOR(2009년 8월) (이 템플릿 메시지를 제거하는 방법과 시기 학습) 이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않기 때문에 대체로 검증되지 않은 상태로 남아 있다. 보다 정확한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2013년 12월) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

통계와 정보이론에서, 최대 엔트로피 확률 분포는 적어도 특정 종류의 확률 분포의 다른 모든 구성원의 엔트로피만큼 큰 엔트로피를 가진다.최대 엔트로피의 원칙에 따라, 특정 등급에 속한다는 것(일반적으로 특정 특성이나 측도로 정의됨)을 제외하고 분포에 대해 알려진 것이 없는 경우, 엔트로피가 가장 큰 분포를 최소 정보 제공 디폴트로 선택해야 한다.동기는 두 가지다. 첫째, 엔트로피를 최대화하면 배포에 내장된 사전 정보의 양이 최소화된다. 둘째, 많은 물리적 시스템은 시간이 지남에 따라 최대 엔트로피 구성으로 이동하는 경향이 있다.null

엔트로피와 미분 엔트로피의 정의

$X{\displaystyle }$ ${\displaystyle X}$이(가) 분포가 지정된 이산형 랜덤 변수인 경우

${\displaystyle \operatorname {Pr}(X=x_{k})=p_{k}\quad {\mbox{{} for }}k=1,2,\ldots }$

$그러면{\displaystyle }$ X ${\displaystyle X}$의 엔트로피가 다음과 같이 정의된다$$.

${\displaystyle H(X)=-\sum _{k\geq 1}p_{k}\log p_{k}.}$

$X{\displaystyle }$ ${\displaystyle X}$이(${\displaystyle 가}$) $확률밀도{\displaystyle }$ p${\displaystyle }$( x${\displaystyle }$) ${\displaystyle p(x$의 연속 랜덤 변수인 경우, X {\$displaystyle$ X$}$의^[1][2][3] $차등$ 엔트로피는 다음과 같이 정의된다.

${\displaystyle H(X)=-\int _{-\int _}^{\p(x)\log p(x)\,dx.}$

$수량{\displaystyle }$ p${\displaystyle }$(${\displaystyle x}$ ) ${\displaystyle \mathrm{로그}}$ ${\displaystyle }$ ${\displaystyle p}$( ${\displaystyle x}$) ${\displaystyle p(x)\log p($${\displaystyle x}$$)}$은 $p{\displaystyle }$( x${\displaystyle }$)${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle p(x)=0}$일 때마다 0으로 이해된다$.$

이것은 엔트로피(정보이론), 최대 엔트로피 원리, 미분 엔트로피에 기술된 보다 일반적인 형태의 특수한 경우다.$최대{\displaystyle }$ 엔트로피 분포와 ${\displaystyle \mathrm{관련}}$하여, H ( X${\displaystyle }$) ${\displaystyle H(X)}$을(를$$) 최대화하면 보다 일반적인 형태도 최대화할 수 있기 때문에 필요한 것은 이것뿐입니다.null

동일한 로그가 일관성 있게 사용되는 한 로그의 베이스는 중요하지 않다. 베이스의 변경은 엔트로피의 리스케일링을 초래할 뿐이다.정보 이론가들은 엔트로피를 비트 단위로 표현하기 위해 베이스 2를 사용하는 것을 선호할 수 있다; 수학자들과 물리학자들은 종종 자연 로그들을 선호할 것이고 엔트로피를 위한 nats의 단위가 될 것이다.null

일반적으로 르베그 측정에 의존하는 것이 "자연적"이라고 방어되는 경우가 많음에도 ${\displaystyle \mathrm{불구하고}}$ d x ${\displaystyle$ dx$}$ 측정의 선택은 엔트로피와 그에 따른 최대 엔트로피 분포를 결정하는 데 중요하다$$.null

측정된 상수가 있는 분포

해당 관심의 많은 통계적 분포는 순간 또는 기타 측정 가능한 양이 상수로 제한되는 분포들이다.루드비히 볼츠만의 다음과 같은 정리는 이러한 제약조건하에서 확률밀도의 형태를 제공한다.null

연속 케이스

S가 실제 숫자 R의 닫힌 부분 집합이고 n개의 측정 가능한₁ 함수 f,...,f_n 및 n개의 숫자₁ a,...,a를_n 지정하도록 선택한다고 가정합시다. 우리는 S에서 지원되고 n개의 순간 조건을 만족하는 모든 실제 값 무작위 변수의 클래스 C를 고려한다.

${\displaystyle \operatorname {E}(f_{j}(X))\geq a_{j}\quad{\mbox{{}}{}}}}}{}}}}}{}}}}.$

C에 밀도함수가 S의 도처에 양수인 부재가 있고, C에 대한 최대 엔트로피 분포가 존재한다면, 확률밀도 p(x)는 다음과 같은 형태를 가진다.

${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}(x)\right)\quad {\\mbox{{{{{j}}}}}모든 }}에 대해$

where we assume that ${\displaystyle f_{0}(x)=1}$. The constant ${\displaystyle \lambda _{0}}$ and the n Lagrange multipliers ${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$ solve the constrained optimization problem with ${\$$displaystyle a_{0}=1}($이 조건은 $p{\displaystyle }$ ${\displaystyle p}$이(가) unity에 통합되도록$$ 보장):^[4]

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\quad \mathrm {subject\;to:\\;} {\\symbol {\boda }\geq \mathbf {0}}$

Karush-Kuhn-Tucker 조건을 사용하면 최적화의 객관적 기능이 ${\$}}에서 오목하기 때문에 최적화 문제가 고유한 해결책이 있음을 알 수 있다.

모멘트 조건이 (불평등 대신) 동일하다면, 즉,

${\displaystyle \operatorname {E}(f_{j}(X)=a_{j}\quad {\mbox{{} for }j=1,\ldots,n,}$

그러면 제약 조건 $condition{\displaystyle \mathit{}}$ ${\$가) 떨어져 라그랑주 승수에 대한 최적화가 제약되지 않게 된다$$.null

이산 케이스

$S{\displaystyle }$=${\displaystyle }${ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle {}_{}}$, . . ${\displaystyle .\}}$ ${\displaystyle S=\{x_{1},x_{2$}, $...$라고 가정합시다.$\}}}$은(완료 또는 무한) reals의 이산형 부분 집합이며$$, $n{\displaystyle }$ ${\displaystyle n}$ 함수₁ f,...,f_n 및 n 번호 a₁,...,a를_n 지정하도록 선택한다. 우리는 S에서 지원되고 n 모멘트 조건을 만족하는 모든 이산 랜덤 변수 X의 클래스 C를 고려한다.

${\displaystyle \operatorname {E}(f_{j}(X))\geq a_{j}\quad{\mbox{{}}{}}}}}{}}}}}{}}}}.$

S의 모든 멤버에 양의 확률을 할당하는 C의 멤버가 존재하고 C에 대한 최대 엔트로피 분포가 존재하는 경우, 이 분포는 다음과 같은 형태를 가진다.

${\displaystyle \operatorname {Pr}(X=x_{k})=\exp \left(\sum_{j=0}^{n}\lambda _{j_{j}(x_{k}\right)\quad{}}}}}}}}}}}}}}}}}}}}}}}}.$

where we assume that ${\displaystyle f_{0}=1}$ and the constants ${\displaystyle \lambda _{0},\;{\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$ solve the constrained optimization problem with ${\displaystyle a_{0}=1}$:^[5]

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\quad \mathrm {subject\;to:\\;} {\\symbol {\boda }\geq \mathbf {0}}$

다시 한 번 모멘트 조건이 동일하면(불평등 대신) 제약 조건 $condition{\displaystyle \mathit{}}$ ${\$가) 최적화에 존재하지 않는다$$.null

동일성 제약의 경우 입증

평등 제약의 경우, 이 정리는 변동과 라그랑주 승수의 미적분학으로 증명된다.제약조건은 다음과 같이 기록할 수 있다.

${\displaystyle \int _{-\infit }^{f_{j}(x)p(x)dx=a_{j}}}}$

우리는 기능성을 고려한다.

${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)dx-a_{j}\right)}$

여기서 $\eta {\displaystyle {}_{}}$ ${\$${0}$ 및 ${\displaystyle {\lambda j}_{}}$ ${\displaystyle j}$ ${\displaystyle \ge }$ ${\displaystyle 1}$ ${\displaystyle \lambda _{j}j$,j$\geq$ 1$}$은 라그랑주 승수다.제로스 구속조건은 확률의 두 번째 공리를 보장한다.다른 제약조건은 함수의 측정에 $n{\displaystyle }$ ${\displaystyle n}$ 순서까지 상수가 주어지는 것이다$.$엔트로피는 기능파생물이 0일 때 극단에 도달한다.

${\displaystyle {\delta J}{\delta p}\왼쪽(p\오른쪽)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}=0}=0}$

이 극단이 실로 최대치라는 것은^{[citation needed]} 독자를 위한 연습이다.따라서 이 경우의 최대 엔트로피 확률 분포는 형식이어야 한다( ( 0 ${\displaystyle :=}$ ${\displaystyle {\eta \mathrm{}}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ -${\displaystyle {}_{}}$ 0 - ${\displaystyle 1}$ ${\displaystyle \lambda _{0}:=\eta _{0}-1$

${\displaystyle p(x)=e^{1+\eta _{0}\cdot e^{n}\sum _{j=1}{j}(x)}}=\expleft(\sum _{j=0}^{j}}}}\{j_{j}j}\rig);;}$

별개의 버전의 증거는 본질적으로 동일하다.null

최대값의 고유성

$p{\displaystyle }$ ${\displaystyle p$ $p{\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ${\$이(가) 기대-불편성을 만족하는 분포라고$$ 가정하자.Letting ${\displaystyle \alpha \in (0,1)}$ and considering the distribution ${\displaystyle q=\alpha \cdot p+(1-\alpha )\cdot p'}$ it is clear that this distribution satisfies the expectation-constraints and furthermore has as support ${\displaystyle \mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}(q)=\mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}(p)\cup \mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}(p^{\prime }}$${\displaystyle \mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')}$. From basic facts about entropy, it holds that ${\displaystyle {\mathcal {H}}(q)\geq \alpha {\mathcal {H}}(p)+(1-\alpha ){\mathcal {H}}(p')}$. Taking limits ${\displaystyle \alpha \longrightarr$$ow 1}$과 $\alpha {\displaystyle }$ α ${\displaystyle ⟶}$ ${\displaystyle 0}$ ${\displaystyle \$${\displaystyle \mathrm{alpha}}$ $\longrightarrow 0}$은(는) $각각$ H (${\displaystyle q}$ )${\displaystyle \ge }$ ${\displaystyle H}$( p${\displaystyle }$)$,$ ${\displaystyle H}$($){\displaystystyle {H}(q)\mathcal {H}(p'),{\mathcalmathcal {H}}$을 산출한다$.$

따라서 기대-불편성을 만족하고 엔트로피를 최대화하는 분포는 반드시 완전한 지지를 가져야 한다. 즉, 분포는 거의 모든 곳에서 긍정적이다.따라서 최대 분포는 기대-불편성을 만족하는 분포 공간의 내부 지점, 즉 국소 극단이어야 한다.따라서 엔트로피-최대화 분포가 고유하다는 것을 두 가지 모두 보여주기 위해(그리고 이것은 또한 국소 극단값이 글로벌 최대치라는 것을 보여준다) 국소 극단값이 고유하다는 것을 보여주기에 충분하다.null

$p{\displaystyle }$, ${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ${\$이(가) 지역 극단이라고 가정하자.Reformulating the above computations these are characterised by parameters ${\displaystyle {\vec {\lambda }},{\vec {\lambda }}'\in \mathbb {R} ^{n}}$ via ${\displaystyle p(x)={\frac {e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rang$$le }}{C({\vec {\lambda }})}}}$ and similarly for ${\displaystyle p'}$, where ${\displaystyle C({\vec {\lambda }})=\int _{x\in \mathbb {R} }e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }~dx}$. We now note a series of identities:Via the satisfaction of the expectation-constraints and utilising gradients/directional derivatives, one has ${\displaystyle D\log(C(\cdot ))\vert _{\vec {\lambda }}=\left.$${\frac {DC(\cdot )}{C(\cdot )}}\right _{\vec {\lambda }}=\mathbb {E} _{p}[{\vec {f}}(X)]={\vec {a}}}$ and similarly for ${\displaystyle {\vec {\lambda }}'}$. Letting ${\displaystyle u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}}$ one obtains:

${\displaystyle 0=\langle u,{\vec {a}}-{\vec {a}}\rangle =D_{u}\log(C(\cdot ))\vert _{{\vec {\lambda }}'}-D_{u}\log(C(\cdot ))\vert _{\vec {\lambda }}=D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}}$

where ${\displaystyle {\vec {\gamma }}=\theta {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'}$ for some ${\displaystyle \theta \in (0,1)}$. Computing further one has

${\displaystyle {\begin{array}{rcl}0&=&D_{u}^{2}\log(C(\cdot )\vert_{\vec {\\\gamma }\}\&#\왼쪽).D_{u}\왼쪽({\frac {D_{cdot )C(\cdot )}{C(\cdot )}}}\오른쪽 _{\vec {\\gamma }\\&=\\왼쪽).{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}}\오른쪽 _{\vec{\gamma}-\왼쪽.{\frac {(D_{u}C(\cdot ))^{2}}{C(\cdot )^{2}}}\right _{\vec {\gamma }}\\&=&\mathbb {E} _{q}[(\langle u,{\vec {f}}(X)\rangle )^{2}]-\left(\mathbb {E} _{q}[\langle u,{\vec {f}}(X)\rangle ]\right)^{2}=\mathrm {Var} _{q}(\langle u,{\vec {f}}(X)\rangle )\\\end{array}}}$

여기서$q{\displaystyle }$ {\$displaystyle$q}은(는) 위의 분포와 유사하며$$, 오직 ${\displaystyle \stackrel{}{\to }}$ →$${\$displaystyle {\\vec{\gamma }}}$에 의해 매개된다$.$ 관측 가능성의 비-직접 ${\displaystyle \mathrm{선형}}$ 결합이 거의 모든 곳(예: 관측 가능이 독립적이고 상수가 아닌 경우 고정)에 의해 유지된다고 가정한다$.{\displaystyle }$${\displaystyle ,}$ ${\displaystyle f\stackrel{}{}}$→${\displaystyle }$( X${\displaystyle }$) ${\displaystyle ⟩}$ ${\displaystyle \langle u,{\vec {f}(X)\rangele }$은(는) ${\displaystyle 0}$이 아닌 분산을 가지고$$ 있다.${\displaystyle }u{\displaystyle }$ = 0 ${\displaysty u=0$ 따라서 위의 방정식에 의해 후자는 반드시 해당해야 한다.따라서 $\lambda {\displaystyle {\stackrel{}{}}^{}}$→ ${\displaystyle {\prime }^{}}$ -${\displaystyle \lambda \stackrel{}{}}$→ =${\displaystyle u}$= ${\displaystyle 0}$ ${\displaystyle {\vec {\lambda }-{\vec {\lambda }}}}}=u=0$이(가)므로 국소극 $p{\displaystyle ,}$ ${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ${\$의 특성을 나타내는 매개변수는 동일하므로$$ 분포 자체가 동일하다는 것을 의미한다.따라서, 국부 극한은 고유하며, 위의 논의에 의해, 국부 극한은 실제로 존재한다고 가정할 경우 최대 극한은 고유하다.null

주의사항

모든 분포 클래스가 최대 엔트로피 분포를 포함하는 것은 아니라는 점에 유의하십시오.클래스에 임의의 큰 엔트로피의 분포(예: 평균 0이지만 임의의 표준 편차가 있는 R에 대한 모든 연속 분포의 분류)가 포함되거나 엔트로피가 위에 경계되지만 최대 엔트로피를 달성하는 분포가 없을 수 있다.^[a]또한 등급 C에 대한 기대값 제한은 S의 특정 부분 집합에서 확률 분포를 0으로 강제할 수 있다.그럴 경우 우리의 정리가 적용되지 않지만, 세트 S를 줄임으로써 이 문제를 해결할 수 있다.

예

모든 확률 분포는 분포가 자체 엔트로피를 가지고 있다는 제약조건 하에서 사소한 경우 최대 엔트로피 확률 분포다.이를 보려면 $밀도$를 p${\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle \exp }$ ${\displaystyle }$( ${\displaystyle \ln }$ ${\displaystyle }$ p${\displaystyle }$( ${\displaystyle x}$)${\$ {$p(x)})$로 다시 작성하고 위의 정리$$ 표현과 비교한다.${\displaystyle \ln }$ ${\displaystyle p}$ ( x${\displaystyle }$)${\displaystyle }$→ ${\displaystyle f}$( ${\displaystyle x}$) ${\displaystyle \ln {p(x)}\rightarrow f(x)}$을(를) 측정 가능한 함수로 선택하여$$

${\displaystyle \int \exp {(f(x)}f(x)dx=-H}$

상수가 되려면 $p{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle p(x)}$은 제약 조건 하의 최대 엔트로피 확률 분포다.

${\displaystyle \int }$ ${\displaystyle p}$( ${\displaystyle x}$) ${\displaystyle f}$( x${\displaystyle }$) ${\displaystyle d}$ ${\displaystyle x}$=${\displaystyle }$- ${\displaystyle H}$ ${\displaystyle \int p(x)f(x)dx=-H}$.

비경쟁적 예로는 엔트로피 할당과 다른 복수의 제약조건을 따르는 분포가 있다.이는 종종 동일한 절차 ${\displaystyle \ln p}$p (${\displaystyle x}$) →${\displaystyle f}$ ( ${\displaystyle x}$)에서 시작하여$$ f${\displaystyle }$(${\displaystyle x}$ ) ${\displaystyle \ln {p(x)}\오른쪽$ 화살표 $f(x)}}$에서 f ( x${\displaystyle }$) ${\displaysty f(x)}$을(으)로 분리할 수 있다는$$ 것을 발견함으로써 발견된다.null

최대 엔트로피 분포의 예시 표는 Lisman(1972)과 Park & Bera(2009)에 제시되어 있다.^[7]

균일하고 조각이 있는 균일 분포

구간[a,b]의 균일한 분포는 구간[a, b]에서 지원되는 모든 연속 분포 중 최대 엔트로피 분포로, 따라서 확률 밀도는 구간 바깥에서 0이다.이 균일한 밀도는 때때로 불충분한 이성의 원리라고 불리는 라플레이스의 무관심 원리와 관련이 있을 수 있다.보다 일반적으로, 만일 우리에게 소분할 a=a₀₁ < ...>가 주어진다면.< a_k = b interval [a,b]와₁ 확률 p, ...,p를_k 1까지 더하면 다음과 같은 모든 연속 분포의 등급을 고려할 수 있다.

${\displaystyle \operatorname {Pr}(a_{j-1}\leq X<a_{j}=p_{j}=p_{j}\quad{\mbox{ for }}}}:{j=1,\ldots,k}$

이 세분류에 대한 최대 엔트로피 분포의 밀도는 각 구간_j-1[a,a_j]에서 일정하다.유한 집합 {x₁,...,x_n}에 대한 균일한 분포(이 값들 각각에 1/n의 확률을 할당함)는 이 집합에서 지원되는 모든 이산형 분포 사이의 최대 엔트로피 분포다.null

양수 및 지정 평균: 지수 분포

밀도 함수가 있는 지수 분포

${\displaystyle p(x \lambda )={\preason{case}\probeda e^{-\\putda x}&x\geq 0,\0&x<0,\end{case}}}}}}}$

지정된 평균이 1/10인 [0,197]에서 지원되는 모든 연속 분포의 최대 엔트로피 분포다.null

지정된 평균 및 분산: 정규 분포

밀도 함수가 있는 정규 분포 N(μ,³²)

${\displaystyle p(x \mu ,\frama )={\frac {1}{\frac {2\pi }}}e^{-{\frac {(x-\mu )^{2}}:{2\ma ^{2}},},}$

지정된 분산(특정 순간)과² 함께 (-multi,multi)에서 지원되는 모든 실제 값 분포 중에서 엔트로피가 최대값이다.따라서, 정규성의 가정은 이 순간을 넘어서는 최소한의 선행 구조적 제약조건을 부과한다. (도출은 미분 엔트로피 기사 참조)null

[0,192]에서 지원되는 분포의 경우, 최대 엔트로피 분포는 첫 번째와 두 번째 모멘트 사이의 관계에 따라 달라진다.특정한 경우 지수 분포일 수도 있고, 다른 분포일 수도 있고, 정의 불가능한 분포일 수도 있다.^[8]null

지정된 평균을 갖는 이산형 분포

지정된 평균 μ를 사용하여 집합 {x₁,...,x_n}에서 지원되는 모든 이산형 분포 중에서 최대 엔트로피 분포는 다음과 같은 형태를 가진다.

${\displaystyle \operatorname {Pr}(X=x_{k})=Cr^{x_{k}}\quad{\mbox{{}}:}}:1,\ldots,n}$

여기서 모든 확률의 합은 1이어야 하고 기대값은 μ여야 한다는 요건에 의해 양의 상수 C와 r을 결정할 수 있다.

예를 들어, 많은 수의 N개의 주사위를 던졌는데, 표시된 숫자의 합이 모두 S라고 한다면. 이 정보만으로도 1, 2, ..., 6을 나타내는 주사위의 수에 대해 합리적인 가정은 무엇일까? 이것은 위에서 고려한 상황의 예로서, {x₁, ....,x₆} = {1,...,6}, μ = S/N이다.null

마지막으로 무한 세트${\displaystyle }${ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{x\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$,${\displaystyle }$. . ${\displaystyle .\}}$ ${\displaystyle \{x_{1},x_{2$}에서 지원되는 모든 이산형 분포 중에서$...$$\}}}$ 평균 μ의 최대$$ 엔트로피 분포는 다음과 같은 형태를 가진다.

${\displaystyle \operatorname {Pr}(X=x_{k})=Cr^{x_{k}}\quad{\mbox{{}}}{}k=1,2,\ldots,}$

여기서 다시 상수 C와 r은 모든 확률의 합이 1이어야 하고 기대값은 μ여야 한다는 요건에 의해 결정되었다.예를 들어, x_k = k인 경우, 이것은

${\displaystyle C={\frac {1}{\mu -1},\quad \quad r={\frac {\mu -1}{\mu },}$

각각의 최대 엔트로피 분포가 기하 분포인 경우.null

원형 랜덤 변수

단위 원을 중심으로 분포된$$ 연속 랜덤 변수 ${\displaystyle {\theta }_{}}$ i ${\$의 경우, 첫 번째 원형 모멘트의 실제와 가상의 부분이^[9] 지정되거나 동등하게 원형 평균과 원형 분산이 지정될 때 엔트로피를 최대화한다.null

각도 ${\displaystyle i_{}}$ i ${\$ modulo$$ $2{\displaystyle \mathrm{}}$ ${\displaystyle \pi }$ ${\displaystyle 2\pi }$의 평균과 분산이 지정되면$$ 래핑된 정규 분포는 엔트로피를 최대화한다.^[9]null

지정된 평균, 분산 및 스큐에 대한 최대값

$R{\displaystyle \mathbb{}}$ ${\$에 있는 연속 랜덤 변수의 엔트로피에 지정된 평균, 분산 및 스큐가 있는$$ 상한 값이 있다.때문에 p()))cexp ⁡(x+λ 2x2+λ 3λ 1x3){\displaystyle p())=c\exp{(\lambda_{1}x+\lambda_{2}x^{2}+\lambda_{3}x^{3})}} 때λ 3≠ 0{\displaystyle \lambda_{3}\neq 0}(토마스(2006년:장 12뚜껑을 덮및 보))에 끌려가는 사람들이 그러나, 이 상한 달성하지 유통, 있다..null

그러나 최대 엔트로피는 ε-해당 가능하다: 분포의 엔트로피는 임의로 상한에 근접할 수 있다.지정된 평균과 분산의 정규 분포로 시작하십시오.양의 기울기를 도입하려면 정규 분포를 평균보다 훨씬 큰 값으로 소량만큼 위로 동요시킨다.세 번째 모멘트에 비례하는 왜도는 낮은 모멘트보다 더 큰 영향을 받을 것이다.null

This is a special case of the general case in which the exponential of any odd-order polynomial in x will be unbounded on ${\displaystyle \mathbb {R} }$. For example, ${\displaystyle ce^{\lambda x}}$ will likewise be unbounded on ${\displaystyle \mathbb {R} }$, but when the support is limited to a bounded or se상한 엔트로피 경계가 달성될 수 있는 mi-경계 구간(예: x가 구간 [0,10] 및 and< 0에 있는 경우 지수 분포가 발생한다).null

지정된 평균 및 편차 위험 측정에 대한 최대값

로그 콘케이브 밀도가 있는 모든 분포는 지정된 평균 μ와 편차 위험 측정 D를 갖는 최대 엔트로피 분포다.^[10]null

특히, ${\displaystyle \mathrm{지정}}$된 평균 $E{\displaystyle (}$ x${\displaystyle }$)${\displaystyle }$= ${\displaystyle \mu }$ ${\displaystyle E(x)=\mu },$ 편차$$ $D{\displaystyle (x}$)${\displaystyle }$= ${\displaystyle d}$ ${\displaystyle D(x)=d}$의 최대 엔트로피 분포는 다음과$$ 같다.

• $D{\displaystyle (}$ $x{\displaystyle }$${\displaystyle }$)${\displaystyle }$= ${\displaystyle E\sqrt{}}$[${\displaystyle \sqrt{}}$( x${\displaystyle \sqrt{}}$-${\displaystyle \sqrt{{}^{}\mu }}$ ) ${\displaystyle \sqrt{{2\mathrm{}}^{}}}$ ${\displaystyle \sqrt{{}^{}}}${\$displaystyle D(x)={\sqrt{E[(x-\mu )^{2}}}}}}$이(가) 표준 편차인 경우 정규 분포 N$(m,d^{2})},$
• $D{\displaystyle (}$ ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle E(}$ x -${\displaystyle \mu }$) ${\displaystyle D(x)=E(x-\mu )}$이(가) 평균 절대 편차인 경우 ^[6]라플라스 분포
• The distribution with density of the form ${\displaystyle f(x)=c\exp(ax+b{[x-\mu ]_{-}}^{2})}$ if ${\displaystyle D(x)={\sqrt {E[{(x-\mu )_{-}}^{2}]}}}$ is the standard lower semi-deviation, where ${\disp$$레이스타일 [x]_{-}:=\max\{0,-x\}}$및 a,b,c는 상수다.^[10]

기타 예

아래 표에서 열거된 각 분포는 세 번째 열에 열거된 특정 기능 제약 조건들의 집합에 대한 엔트로피와 네 번째 열에 열거된 확률 밀도의 지지에 x가 포함되는 제약 조건을 최대화한다.^[6][7]열거된 몇 가지 예(Bernouli, 기하학, 지수, 라플라스, 파레토)는 관련 제약조건이 엔트로피의 할당과 동일하기 때문에 사소한 사실이라고 할 수 있다.그들은 그들의 제약조건이 공통적이거나 쉽게 측정되는 양과 관련이 있기 때문에 어쨌든 포함되어 있다.For reference, ${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$ is the gamma function, ${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ is the digamma function, ${\displaystyle B}$${\displaystyle (}$ ${\displaystyle p}$ ,${\displaystyle q}$ ${\displaystyle )}$= ${\displaystyle \frac{\mathrm{\gamma }}{}}$( p${\displaystyle \frac{}{}}$) ${\displaystyle \frac{\mathrm{}}{}}$ (${\displaystyle \frac{q}{}}$ )${\displaystyle \frac{}{}}${ ( p${\displaystyle \frac{}{}}$+ ${\displaystyle \frac{q}{}}$) ${\$감마 (p+q$)}}}}}}}}}$는_E 오일러-마스체로니 상수이다.null

확률 분포 및 해당 최대 엔트로피 제약 조건 표

배포 이름	확률밀도/질량함수	최대 엔트로피 제약 조건	지원
균일(분리)	${\displaystyle f(k)={\frac {1}{b-a+1}}$	없음	${\displaystyle \{a,a+1,...,b-1,b\}\,}$
균일(연속)	${\displaystyle f(x)={\frac {1}{b-a}}$	없음	$디스플레이 스타일 [a,b]\, [a,b]\,}$
베르누이	${\displaystyle f(k)=p^{k}(1-p)^{1-k}}$	${\displaystyle \operatorname {E}(k)=p\,}$	${\displaystyle \{0,1\}\,}$
기하학	${\displaystyle f(k)=(1-p)^{k-1}\,p}$	${\displaystyle \operatorname {E}(k)={\frac {1}{p}\,}$	${\displaystyle \mathb {N} \setminus \left\{0\right\}=\1,2,3,...\}}$
지수적	$\displaystyle f(x)=\exp \leftda\ftda x\오른쪽)}$	${\displaystyle \operatorname {E}(x)={\frac {1}{\lambda }},}$	$(\displaystyle [0,\fty )\,}$
라플라스	${\displaystyle f(x)={\frac {1}{1}{2b}\exp \left(-{\frac {x-\mu }{b}\오른쪽)}$	${\displaystyle \operatorname {E}(x-\mu )=b\,}$	$(-\displaystyle(-\fty,\fty)\,}$
비대칭 라플라스	${\displaystyle f(x)={\frac {\\fraca \,e^{-(x-m)\lambda s\kappa ^}{\\cappa +1/\}}}},(s\!)!=\!\sgnname {sgn}(x\!-\!m)}$	${\displaystyle \operatorname {E}(x-m)s\kappa ^{s}=1/\lambda \,}$	$(-\displaystyle(-\fty,\fty)\,}$
파레토	${\displaystyle f(x)={\frac {\frac x_{m}^{\m}^{x^{\m}}}}}{x^{\filences +1}:{x^{\m}}}}}$	${\displaystyle \operatorname {E}(\ln(x))={\frac {1}{\present }+\ln(x_{m})\,}$	${\displaystyle [x_{m},\infully )\,}$
정상	${\displaystyle f(x)={\frac {1}{\sqrt{2\pi \pi \frac{2}}\exp \frac{(x-\mu )^{2}{2\ma ^{2}}\}\오른쪽)}$	${\displaystyle \operatorname {E}(x)=\mu ,\,\operatorname {E}((x-\mu )^{2}=\sigma ^{2}}:$	$(-\displaystyle(-\fty,\fty)\,}$
잘린 정규 분포	(기사 참조)	${\displaystyle \operatorname {E}(x)=\mu _{T}\\\operatorname {E}((x-\mu _{T}^)=\sigma _{T}^{2}}$	$(\displaystyle [a,b]})$
폰 미제스	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}}\exp {(\kappa \cos {(\theta -\mu )}}}}}}}}:}$	${\displaystyle \operatorname {E}(\cos \theta )={\frac {I_{1}(\kappa )}{{}}{{}}}{I_{0}(\kappa )}}\cos \mu ,\\\operatorname {E}(\sin \theta )={\frac {I_{1}(\kappa )}{{{}}}{{}}}}{}}}{I_{0}(\kappa )}\sin \mu }$	${\displaystyle [0,2\pi )\,}$
레일리	${\displaystyle f(x)={\frac {x}{\frac ^{2}}:}\ex \frac ^{x^{2}}:{2\fracma ^{2}}:}\오른쪽)}$	${\displaystyle \operatorname {E}(x^{2})=2\sigma ^{2},\operatorname {E}(\ln(x))={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E}{2}}\,}$	$(\displaystyle [0,\fty )\,}$
베타.	${\displaystyle }$$f{\displaystyle \mathrm{}}$${\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle x\frac{{}^{}}{}}$ ${\displaystyle \frac{{\alpha }^{}}{}}$- ${\displaystyle \frac{1^{}}{}}$ (${\displaystyle \frac{{}^{}1}{}}$- ${\displaystyle \frac{\mathrm{x}{}^{}}{}}$) ${\displaystyle \frac{{\beta }^{}}{}}$- ${\displaystyle \frac{{}^{}}{}}$ ${\displaystyle \frac{{\mathrm{B}}^{}}{}}$ ${\displaystyle \frac{(\alpha }{}}$ ,${\displaystyle \frac{\beta }{}}$) ${\$ 0$$${\displaystyle }$≤ ${\displaystyle x}$≤ ${\displaystyle 1}$ ${\styleq.$	${\displaystyle \operatorname {E}(\ln(x))=\cHB(\cHB)-\cHB(\cHB +\cHB )\,}$ ${\displaystyle \operatorname {E}(\ln(1-x))=\cHB(\cHB)-\cHB(\cHB +\cHB )\,}$	${\displaystyle [0,1]\,}$
카우치	${\displaystyle f(x)={\frac {1}{\pi(1+x^{2})}}$	${\displaystyle \operatorname {E}(\ln(1+x^{2})=2\ln 2}$	$(-\displaystyle(-\fty,\fty)\,}$
기를	${\displaystyle f(x)={\frac {2}{2^{k/2}\감마(k/2)}}}x^{k-1}\exp \left(-{\frac{x^{2}}:}\오른쪽)}}$	${\displaystyle \operatorname {E}(x^{2})=k,\\\operatorname {E}(\ln(x))={\frac {1}{1}:{2}}\왼쪽[\lift]\frac {k}{2}}\오른쪽)\!+\!\ln(2)\right]}$	$(\displaystyle [0,\fty )\,}$
카이-제곱	${\displaystyle f(x)={\frac {1}{2^{k/2}\감마(k/2)}}{\frac {k}{2}}\\-\1}\exp \왼쪽(-{\frac}{x}{2}}\오른쪽)}}}$	${\displaystyle \operatorname {E}(x)=k,\\\operatorname {E}(\ln(x))=\cHB\left\frac {k}{2}}\오른쪽)+\ln(2)}$	$(\displaystyle [0,\fty )\,}$
얼랑	${\displaystyle f(x)={\frac {\fracda ^{k}}{(k-1)!}}}x^{k-1}\expx\expa x)}$	${\displaystyle \operatorname {E}(x)=k/\lambda ,\\\operatorname {E}(\ln(x))=\cHB(k)-\ln(\lambda )}$	$(\displaystyle [0,\fty )\,}$
감마	${\displaystyle f(x)={\frac {x^{k-1}\ex(-{\frac {x}{\theta }}}}{\theta ^{k}\감마(k)}}}}}}}$	${\displaystyle \operatorname {E}(x)=k\theta ,\\\\operatorname {E}(\ln(x))=\cHB(k)+\ln(\theta )}$	$(\displaystyle [0,\fty )\,}$
대수 정규	${\displaystyle f(x)={\frac {1}{\\\pi }}}}\exp \refrac{{\ln x-\mu )^{2}{2}}}$	${\displaystyle \operatorname {E}(\ln(x))=\mu ,\operatorname {E}((\ln(x)-\mu )^{2}=\sigma ^{2}\,}$	$(0,\displaystyle)\,}$
맥스웰-볼츠만	${\displaystyle f(x)={\frac {1}{a^{3}}{\frac {2}{\pi }}\,x^{2}\ex \ex \frac{x^{2}}:{2a^}}\오른쪽)}}}$	${\displaystyle \operatorname {E}(x^{2})=3a^{2},\\\operatorname {E}(\ln(x)\!=\!1\!+\!\ln \left({\frac {a}{\sqrt {2}}\\오른쪽)\!\\\\\frac {\gamma _{\mathrm {E}{2}}:}$	$(\displaystyle [0,\fty )\,}$
바이불	${\displaystyle f(x)={\frac {k}{\fractda ^{k-1}}x-1}\exp \frac{x^{x^{k}}}\오른쪽)}$	${\displaystyle \operatorname {E}(x^{k})=\lambda ^{k},\operatorname {E}(\ln(x)=\ln(\lambda )-{\frac {\mathrm{E}}}},},}$	$(\displaystyle [0,\fty )\,}$
다변량 정규 분포	${\displaystyle f_{X}({\vec {x}})=}$ ${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left \Sigma \right ^{1/2}}}}$	${\displaystyle \operatorname{E}({\vec{x}})={\vec {\mu},\\operatorname {E}({\vec}-{\vec}-{\vec}-{\vec}}})^{\vec{\vec}{\vec}{\mu}{}{}{}{}{}}{}}}}^{{{{}}}}}}}}}}}}{T}=\Sigma \,}$	${\displaystyle \mathb{R} ^{n}}$
이항체	${\displaystyle f(k)={n \선택 k}p^{k}(1-p)^{n-k}}}}$	${\displaystyle \operatorname {E}(x)=\mu,f\in {\text{n-generalized 이항 분포}}}$[11]	${\displaystyle \왼쪽\{0,{\ldots },n\오른쪽\}}$
포아송	${\displaystyle f(k)={\frac {\fracda ^{k}\exput\(-da )}{k!}}}$	${\displaystyle \operatorname {E}(x)=\lambda,f\in {\infit }{\text{일반화된 이항 분포}}}}}}}$[11]	${\displaystyle \mathb{N} \cupt\{0\right\}}컵$

최대 엔트로피 원리는 통계 혼합물의 엔트로피 상한을 위해 사용될 수 있다.^[12]null

참고 항목

• 지수군
• 깁스 치수
• 파티션 함수(수학)
• 최대 엔트로피 랜덤 워크 - 그래프에 대한 엔트로피 비율 최대화

메모들

인용구

참조

• Cover, T. M.; Thomas, J. A. (2006). "Chapter 12, Maximum Entropy" (PDF). Elements of Information Theory (2 ed.). Wiley. ISBN 978-0471241959.
• F. 닐슨, R.Nock(2017), 일변량 연속 분포의 차동 엔트로피에 대한 MaxEnt 상한, IEEE 신호 처리 문자, 24(4), 402-406
• I. J. Taneja(2001), 일반화된 정보 조치 및 이들의 적용.제1장
• Nader Ebrahimi, Ehsan S. S. Sofi, Refik Soyer(2008), "다변량 최대 엔트로피 식별, 변환 및 의존성", 다변량 분석 저널 99: 1217–1231, doi:10.1016/j.jmva.004