정보의 수량

이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "정보의 양" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2012년 9월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

정보의 수학적 이론은 확률 이론과 통계에 기초하며, 정보의 수량을 가지고 정보를 측정한다.다음 공식에서 로그 기반 선택은 사용되는 정보 엔트로피의 단위를 결정한다.정보의 가장 일반적인 단위는 이항 로그에 기초한 비트다.다른 단위로는 자연 로그에 기초한 NAT과 베이스 10 또는 공통 로그에 기초한 하틀리가 있다.null

다음에 나오는 내용에서 $p{\displaystyle }$ ${\displaystyle \log }$ ${\displaystyle }$ p ${\$ p$\,}$ 형식의 표현은 관례상 $p{\displaystyle }$ ${\displaystyle p}$이 0일$$ 때마다 0과 같은 것으로 간주된다$$.이는 모든 로그 기반에 ${\displaystyle \underset{}{\mathrm{대해}}}$ ${\displaystyle \underset{}{lim}}$ p${\displaystyle \underset{}{}}$→ 0${\displaystyle \underset{}{}}$+ ${\displaystyle \log p}$p = ${\displaystyle 0}${\$displaystyle \lim _{p\rightarrow$ 0$+}p\log p=0}$이(가) 있기 때문에 정당화된다.null

자기 정보

섀넌은 메시지 $m{\displaystyle }$ ${\displaystyle m}$의 자기 정보 또는 "초대적"이라고 불리는 정보 콘텐츠의 척도를 도출했다$.$

${\displaystyle \operatorname {I}(m)=\log \왼쪽({\frac {1}{p(m)}\오른쪽)=-\log(p(m)\,}$

여기서 $p{\displaystyle }$( ${\displaystyle m}$)${\displaystyle }$= ${\displaystyle \mathrm{P}}$ r${\displaystyle }$( ${\displaystyle M}$= ${\displaystyle m}$) ${\displaystyle p(m)=\mathrm {Pr}(M=m)}$은 메시지$$ 공간 $M{\displaystyle }$ ${\displaystyle m}$에서 가능한 모든 선택 중에서 $메시지{\displaystyle }$ m ${\displaystyle$ m}이$$ 선택될 확률이다$.$ 로그의 기초는 스케일 계수에만 영향을 미치며, 측정된 정보가 일치하는 단위엔트리가 표현되다로그가 베이스 2인 경우, 정보의 측정치는 비트 단위로 표현된다.null

정보는 정보의 수신자가 아직 시작할 정보를 가지고 있지 않은 경우에만 소스에서 수신자에게 전달된다.분명하고 수신자가 이미 알고 있는 정보를 전달하는 메시지에는 실제 정보가 포함되지 않는다.간헐적으로 발생하는 메시지는 더 자주 발생하는 메시지보다 더 많은 정보를 포함한다.이 사실은 위의 방정식에 반영된다. 즉 확률 1의 특정 메시지는 정보 측정치가 0이다.또한, 관련 없는 (또는 상호 독립된) 두 개 이상의 메시지의 복합 메시지는 각 메시지의 정보 측정치를 개별적으로 합한 양의 정보를 가질 것이다.그 사실은 위 방정식에도 반영되어 그 유래의 타당성을 뒷받침한다.null

예:일기예보 방송은 "오늘밤의 일기예보:어두움. 아침에 넓게 흩어진 빛이 나타날 때까지 계속 어둠."이 메시지는 거의 아무런 정보도 담고 있지 않다.그러나 눈보라가 닥칠 것이라는 예보는 분명히 매일 저녁 그런 일이 일어나지 않기 때문에 정보를 담고 있을 것이다.마이애미와 같은 따뜻한 지역에 대한 정확한 눈 예보에는 훨씬 더 많은 양의 정보가 있을 것이다.눈이 내리지 않는 곳(불가한 사건)의 눈 예보 정보량은 가장 높다(인피니티).null

엔트로피

이산 메시지 공간 $M{\displaystyle }$ ${\displaystyle M}$의 엔트로피는 어떤 메시지를 선택할 것인지에 대한 불확실성의 양을 측정한 것이다$$.메시지 공간으로부터 $메시지$ m ${\displaystyle m}$의 평균 자체 정보로 정의된다.

${\displaystyle \mathrm {H}(M)=\mathb {E}\left[\operatorname {I}(M)\right]=\sum _{m\in M}p(m)\operatorname {I}(m)=-\sum _{m\p(m)\log p.}$

어디에

${\displaystyle \mathbb{E}}$[ -${\displaystyle ]}$ ${\displaystyle \mathb {E} [-]}$은(는) 기대값 작업을 나타낸다$$.

엔트로피의 중요한 특성은 메시지 공간의 모든 메시지가 장착될 때 최대화된다는 $것$이다${\displaystyle (예:}$p (${\displaystyle m}$ ) =${\displaystyle }$1 / M (\$displaystyle$p($m)=$1/$$ M$}).$${\displaystyle 이}$ 경우 $H{\displaystyle \mathrm{}(}$ M${\displaystyle }$)${\displaystyle }$= ${\displaystyle 로그}$ ${\displaystyle }$ M $displaystyle \mathrm {H}(M)=\log$M $\}.$

$때때로{\displaystyle \mathrm{}}$ H ${\$ 함수가 분포의 확률로 표현되기도$$ 한다.

${\displaystyle \mathrm {H} (p_{1},p_{2},\ldots ,p_{k})=-\sum _{i=1}^{k}p_{i}\log p_{i},}$ where each ${\displaystyle p_{i}\geq 0}$ and ${\displaystyle \sum _{i=1}^{k}p_{i}=1.$$}$

이것의 중요한 특별한 경우는 이항 엔트로피 함수다.

${\displaystyle \mathrm {H} _{\mbox{b}=\mathrm {H}(p,1-p)=-p\log p-(1-p)\log(1-p)(1-p)\log(1-p).\,}$

관절 엔트로피

$두{\displaystyle }$ 개별 랜덤 변수 $X{\displaystyle }$ ${\displaystyle X}$ 및 Y ${\displaystyle Y}$의 공동 엔트로피는 X ${\displaystyle X}$ 및 Y$$ ${\displaystyle$ Y$}$의 $공동$ 분포 엔트로피로 정의된다$.$

${\displaystyle \mathrm {H}(X,Y)=\mathb {E}_{X,Y}\왼쪽[-\log p(x,y)\right]=-\sum _{x,y(x,y)\log p(x,y)\,},},}$

$X{\displaystyle }$ ${\displaystyle X}$과 $Y{\displaystyle }$ ${\displaystyle Y}$이(가) 독립적인 경우, 공동 엔트로피는 단순히 개별 엔트로피의 합이다.null

(기:관절 엔트로피는 유사한 표기에도 불구하고 교차 엔트로피와 혼동해서는 안 된다.)null

조건부 엔트로피(등분)

랜덤 변수 $Y{\displaystyle }$ ${\displaystyle Y}$의 특정 값을 지정하면$$Y${\displaystyle }$= ${\displaystyle y}$ ${\displaystyle Y=y}$이(가) $지정$된 $X{\displaystyle }$ ${\displaystyle X}$의 조건부 엔트로피는 다음과 같이 정의된다$$.

${\displaystyle \mathrm {H}(X y)=\mathb {E} _{\왼쪽[X Y\오른쪽][-\log p(x y)]=-\sum _{x\in X}p(x y)\log p(x y)}$

여기서 $p{\displaystyle }$( ${\displaystyle x}$ ${\displaystyle y}$)${\displaystyle }$= ${\displaystyle \frac{p}{}}$( ${\displaystyle \frac{x}{}}$, y${\displaystyle \frac{}{}}$) ${\displaystyle \frac{}{}}$( y${\displaystyle \frac{}{}}$) ${\$ y$)={\frac {p(x,y)}{p(y)}}}}}}}}$은 $y$가 $주어진$ x ${\displaystyle$ x$}$의 조건부 확률이다$.$

$Y{\displaystyle }$$$ ${\displaystyle$ $Y}$이$($가) $주어지는{\displaystyle }$ X$${\$displaystyle$$Y$}의 조건부 엔트로피는 $다음$에$$의해 $주어진다$.

${\displaystyle \mathrm {H} (X Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x y)\log p(x y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.}$

이것은 확률 이론의 조건부 기대치를 사용한다.null

조건부 엔트로피의 기본 속성은 다음과 같다.

${\displaystyle \mathrm {H}(X Y)=\mathrm {H}(X,Y)-\mathrm {H}(Y)\,}$

Kullback-Leibler 발산(정보 이득)

Kullback-Leibler difference (또는 정보차이, 정보 이득 또는 상대 엔트로피)는 "진정한" 확률 분포 ${\displaystyle p}$와 임의 확률 분포 $q{\displaystyle }$ ${\\$$displaysty q}$를 가정하는 방식으로 데이터를 압축하는 $방법$이다$.$일부 데이터의 기반이 되는 분포, $실제로$는 p ${\displaystyle p}$이(가) 올바른 분포일$$ 때, Kullback-Leibler의 분산은 압축에 필요한 기준당 평균 추가 비트의 수입니다. 또는 수학적으로,

${\displaystyle D_{\mathrm {KL}{\bigl (}p(X)\q(X)\q(X)}=\sum _{x\in X}p(x)\log {\frac {p(x)}}.}}$

대칭이 아니기 때문에 실제 측정 기준은 아니지만, 어떤 의미에서는 $q{\displaystyle }$ ${\displaystyle q}$에서 $p{\displaystyle }$ ${\displaystyle p}$까지의 "거리"가 된다$.$null

상호정보(트랜스포메이션)

정보의 가장 유용하고 중요한 척도 중 하나가 상호 정보, 즉 트랜스 정보인 것으로 나타났다.이것은 다른 변수를 관찰함으로써 한 랜덤 변수에 대해 얼마나 많은 정보를 얻을 수 있는지를 나타내는 척도다.$Y$ ${\$$displaystyle Y}($$개념적$으로$$Y {\$displaystyle$ $Y}$을($$를) 관찰하여 $얻을{\displaystyle }$ 수 있는$$ X ${\$$displaystyle$ $X}$에 대한 평균 정보량을 나타냄$)$와 관련된 X {\$displaystyle$ X$}$의 상호 정보는 다음에 의해 제공된다.

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}{p(x y)\log {\frac {p(x y)}{p(x)}}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}.}$

상호 정보의 기본 속성은 다음과 같다.

${\displaystyle \operatorname {I}(X;Y)=\mathrm {H}(X)-\mathrmat {H}(XY)\,}$

즉, $Y{\displaystyle }$ ${\displaystyle$ $Y}$을$($를) 알면 우리는$$ $X{\displaystyle }$$$${\displaystyle$ X}$$인코딩 X ${\displaystyle Y$$}$에 $평균$ I${\displaystyle }$i ($;Y)$ 비트를 저장할 수 있다$.$ 상호 정보는 대칭적이다.

${\displaystyle \operatorname {I}(X;Y)=\operatorname {I}(Y;X)=\mathrm {H}+\mathrm {H}(Y)-\mathrmethrm {H}(X,Y),}$

상호 정보는 $X{\displaystyle }$ ${\displaystyle X}$의 이전 분포에 $대한$ Y ${\displaystyle Y}$의 값을 고려할$$ 때 $X{\displaystyle }$ ${\displaystyle X}$의 후방 확률 분포의 평균 Kullback-Leibler 차이(정보 이득)로 표현할 수 있다$.$

${\displaystyle \operatorname {I}(X;Y)=\mathb {E} _{p(y)\왼쪽[D_{\mathrm {KL}}}{\bigl (}p(X Y=y)\p(X){\bigr )}\right].}$

즉, 이는 $평균적$으로 Y ${\displaystyle Y}$의 값을 지정할 경우 $X{\displaystyle }$ ${\displaystyle X}$의 확률 분포가 얼마나 변화할$$ 것인가에 대한 척도인 것이다$.$ 이는 종종 한계 분포의 산물에서 실제 공동 분포까지의 차이로 다시 계산된다.

${\displaystyle \operatorname {I}(X;Y)=D_{\mathrm {KL}{{}{\bigl (}p(X,Y)\p(Y){\bigr )}.}$

상호 정보는 분할표와 다항 분포의 맥락에서 로그 우도 비율 검정 및 Pearson의 χ² 검정과 밀접하게 관련되어 있다: 상호 정보는 변수 쌍 사이의 독립성을 평가하기 위한 통계로 간주될 수 있으며, 잘 지정된 점증 분포를 가지고 있다.null

미분 엔트로피

이산 엔트로피의 기본 척도는 총량을 통합으로 대체하고 확률밀도함수로 대체함으로써 연속공간으로 유추하여 확장되었다.두 경우 모두 상호 정보는 문제의 두 출처에 공통되는 정보의 비트의 수를 표현하지만, 유추는 동일한 속성을 의미하지는 않는다. 예를 들어, 차분 엔트로피는 음수일 수 있다.null

엔트로피, 관절 엔트로피, 조건 엔트로피, 상호 정보의 차등 유사성은 다음과 같이 정의된다.

${\displaystyle h(X)=-\int _{X}f(x)\log f(x)\,dx}$

${\displaystyle h(X,Y)=-\int _{Y}\int _{X}f(x,y)\log f(x,y)\,dx\,dy}$

${\displaystyle h(X y)=-\int _{X}f(x y)\log f(x y)\,dx}$

${\displaystyle h(X Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}}}{f(x,y)}}}}}}\dx\,dy}$

${\displaystyle \operatorname {I}(X;Y)=\int _{Y}\int _{X}f(x,y)\log {\f(x(x,y)}{f(x)f(y)}}}}}\f(x)}}\dy}$

여기서 $f{\displaystyle }$( ${\displaystyle x}$, y${\displaystyle }$) ${\displaystyle f(x,y)}$은(는) 조인트 밀도 함수, f (${\displaystyle }x{\displaystyle }$) ${\displaystyle$ f$(x)}$과($)$ {\$displaystystyle$ $f(y$$)}$은 한계 분포, f${\displaystyle }$( ${\displaystyle x}$) ${\displaysty)}$은 조건부 분포다$$.null

참고 항목

• 정보이론

참조