데이터 처리 부등식

데이터 처리 부등식은 신호의 정보 내용을 로컬 물리적 작업을 통해 증가시킬 수 없다는 정보 이론 개념입니다.이는 '사후처리는 정보를 증가시킬 수 없다'^[1]로 간결하게 표현될 수 있습니다.

정의.

3개의 랜덤 변수가 마르코프 $X\rightarrow Y\rightarrow Z$ X $X\rightarrow Y\rightarrow Z$ $X\rightarrow Y\rightarrow Z$ $X\rightarrow Y\rightarrow Z$ {\ $displaystyle$ X $\right 화살표$ Y $\right 화살표$ Z $X\rightarrow Y\rightarrow Z$ 를 형성하도록 하자. 즉 $,$ Z {\ $displaystyle$ Z $}$ 의 $z$ $조건부$ 분포는Y {\ $displaystyle$ Y $}$ 에만 $y$ 의존하며 X{\ $displaystyle$ X $X$ 와 $X$ 으로 독립적이라는 것을 의미한다. 구체적으로, 우리는 마르코프 체인 X {\displaystyle X}를 가지고 있다.확률 질량 함수는 다음과 같이 쓸 수 있다.

p(x,y,z)=p(x)p(y x)p(z y)

이 설정에서는 Y(확정론적 또는 랜덤)를 처리해도 Y에 포함된 X에 대한 정보를 늘릴 수 없습니다.상호 정보를 사용하여 다음과 같이 쓸 수 있습니다.

I(X;Y)\geqslant I(X;Z)

$I(X;Y)=I(X;Z)$ $I(X;Y|Z)=0$ $I(X;Y)=I(X;Z)$ $I(X;Y)=I(X;Z)$ $X$ {{displaystyle I( $I(X;Y|Z)=0$ $;Y$ )= $I(X;Z)}$ 인 $I(X;Y)=I(X;Z)$ 경우 I $I(X;Y|Z)=0$ $X$ $I(X;Y|Z)=0$ Z) $=$ 0 $(\displaystyle$ I $(X;Y$ Z)= $0$ 인 $I(X;Y|Z)=0$ 에만 I(X;Z) 및 Z $(\displaystyle$ Z $)$ 를 $z$ 표시합니다.마르코프 ^[2]사슬을 형성하기도 합니다.

「」를 참조해 주세요.

휴지통, 휴지통

레퍼런스

^ Beaudry, Normand (2012), "An intuitive proof of the data processing inequality", Quantum Information & Computation, 12 (5–6): 432–441, arXiv:1107.0740, Bibcode:2011arXiv1107.0740B
^ Cover; Thomas (2012). Elements of information theory. John Wiley & Sons.

외부 링크

http://www.scholarpedia.org/article/Mutual_information

이 컴퓨터 과학 기사는 촌스럽다.위키피디아를 확장함으로써 위키피디아를 도울 수 있습니다.

[BeaudryArxiv-1] Beaudry, Normand (2012), "An intuitive proof of the data processing inequality", Quantum Information & Computation, 12 (5–6): 432–441, arXiv:1107.0740, Bibcode:2011arXiv1107.0740B

[2] Cover; Thomas (2012). Elements of information theory. John Wiley & Sons.

[1]

[2]

Search

데이터 처리 부등식

네임스페이스

더

목차

정의.

「」를 참조해 주세요.

레퍼런스

외부 링크

Search

데이터 처리 부등식

정의.

「 」를 참조해 주세요.

레퍼런스

외부 링크

「」를 참조해 주세요.