하틀리 함수

하틀리 함수는 1928년 랄프 하틀리가 도입한 불확실성의 척도다.유한 집합 A의 표본을 무작위로 균일하게 추출한 경우, 결과가 알려진 후 드러난 정보는 Hartley 함수에 의해 주어진다.

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

여기서 A는 A의 카디널리티를 나타낸다.

로그의 기초가 2인 경우 불확실성의 단위는 섀넌(더 일반적으로 비트라고 함)이다.만약 그것이 자연 로그라면, 그 단위는 nat이다.하틀리는 베이스텐 로그(base ten logarithm)를 사용했으며, 이 베이스로 정보의 단위를 그를 기리는 하틀리(일명 금지 또는 dit)라고 부른다.그것은 또한 하틀리 엔트로피로도 알려져 있다.

하틀리 함수, 섀넌 엔트로피, 레니 엔트로피

하틀리 함수는 균일한 확률 분포의 경우 섀넌 엔트로피(모든 주문의 레니 엔트로피와 함께)와 일치한다.다음과 같은 이유로 레니 엔트로피의 특별한 경우다.

${\displaystyle H_{0}(X)={\frac {1}{1-0}\log \sum _{i=1}^{{i}^{0}=\log X .}$

그러나 콜모고로프와 레니에 의해 강조된 바와 같이 하틀리 함수는 확률에 대한 어떤 개념도 도입하지 않고 정의될 수 있기 때문에 원시적인 구성으로도 볼 수 있다(George J. Klir, 페이지 423 참조).

하틀리 함수의 특성화

하틀리 함수는 집합의 원소 수에만 의존하므로 자연수에 대한 함수로 볼 수 있다.레니는 베이스 2의 하틀리 함수가 자연 숫자를 충족시키는 유일한 함수라는 것을 보여주었다.

1. ${\displaystyle H}$( ${\displaystyle m}$ ${\displaystyle n}$)${\displaystyle }$= ${\displaystyle H}$( ${\displaystyle m}$)${\displaystyle }$+ ${\displaystyle H}$( ${\displaystyle n}$) ${\displaystyle H(mn)=H(m)+H(n)}($additivity)
2. ${\displaystyle H}$( ${\displaystyle m}$) ${\displaystyle \le }$ H${\displaystyle }$( m${\displaystyle }$+ ${\displaystyle 1}$) ${\displaystyle H(m)\leq H(m+1)}($단조성)
3. ${\displaystyle H}$( ${\displaystyle 2}$)${\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle H(2)=1}($정규화)

조건 1은 두 유한 집합 A와 B의 데카르트 생산물의 불확실성은 A와 B의 불확실성의 합이라고 말한다.조건 2는 더 큰 집합이 더 큰 불확실성을 가지고 있다고 말한다.

하틀리 함수의 파생

우리는 Hartley 함수, log₂(n)가 자연수를 실제 숫자에 매핑하여 만족시키는 유일한 함수라는 것을 보여주고 싶다.

1. ${\displaystyle H}$( ${\displaystyle m}$ ${\displaystyle n}$)${\displaystyle }$= ${\displaystyle H}$( m${\displaystyle }$)${\displaystyle }$+ ${\displaystyle H}$( ${\displaystyle n}$) ${\$additivity)
2. ${\displaystyle H}$( ${\displaystyle m}$) ${\displaystyle \le }$ H${\displaystyle }$( m${\displaystyle }$+ ${\displaystyle 1}$) ${\$단조성)
3. ${\displaystyle H}$( ${\displaystyle 2}$)${\displaystyle }$= ${\displaystyle 1}$ ${\$ H$(2)=1\,}($정상화)

위의 세 가지 특성을 만족시키는 양의 정수에 대한 함수가 되도록 한다.첨가물 속성에서 어떤 정수 n과 k에 대해서도

${\displaystyle f(n^{k}=n).\,}$

a, b, t는 어떠한 양의 정수도 되도록 하라.에 의해 결정되는 고유한 정수 s가 있다.

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad(1)}$

그러므로

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

그리고

${\displaystyle {\frac {s}{t}\leq {\frac {\log_{2}b}{\log_{2}a}\leq {\frac {s+1}{t}}}.}$

반면에, 단조로움으로,

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

방정식(1)을 사용하면 다음과 같은 결과를 얻을 수식

${\displaystyle sf(a)\leq tf(b)\leq(s+1)f(a),\,}$

그리고

${\displaystyle {\frac {s}{t}\leq {f(b)}{f(a)}{f(a)}}\leq {\frac {s+1}{t}}}.}$

그러므로,

${\displaystyle \left\vert {\frac {f(b)}{f(a)}-{{2}(b)}{\log _{2}(a)}\right\vert \leq {\frac {1}{t}}.}$

t는 임의로 클 수 있으므로, 상기의 불평등 왼쪽의 차이는 0이어야 한다.

${\displaystyle {\frac {f(b)}{f(a)}}}{\frac {\log_{2}(b){2}(a)}}$

그렇게

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

정규화 속성으로 1과 같아야 하는 일정 μ에 대해

참고 항목

• 레니 엔트로피
• 민엔트로피

참조

• 이 글에는 크리에이티브 커먼스 귀속/공유-알리케 라이센스에 따라 라이센스가 부여된 PlanetMath의 Hartley 함수의 자료가 통합되어 있다.
• 이 글에는 크리에이티브 커먼스 귀속/공유 앨리케 라이센스에 따라 라이센스가 부여된 PlanetMath의 Hartley 함수 파생 자료가 통합되어 있다.