로그 확률

이 글에는 출처가 없다 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "로그 확률" – 뉴스 · 신문 · 책 · 학자 · JSTOR(2011년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

확률 이론과 컴퓨터 과학에서 로그 확률은 단순히 확률의 대수일 뿐이다.로그 확률을 사용하는 것은 표준${\displaystyle }$[ ${\displaystyle 0,}$ ${\displaystyle 1}$] ${\displaystyle [0,1]}$ 단위$$ 구간 대신 로그 척도에서 확률을 나타내는 것을 의미한다.

독립 사건의 확률은 곱하고 로그는 곱셈을 덧셈으로 변환하므로 독립 사건의 로그 확률은 덧셈을 더한다.따라서 로그 확률은 계산에 실용적이며, 정보 이론 측면에서 직관적인 해석을 가지고 있다: 평균 로그 확률의 음은 사건의 정보 엔트로피다.마찬가지로 우도는 로그 척도로 변환되는 경우가 많으며, 해당 로그 우도는 사건이 통계적 모형을 지원하는 정도로 해석할 수 있다.로그 확률은 확률로 계산의 구현에 널리 사용되며, 자연어 처리와 같은 정보이론의 일부 적용에서는 그 자체로 개념으로서 연구되고 있다.

동기

이러한 방식으로 확률을 나타내는 것은 다음과 같은 몇 가지 실제적 이점을 갖는다.

1. 속도. 곱셈은 덧셈보다 비용이 많이 들기 때문에, 확률의 높은 산물을 로그 형태로 나타내면 더 빠른 경우가 많다.(로그 폼으로의 변환은 비용이 많이 들지만 한 번만 발생한다)곱셈은 다중 독립 사건이 발생할 확률을 계산하는 데서 생긴다: 관심 있는 모든 독립 사건이 일어날 확률은 이 모든 사건들의 확률의 산물이다.
2. 정확성.로그 확률을 사용하면 컴퓨터가 실제 숫자에 근사치를 하는 방식 때문에 확률이 매우 작을 때 수치 안정성이 향상된다.
3. 단순함.많은 확률 분포는 지수 형태를 가지고 있다.이러한 분포의 로그를 취하면 지수 함수가 제거되고 지수 함수가 풀린다.For example, the log probability of the normal distribution's probability density function is ${\displaystyle -((x-m_{x})/\sigma _{m})^{2}+C}$ instead of ${\displaystyle C_{2}\exp \left(-((x-m_{x})/\sigma _{m})^{2}\right)}$. Log pr난이도는 몇몇 수학적인 조작을 더 쉽게 수행할 수 있게 한다.

표현 문제

로그 함수는 0에 대해 정의되지 않으므로 로그 확률은 0이 아닌 확률만 나타낼 수 있다.$({\displaystyle 0}$, $){\displaystyle (0,1)}$ 간격에$$ 있는 숫자의 로그는 음수이므로 음수 로그 확률을 사용하는 경우가 많다.이 경우 다음 공식의 로그 확률은 반전된다.

로그에 대한 모든 베이스를 선택할 수 있다.

$\mathb {R}에서 \displaystyle x'=\log(x)\in \mathb {R}$

$\mathb {R}에서 \displaystyle y'=\log(y)\in \mathb {R}$

기본 조작

확률 $x{\displaystyle }$ ${\displaystyle \cdot }$ ${\displaystyle y}$ ${\displaystyle x\cdot y}$의 산물은 로그 공간의 추가에 해당한다$$.

${\displaystyle \log(x\cdot y)=\log(x)+\log(y)=x'+y'.}$

$확률$의 합 ${\displaystyle x}$+$$y {\$displaystyle x+$y}은(는) 로그 공간에서 계산하는 데 좀 더 관여하며$$, 하나의 지수와 하나의 로그의 계산이 필요하다.

그러나 많은 애플리케이션에서 확률의 곱하기(모든 독립 사건 발생 확률을 부여함)는 추가(그 중 적어도 하나 이상의 발생 확률을 부여함)보다 더 자주 사용된다.추가적으로, 추가의 계산 비용은 단지 가장 높은 확률을 근사치로 사용함으로써 일부 상황에서 피할 수 있다.확률은 음수가 아니기 때문에 하한을 제공한다.이 근사치는 최대 함수의 연속적인 근사치를 얻기 위해 역순으로 사용된다.

로그 공간 추가

${\displaystyle {\displaysty}&\log(x+y)\\\={}&\log(x+x\cdot y/x)\\={}&\log(x+x\cdot \exp(\log(y/x))))\\={}&\log(x\cdot(1+\exp(\log(y)-\log(x)))))\\={}&\log(x)+\log(1+\exp(\log(y)-\log(x)))\\={}&x'+\log \left(1+\exp) \left(y'-x'\right)\end{aigned}}}$

위의 공식은 추가 공식의 비대칭성을 활용한다면 ${\displaystyle \mathrm{로그}(e{}^{}}$ ${\displaystyle {x{}^{}}^{}}$ ${\displaystyle {{\prime }^{}}^{}}$+ ${\displaystyle {}^{}}$ ${\displaystyle {y{}^{}}^{}}$ ${\displaystyle {{\prime }^{}}^{}}$ $){\$보다 정확하다$.$$′{\$은(는) 두 피연산자 중 더 큰(마이너스 음수)이어야$$ 한다.이것은 또한 피연산자 중 한 명이 0의 확률에 해당하는 부동 소수점 음의 무한대일 경우 정확한 동작을 생성한다.

${\displaystyle -}$ ${\displaystyle \mathrm{\infty }}$+ ${\displaystyle \log }$ ${\displaystyle }$( ${\displaystyle 1\mathrm{}}$+ ${\displaystyle \exp }$ ${\displaystyle }$(${\displaystyle y{}^{}}$ ${\displaystyle {\prime }^{}}$-${\displaystyle }$( -${\displaystyle \mathrm{\infty }}$)${\displaystyle }$)${\displaystyle }$= -${\displaystyle \mathrm{\infty }}$+ ${\displaystyle \mathrm{\infty }}$ { { { $\displaystyle -\\inft +\log \left(1+\exp \left)(y'-(-\inft)\right)=\\\\\\\\\\\\\\\\\\\\\\$inftftrainfthealfteftefthealfteftefthealfteft

${\displaystyle x^{}}$′${\displaystyle }$+ ${\displaystyle \log }$ ${\displaystyle }$(${\displaystyle 1\mathrm{}}$+ ${\displaystyle \exp }$ ${\displaystyle }$( -${\displaystyle \mathrm{\infty }}$- ${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$)${\displaystyle }$= ${\displaystyle \mathrm{x}}$ ${\displaystyle {\prime }^{}}$+ 0 ${\displaystyle x'+\log(1+\exp \reft(-\infty -x'\right)=x'+0}$ 이것은 원하는$$ 대답이다.

위의 공식만으로도 두 주장이 모두 -${\displaystyle \mathrm{\infty }}$ ${\displaystyle -\inflt }$인 경우 불확실한 결과가 잘못 생성될 것이다$.$ -${\displaystyle \mathrm{\infty }}$ ${\displaystyle$-\$inft }$ 반환을 위해 별도로 점검해야 한다$.$

수치상의 이유로 ${\displaystyle \mathrm{로그}}$ ${\displaystyle (1}$+ ${\displaystyle x}$ )${\displaystyle \log(1+x)}($log1p)$$를 직접 계산하는 함수를 사용해야 한다.

참고 항목

• 정보 내용
• 로그 우도