최대우도 추정

통계학에서 최대우도 추정(MLE)은 일부 관측 데이터가 주어진 가정된 확률 분포의 모수를 추정하는 방법입니다.이는 우도 함수를 최대화하여 가정된 통계 모델에서 관측된 데이터가 가장 가능성이 높도록 함으로써 달성된다.모수 공간에서 우도 함수를 최대화하는 점을 최대우도 ^[1]추정치라고 합니다.최대우도 논리는 직관적이고 유연하며, 따라서 이 방법은 통계적 ^[2][3][4]추론의 지배적인 수단이 되었다.

우도함수가 미분가능할 경우에는 최대값을 결정하기 위한 미분시험을 적용할 수 있다.어떤 경우에는 우도 함수의 1차 조건을 명시적으로 해결할 수 있습니다. 예를 들어, 일반 최소 제곱 추정기는 선형 회귀 모델의 ^[5]우도를 최대화합니다.그러나 대부분의 상황에서 우도 함수의 최대값을 찾기 위해서는 수치적 방법이 필요하다.

베이지안 추론의 관점에서 MLE는 일반적으로 모수에 대한 균일한 사전 분포 하에서 최대 사후(MAP) 추정과 동일하다.빈도론 추론에서 MLE는 극단 추정기의 특별한 경우이며, 목적 함수는 가능성이다.

원칙

모수 집합으로 표현되는 알 수 없는 결합 확률 분포에서 랜덤 샘플로 관측치 집합을 모델링한다.최대우도 추정의 목적은 관측 데이터가 가장 높은 결합 확률을 갖는 모수를 확인하는 것입니다.우리는 합동분포를 지배하는 ${\displaystyle 모수}$ $=$ [ ${\displaystyle {{1\mathrm{}}_{}}^{}}$ 1,${\displaystyle {{}_{}{2\mathrm{}}_{}}^{}}$ 2, ${\displaystyle {...,{\theta }_{}}^{}}$ k${\displaystyle {{}_{}}^{}}$] ${\displaystyle {\mathsf{}}^{}}$ $display \;\theta$ =\$left[\theta$ _${1},\theta$ _{$2},\ldots,\theta$_{$k}\right]^{\mathsf {T}}\}$로 씁니다$$. 따라서 이 분포에 속합니다.$;\{f(\cdot \;\theta )\mid \theta \in \theta \}\;,$ 여기서$$ {\$displaystyle \,\Theta$\}는$$ 파라미터 공간, 즉 유클리드 공간의 유한 차원 부분 집합입니다.관측된 데이터 ${\displaystyle 샘플\mathbf{}}$ y $=$ ( ${\displaystyle {y\mathrm{}}_{}{}_{}}$, y${\displaystyle {}_{}{2\mathrm{}}_{}}$,${\displaystyle }$… , ${\displaystyle {}_{}{n}_{}}$) {$displaystyle \;\mathbf {y}$ =($y_{1},y_{2},\ldots,y_{n}\;}$에서 접합 밀도를 평가하면 실제 값 함수를 얻을 수 있습니다.

$\displaystyle {\mathcal {L}_{n}(\theta)=mathbf {y}(\theta)=f_{n}(\mathbf {y};\theta)\,}$

우도함수라고 합니다.독립적이고 동일한 분포 랜덤 변수의 경우,${\displaystyle {}_{}f\mathbf{}}$ n${\displaystyle }$( ${\displaystyle y}$ ; ${\displaystyle )}$) { $displaystyle f_{$n}(\$mathbf${y} ;\$theta$)은 일변량 밀도 함수의 곱이 된다.

${\displaystyle f_{n}(\theta)=\display _{k=1}^{n},f_{k}^{\mathsf {n}(y_{k};\theta)~}$

최대우도 추정의 목적은 모수 ^[6]공간에 대한 우도 함수를 최대화하는 모형 모수의 값을 찾는 것입니다.

${\displaystyle {\theta } = 언더셋 {\operatorname {language\;max}}}, {\mathcal {L}_{n}(\theta},\mathbf {y})~}$

직관적으로 관찰된 데이터를 가장 가능성이 높은 매개변수 값을 선택합니다.$Theta$~에서$$Ln(${\displaystyle {표시}_{}}$ ${\displaystyle 스타일{\mathcal{}}_{}}$${\displaystyle {\stackrel{}{,}}_{}}$ ${\mathcal$ {$L$$}}$$_{$$n}$의 우도 함수${\displaystyle \stackrel{}{}}$$displaystyle$$},$ ${\mathcal$ {L}, ${\n$})을 최대값으로 하는 ${\displaystyle \mathrm{구체적}}$인 값을 최대값이라고 합니다.또한 정의된 함수${\displaystyle {\stackrel{}{}\delta }_{}}$ ${\displaystyle {\mathbb{}}^{}}$ : ${\displaystyle {}^{}}$ n $→$ ${\displaystyle \mathrm{\delta }}$ { $displaystyle$\ ; { \$hat$ { \ $theta$}$_${ $n$: \ $mathbb${ $R } ^$ { $n$} \ $to$\$Theta$ \ ; } 가$$ 측정 가능한 경우에는 최대우도 추정기라고 한다.이것은 일반적으로 표본 공간에 걸쳐 정의된 함수입니다. 즉, 주어진 표본을 인수로 취합니다.존재하기에 충분하지만 필요하지 않은 조건은 콤팩트한 ^[7]파라미터 공간$$\$displaystyle\Theta,}$에 대해 우도 함수가 연속되는 것이다.$개방적인$의 경우 우도 함수는 절대 최고치에 도달하지 않고 증가할 수 있습니다$$$.$

실제로 로그 우도라고 하는 우도 함수의 자연 로그를 사용하는 것이 편리한 경우가 많습니다.

$\displaystyle \ell (\theta \,;\mathbf {y})=\ln {mathcal {L}_{n}(\theta \,;\mathbf {y} )~ .}$

때문에 로그는 단조 함수로 Ln의 최대.{\displaystyle \,{{나는\mathcal}}_{n}~한다면ℓ(θ, y){\displaystyle \ell(\theta \,,ℓ(θ, y){\displaystyle\;\ell(\theta \,,{y\mathbf})\.}의 최대 θ{\theta\displaystyle}의 같은 값에.}[8], \mathbf 발생한다. {y}$)}$은(는) 최대값(또는 최소값) 발생에 필요한 조건인$,\displaystyle,\Theta,,$에서 구별 가능합니다.

$\displaystyle \frac \theta _{1}=0,\display \theta _{2}=0,\display \theta _{k}=0,\display \theta _{k}=0~}$

우도 방정식으로 알려져 있습니다.${\displaystyle 일부\stackrel{}{}}$ 모델에서는 ${\displaystyle ^}$, ${\displaystyle$\,{\$widehat$ \$theta \,}}$에 대해 이러한 방정식을 명시적으로 풀 수 있지만, 일반적으로 최대화 문제에 대한 폐쇄형 해법은 알려져 있지 않거나 사용할 수 없으며, MLE는 수치 최적화를 통해서만 찾을 수 있습니다.또 다른 문제는 유한 표본에서 우도 ^[9]방정식에 대한 여러 루트가 존재할 수 있다는 것입니다.우도 방정식의 확인된 ${\displaystyle 루트\stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\displaystyle \{\backslash }$style\$display\,{\widehat\theta\}}$가 정말로 (로컬) 최대값인지 여부는 2차 부분 및 교차 부분 도함수 행렬인 이른바 헤시안 행렬에 따라 결정됩니다.

$\displaystyle \mathbf {H} \left \widehat \theta \,}} \right = bmatrix \left.오른쪽 {\theta = widehat {\theta } {\theta = widehat {\theta } } & \ left.{\theta = 와이드 햇(\theta } &\left).\frac \theta _{1},\theta _{k}\오른쪽 _{\theta =\widehat \theta \,}\좌측.{\theta = 와이드 햇(\theta = \theta } ) & \왼쪽입니다.오른쪽 {\theta = widehat {\theta } {\theta = widehat {\theta } &\left.\frac \theta _{2}\ell }{\theta _{k}}\오른쪽 _{\theta =\widehat {\theta }\vdots &\vdots &\vdots &\left.{\theta = 와이드 햇(\theta = \theta } ) &\왼쪽입니다.{\theta = 와이드 햇(\theta } &\left).{frac = wide hat } \ end { bmatrix } ~ , , } { \ theta _ { k } { \ theta = wide hat } \ end { bmatrix } ~ , }$

$^(\$style$\widehat\theta$에서 음의 반음영입니다.이것은 국소적인 오목함을 나타내기 때문입니다.편리하게도, 가장 일반적인 확률 분포(특히 지수 계열)는 로그 ^[10][11]오목하다.

제한된 매개 변수 공간

우도 함수의 영역인 매개변수 공간은 일반적으로 유클리드 공간의 유한 차원 부분 집합이지만, 추가 제한은 때때로 추정 과정에 통합될 필요가 있다.파라미터 공간은 다음과 같이 나타낼 수 있습니다.

$\displaystyle \Theta =\left\{\theta :\in \mathbb {R} ^{k},\;h(\theta)=0\right\}~,}$

${\displaystyle {}^{}}$서${\displaystyle }$h (${\displaystyle \mathrm{display}}$ ) ${\displaystyle =}$ [ ${\displaystyle h{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$(${\displaystyle {}_{}}$) 、${\displaystyle {}_{}{h\mathrm{}}_{}}$ 2 (${\displaystyle {}_{}}$ )${\displaystyle 、}$ ...${\displaystyle {}_{}}$, h ${\displaystyle r_{}}$ (${\displaystyle \mathrm{display}}$ )${\displaystyle }$]{ $displaystyle$\ ; $h$( \$theta$ )$=$ \$$$left$ [ $h$_ { 1 （ \ $theta$ ）$、$ \$ldots$ , h _ r } \ th _ ${\displaystyle right{\mathbb{}}^{}}$$$$。$$}$ { $displaystyle$\ $Theta$}에$$ 속하는 참 매개변수 $}$ { \ $displaystyle \theta$}는 ${\displaystyle 제약}$ 조건${\displaystyle h}$ ( ${\displaystyle \}}$ ) ${\displaystyle \text{=}}$ ${\displaystyle 0}$ .$$\ $displaystyle ~h$( \$theta$ ) =$$0 ~$$}의 우도 함수의 최대값을 구하는 것을 의미합니다.

이론적으로 이 제약된 최적화 문제에 대한 가장 자연스러운 접근법은 ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {h2\mathrm{}}_{}}$${\displaystyle {}_{}}$${\displaystyle \dots ,}$ $hr$${\displaystyle {\{}_{}}$$1}, h_{2},$ \$ldots,$${\displaystyle {}_{}}$${r}\,$ h_{${\displaystyle {\mathrm{r}}_{}}$},${\displaystyle }$h_1${\displaystyle {}_{}}$ $h_style$ ${r$}, $h_1$에 대한 ${\displaystyle {제한사항}_{}}$을 "채우는" 치환법입니다$.$ts$,h_{r},h_{r+1},\ldots,h_{k}\;}$이(가) h $=$ [ h ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}{2\mathrm{}}_{}}$, ${\displaystyle ...}$ , ${\displaystyle {}_{}}$ $표시방식 \;h^{\ast$}=\$left [h_{1},h_{2$},\$ldots,h_k}\$right])는 $r에서1$까지 1개의 함수가 됩니다.${\displaystyle i_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{2\mathrm{}}_{}}$2, ${\displaystyle ...,}$ ${\displaystyle k_{}}$k $).$ {\$displaystyle$\;\$phi _${i$}=h_{i}(\theta$_1$},\theta$_{$2},\ldots,\theta$ _${k}~.}$ 최대우도$$^[12] 추정치의 등분산성으로 인해 MLE 속성도 ^[13]제한된 추정치에 적용됩니다.예를 들어 다변량 정규 분포에서는 공분산 행렬$$(\$displaystyle\,\Sigma\)$가 양의 행렬이어야 합니다. 이 제한은 ${\displaystyle \delta \mathrm{}}$ $=$ \$displaystyle \;\Sigma$ =\$Gamma ^{\mathsf {T}\Gam$$}\$$MA$로 대체하여 적용할 수 있습니다.$T$\ $displaystyle$ \ Gamma ^ { \$mathsf$ {$$T$$ } is ^[14]。

실제로, 제약은 일반적으로 위에서 정의한 제약조건이 주어지면 제한된 우도 방정식으로 이어지는 라그랑주 방법을 사용하여 부과된다.

${\displaystyle \frac{}{h}}$ -${\displaystyle \frac{\mathrm{}}{}}$h${\displaystyle \frac{}{}}$(${\displaystyle \frac{{}^{t\mathsf{}}}{}}$ ) T${\displaystyle \frac{{}^{}}{\mathrm{}}0}$ $=$ 0 ( \ $display \ frac$ \$ell$} { \ $theta$} } - { \ $frac$ \ frac $h$( \ $theta$)^{ \$mathsf$ { T } { \$partial$ \ theta $} }$ }$h$ h h h$=$ 0$$ 、 h $style$ ${\displaystyle 。}$

${\displaystyle 여기}$서 $=$ [ ${\displaystyle {{\lambda \mathrm{}}_{}}^{}}$ 1,${\displaystyle {{}_{}{2\mathrm{}}_{}}^{}}$2, ${\displaystyle {...}^{}}$ , ${\displaystyle {{\lambda r}_{}}^{}}$]${\displaystyle {}^{}}{\displaystyle {\mathsf{}}^{}}$ ${\displaystyle ~\displayda$ _${1$},\$displayda _{2},\ldots,\displayda$ _${r}\right]^{\mathsf {T}~}$는 라그랑주 승수와${\displaystyle \frac{}{}}$∂(${\displaystyle \frac{T}{})\frac{}{}}$의 열입니다${\displaystyle \frac{{.}^{}}{\mathrm{}}}$ r 부분 도함수의 ^[12]야코비 행렬.당연히 제약조건이 최대 구속력이 없는 경우 라그랑주 승수는 ^[15]0이어야 합니다.이것에 의해, 라그랑주 승수 테스트라고 불리는 제약 조건의 「유효성」의 통계 테스트가 가능하게 됩니다.

특성.

최대우도 추정치는 ,의 함수로서 $목적함수{\displaystyle \stackrel{}{}}$ ${\displaystyle ^}$ ( ${\displaystyle ;}$ ;${\displaystyle x}$) { $displaystyle${\$widehat }}$ {\$theta \,x$을 최대화하여 얻은 극한 추정치이다. 데이터가 독립적이고 균등하게 분포되어 있는 경우, 다음과 같이 된다.

$(\displaystyle {\widehat {\theta \,\x} = sum _ {i=1}^{n} \ln f(x_{i}\mid \theta ) } )$

$이$는 예상 로그 우도${\displaystyle }\delta {\displaystyle }$ ( ${\displaystyle )}$ ) ${\displaystyle =}$ ${\displaystyle E\mathbb{}}$ ${\displaystyle }$ [ ${\displaystyle \mathrm{in}}$ ${\displaystyle f}$ ( ${\displaystyle {}_{}}$ ${\displaystyle i}$ ${\displaystyle {}_{}}$) )$]$ { $displaystyle \ell$( \$theta$ ) = \$operatorname {E}$} [,\$ln$f($x_{i}\mid$ \theta$$)$$}의 샘플 아날로그이며, 여기서 이 예상은 밀도와 관련하여 참이다.

최대우도 추정기는 (유한 표본에 대해 평가할 때) 다른 추정기가 실제 모수 ^[16]값 주변에서 더 큰 농도를 가질 수 있다는 점에서 유한 표본에 대한 최적의 특성이 없습니다.그러나 다른 추정 방법과 마찬가지로 최대우도 추정은 다음과 같은 여러 가지 매력적인 한계 특성을 가지고 있다.표본 크기가 무한대로 증가함에 따라 최대우도 추정기의 시퀀스는 다음과 같은 특성을 가집니다.

• 일관성: MLE의 시퀀스는 추정된 값에 대한 확률로 수렴됩니다.
• 기능적 등변수:$^$ { $displaystyle \theta$ }$$^$${ $displaystyle \theta$} $if$ 、 g ( ${\displaystyle )}$) { $displaystyle$$\theta$ $\}$의 최대우도 추정치이고${\displaystyle }$g ($$） { $displaystyle$ \$theta$$$}의$$$$ 변환치인 $경우{\displaystyle }$ $=$ (${\displaystyle }$\$display style$ ）의 최대우도 추정치는 $다음$과 같습니다.${\displaystyle \stackrel{}{}=}$ ${\displaystyle g}$ ($θ ^$ ) =$ghat$=$ghat$}$$} $。$
• 효율성, 즉 표본 크기가 무한대인 경우 크라메르-라오 하한을 달성합니다.즉, 일관된 추정치가 MLE(또는 이 한계를 달성하는 다른 추정치)보다 낮은 점근 평균 제곱 오차를 갖는다는 의미이며, 이는 MLE가 점근 정규성을 가지고 있다는 의미이기도 합니다.
• 치우침에 대한 보정 후 2차 효율.

일관성.

아래에 설명된 조건에서는 최대우도 추정기가 일관됩니다.일관성은 데이터가 f${\displaystyle (}$; ; ${\displaystyle {0\mathrm{}}_{}}$0$$) {$displaystyle$ f$(\cdot\;\theta$ _${0})$에 의해 생성되고 관측치 n이 충분히 많으면 임의의 정밀도로 with의₀ 값을 구할 수 있음을 의미한다.수학적인 용어로, 이는 n이 무한대로 이동함에 따라 $추정기{\displaystyle \stackrel{}{}}$ $^$ {\$displaystyle${\$widehat${\$theta {\}}$이(가) 실제 값으로 수렴됨을 의미합니다.

${\displaystyle\widehat\mathrm{mle}\xrightarrow\text{p}\theta_{0}\.}$

약간 더 강한 조건에서는 추정기가 거의 확실하게(또는 강하게) 수렴합니다.

$"widehat"\mathrm {mle}"\xrightarrow" 문자를 보냅니다.}}\ \theta _{0}.}$

실제 응용 프로그램에서는 f${\displaystyle (}$ ${\displaystyle ;}$ ; ${\displaystyle {0\mathrm{}}_{}}$0$$) {$displaystyle$ f$(\cdot \;\$$theta$ _${$$0$에 $의해{\displaystyle }$ 데이터가 생성되는 것이 아니라 f${\displaystyle ({}_{}}$ ;${\displaystyle {}_{}{0\mathrm{}}_{}}$ 0$$) {$displaystyle$f(\$cdot$\;\$theta$ _${$0$$})는 데이터에 의해 생성되는 프로세스의 모델이며, 많은 경우 이상적입니다.모든 모델이 틀렸다는 것은 통계학에서 흔한 격언이다.따라서 실제 적용에서는 진정한 일관성이 발생하지 않습니다.그럼에도 불구하고 일관성은 종종 추정자가 갖는 바람직한 속성으로 간주됩니다.

일관성을 확립하기 위해서는 다음 조건을 ^[17]충족하면 된다.

우세 조건은 i.i.d. 관찰의 경우에 사용할 수 있다.non-i.d.의 경우, $시퀀스{\displaystyle \stackrel{}{}}$ ${\displaystyle ^}$ ( ${\displaystyle \theta x}$x$$) style ( \ $display$ style \ $wide$hat \ $ell$ \ , , , $)}$ ( \$theta$\ $mid$x )이$$ 확률적으로 등가적이라는 것을 보여줌으로써 확률의 균일한 수렴을 확인할 수 있다.ML $추정기{\displaystyle \stackrel{}{}}$ $^$ {\$displaystyle${\$widehat${\$theta }}$이(가) almost로₀ 거의 확실하게 수렴됨을 입증하려면 보다 강력한 균일한 수렴 조건을 적용해야 합니다.

$\displaystyle \sup _{\theta \in \theta }\left \;{\widehat {ell \mid x}-\ell (\theta)\;\rightarrow \text {a.s.}} \ 0.}$

또한 (위의 가정대로) 데이터가 f${\displaystyle (}$ ${\displaystyle ;}$ ; ${\displaystyle {0\mathrm{}}_{}}$0$$) {$displaystyle$ f$(\cdot\cdot\;\theta$ _$\{$$})$에 의해 생성된 경우에는 최대우도 추정기가 정규 분포로 수렴됨을 나타낼 수 있습니다.구체적으로는^[18]

${\displaystyle {sqrt {n}\left({\widehat {theta }}_{\mathrm {me}-\theta _{0}\right)\xrightarrow {d}\left(0,I^{-1}\right)}$

여기서 I는 피셔 정보 매트릭스입니다.

기능적 등변수

최대우도 추정기는 관측 데이터에 가능한 가장 큰 확률(또는 연속형인 경우 확률 밀도)을 제공하는 모수 값을 선택합니다.매개변수가 여러 성분으로 구성된 경우, 개별 최대우도 추정기를 전체 매개변수의 MLE에 해당하는 성분으로 정의한다.$이$와 일관되게 $^({$이$$^({$displaystyle\theta$의 MLE이고 g$({displaystyle$$\theta$가 $=$\theta $})$의 변환인 경우 ${\displaystyle \alpha }$ ${\displaystyle =(\{}$displaystyle\$theta =\$ta })의 MLE이 $됩니다$.

${\displaystyle {\widehat } = g(\widehat {\theta }} ),$

이른바 프로파일 가능성을 최대화합니다.

${\displaystyle {L}(alpha)=\sup_{\theta :\alpha =g(\theta )}L(\theta ),}$

MLE는 데이터의 특정 변환에 대해서도 등변합니다.y ${\displaystyle =g}$ (${\displaystyle x}$) {$display$ y$=g(x)}$ 여기서$$ $g{\displaystyle }$ ${\displaystyle$ g$}$는 1 대 1이고 추정할 파라미터에 의존하지 않는 경우 $밀도{\displaystyle }$ 함수는 다음을 만족합니다.

${\displaystyle f_{Y}(y)=f_{X}(x)}{g'(x) }}$

따라서 X$($$style{\displaystyle }$ X$)$와 Y$(style$ Y$)$의 우도 함수는 모델 파라미터에 의존하지 않는 요인만 다를 뿐입니다.

예를 들어, 로그 정규 분포의 MLE 모수는 데이터의 대수에 적합된 정규 분포의 모수와 동일합니다.

효율성.

위와 같이 데이터가 f$;$ ; ${\displaystyle {}_{}{0\mathrm{}}_{}}$ $),$ {\$displaystyle$~f(\$cdot\;\theta _{$0}~,})에 의해 생성되었을 경우, 최대우도 추정치가 정규 분포로 수렴됨을 알 수 있다.이 값은 µn 일관성이 있고 점근적으로 효율적이며, 이는 크라메르-라오 경계에 도달함을 의미한다.구체적으로는^[18]

${\displaystyle {sqrt {n,},\left({\widehat {theta \,}})_{\text{mle}-\theta _{0}\right}\xrightarrow {d}\\{mathcal {N}}\left(0,\mathcal {I}^{-1}\right,})$

${\displaystyle 여기서\mathcal{}}$I {\$displaystyle ~{\mathcal {I}}~}$는 피셔 정보 매트릭스입니다.

${\displaystyle {\mathcal {I}}=\operatorname {\mathbb {E}},{\biggl [}\;-{\frac {\frac ^{2}\ln f_{0}(X_{t})}{\partial \theta _{j},\cal \ta _{\gr} {\}}} {gr} {\}$

특히, 최대우도 추정기의 치우침이 순서까지 0과 같다는 것을 의미합니다.1/160n.

바이어스 보정 후 2차 효율

그러나 이 추정기의 분포 확대에 있어서 고차항을 고려했을 때 has는_mle 순서편향이 있음을 알 수 있다.1µn. 이 편향은 (성분별로)^[20]와 같습니다.

$\displaystyle b_{h}\;\equiv\;\operatorname\biggl [}\;\left({\widehat {theta }}_{\mathrm {mle}}-\theta _{0}\오른쪽)_{h}\;{\biggr }\;=\;{\frac {1}{,n,}},\sum _{i,j,k=1}^{m}\;{\mathcal {I}^{jk}\left({\frac {1}{,2,}}},K+I},{k},{k}},\sum_i}.J_{j,ik}\right}$

${\displaystyle {여기}^{}}$서 I j ${\displaystyle k^{}}${\$displaystyle {I}^jk}($위첨자 포함)는 역 피셔 정보 $매트릭스{\displaystyle {\mathcal{}}^{}}$I - $(\$의 (j,k)번째 컴포넌트를 나타냅니다.

${\displaystyle {1}{,2,}},K_{ijk}\;+\;J_{j,ik}\;=;\operatorname {\mathbb {E}},{\biggl [}\;{\frac {1}{2}}{\frac {\ln f_{0}}(X_{t}}}}{\partial \ta _{i}\ta}\ta \ta \, {\biggl {\biggl {\frac {\frac {\frac} {\f}} {\frac} {\f} {\f} {\f} {\f} {\f}_{k}}\;{\biggr }~.}$

이러한 공식을 사용하여 최대우도 추정기의 2차 편향을 추정할 수 있으며, 이를 빼서 편향을 보정할 수 있습니다.

${{displaystyle {\widehat {\text{mle}}^{*}={\text{mle}}-{\widehat {b,}}~.}$

이 추정치는 1/n 차수의 항까지 치우치지 않으며 치우침 보정 최대우도 추정기라고 합니다.

이 바이어스 보정 추정기는 2차 효율적이며(적어도 곡선 지수족 내), 즉 2차 바이어스 보정 추정기 중 1/n² 차수까지 최소 평균 제곱 오차를 가진다. 즉, 3차 바이어스 보정 항을 도출하는 등 이 과정을 계속할 수 있다.그러나 최대우도 추정기는 3차적으로 ^[21]효율적이지 않습니다.

베이지안 추론과의 관계

최대우도 추정기는 모수에 균일한 사전분포가 주어진 가장 가능성이 높은 베이지안 추정기와 일치한다.실제로, 최대 사후 추정치는 Bayes의 정리에 의해 주어진 데이터의 θ 확률을 최대화하는 매개변수 θ이다.

${\displaystyle \operatorname {\mathbb {P} (\theta \mid x_{1},x_{n}) = f(x_{1},x_{2},\ldots,x_{n}\mid \theta)\operatorname {\ta}}}}$

${\displaystyle \mathrm{여기}}$서 P ${\displaystyle (}$ ($$ ) { $style \operatorname {P}$ ( $\theta$ )$}$는 파라미터 and의 이전 분포이며, $P{\displaystyle \mathbb{}}$ ${\displaystyle (}$ ( ${\displaystyle {}_{}}$ 1, ${\displaystyle {}_{}{}_{}}$2, ${\displaystyle {}_{}}$x ${\displaystyle n_{}}$)${\displaystyle {}_{}}${ $display$style \$operatorname {P} (x_{1},$ {$2},$ \$ldots$$})$입니다.분모는 θ에 의존하지 않기 때문에 베이지안 추정치는 f${\displaystyle (x{}_{}}$1, ${\displaystyle {x\mathrm{}}_{}}$2,${\displaystyle \dots ,}$ ${\displaystyle x}$ ${\displaystyle n_{}}$ ${\displaystyle {}_{}}$) P${\displaystyle p\mathbb{}}$ ( ${\displaystyle )}$) \ $displaystyle$ f$(x_{1$},$x_{2},\ldots,x_{n}\mid \theta}\operatorname (\ta$)을 $(\ta)$로 $최대화$하여 구한다.$앞$의 P ${\displaystyle (}$ ($$ ) ( \$displaystyle$\operatorname \ $mathbb${ P$}$ ($\theta$ )이$$ 균일한 분포라고 가정하면, 베이지안 추정치는 우도 $함수{\displaystyle }$f ( ${\displaystyle {}_{}{}_{}{1\mathrm{}}_{}}$, ${\displaystyle {x\mathrm{}}_{}}$ 2, ${\displaystyle ...,}$ ${\displaystyle x_{}}$ ${\displaystyle n}$ $){$ $displaystyle$ f$(x_1}, {\dots})$를 최대화하여 얻을 수 있습니다.따라서 베이지안 추정치는 균일한 사전 $분포{\displaystyle \mathbb{}}$ P${\displaystyle \delta }$ ( ${\displaystyle )}$ $)\displaystyle \operatorname \mathbb {P} (\theta$)의 최대우도 추정기와 일치한다$.$

베이즈 의사결정 이론에서의 최대우도 추정 적용

기계 학습의 많은 실제 애플리케이션에서 최대우도 추정이 매개변수 추정을 위한 모델로 사용된다.

베이지안 결정 이론은 총 예상 위험을 최소화하는 분류기를 설계하는 것이다. 특히, 다른 결정과 관련된 비용(손실 함수)이 같을 때, 분류기는 전체 ^[22]분포에 걸쳐 오류를 최소화하는 것이다.

따라서 베이즈 의사결정 규칙은 다음과 같이 명시된다.

"P ( x) > ( x) $;\$ $displaystyle ~\operatorname$\ $mathbb { P }$( w _ { 1 x$)\$$$ p pide${\displaystyle {}_{}}{\displaystyle {ideideide1\mathrm{}}_{}}$ \ $displaystyle$\ ; w _ $w$$_$ w _ { 1 x ) \ 。$>\;\operatorname {\mathbb {P}(w_{2} x)~;~}$ 이외의 경우 $displaystyle$\;$w_{2$를 ${\displaystyle 결정}$합니다.

${\displaystyle {}_{}}$서 w${\displaystyle {}_{}}$1, w $displaystyle \;w_{1}, w_{2}\;}$는 다른 클래스의 예측입니다.에러를 최소한으로 억제하는 관점에서는, 다음과 같이 말할 수도 있습니다.

${\displaystyle w=underset {w}{\operatorname {w}{\infty}{\infty}}\operatorname {\mathbb {P}}({\text{error}}\mid x)\operatorname {\mathbbb {P}}(x)\operatorname {d})$

어디에

$\displaystyle \operatorname {P} {\text {error} \mid x} =\operatorname {P} } (w_{1}\mid x)~}$

${\displaystyle {w\mathrm{}}_{}}$ 2$displaystyle \;w_{2}\;})$ ${\displaystyle 및}$ P ${\displaystyle (}$ (오류${\displaystyle \mathrm{xx}}$ )$=$ ${\displaystyle P\mathbb{}}$ ${\displaystyle }$ ( ${\displaystyle {w\mathrm{}}_{}}$ 2${\displaystyle {}_{}\mathrm{xx}}$ $){$ $display$ \ ;\$operatorname {p} }({\text {error}\mid$ x)=\$operatorname {p}(w_2\mid$ x$)$ if$$$}$

베이즈의 정리를 적용하여

$P$ w ${\displaystyle i_{}}$ $=$ ${\displaystyle P\frac{\mathbb{}}{}}$ ${\displaystyle \frac{（}{}}$ x $P$ ${\displaystyle \frac{（}{}}$ w${\displaystyle \frac{{}_{}}{}}$i${\displaystyle \frac{{}_{}}{}}$）${\displaystyle \frac{\mathbb{}（}{}}$ ${\displaystyle \frac{x}{}}$） $displaystyle \operatorname$ { P } ( w _ i$}$ \ $mid$ x )= $frac${ $operatorname { p } ( x$\ $mid$ w )

또한 모든 오류에 대해 동일한 손실인 제로 또는 1 손실 함수를 추가로 가정하면 베이즈 의사결정 규칙을 다음과 같이 재구성할 수 있습니다.

${\displaystyle h_{\text{Bayes}}= 언더셋{w},{\operatorname{bigl\;max}},{\bigl[},\operatorname{mathbb {P}}}(x\mid w),\operatorname {p}(w){\bigr}\,$

${\displaystyle {\text{여기}}_{}}$서 h Bayes$(\$는 예측값이고 P ${\displaystyle (}$ ($$w ) \ $displaystyle$ \ ;\$operatorname$\ $mathbb${$P }$( w ) \ ; } $)$ the$$ the the 。

쿨백-라이블러 발산 및 교차 엔트로피 최소화와의 관계

$가능성$을 최대화하는 $^(\$을 찾는 것은 Kullback-Leibler의 관점에서 최소 거리를 갖는 확률 분포(${\displaystyle {}_{}}$ $^\$를 정의하는$^(\$ $})$를 찾는 것과 점근적으로 동등합니다.e, 데이터가 생성된 실제 확률 분포(즉, P ${\displaystyle {{0\mathrm{}}_{}}_{}}$0 {\$display style$P_{\$theta$ _${0}}$^[23]에 $의해{\displaystyle {}_{}}$ 생성됨).이상적인 세계에서는 P와 Q는 동일하지만(P를 정의하는 $것$은 $「\displaystyle\theta」$뿐입니다), P를 정의하는 것은 「\displaystyle\theta$$」뿐입니다만, 그것이 아니고, 사용하는 모델이 잘못 지정되어 있는 경우에서도, MLE는 $(\$에 $의존하는)$ 모델 Q의 가장 가까운 $분포$를 제공합니다$.$e $실배포{\displaystyle {}_{}}$ P ${\displaystyle {{0\mathrm{}}_{}}_{}}$0 { $style$ P _ { \ $theta$_ { $0$} $\}$^[24] 。

증거.

간단한 표기법을 위해 P=Q라고 가정해 보겠습니다.y${\displaystyle }$~ ${\displaystyle {}_{}}$ †$$ { $displaystyle$ y$\sim$ P_${\ta_0$${\displaystyle \stackrel{}{\}<img\; alt="\{\backslash displaystyle\; y\backslash sim\; P\_\{\backslash theta\; \_\{0\}\}\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/7330ddcc1db0ea75f949d0ec26e439b111ae4e3b"\; style="vertical-align:\; -1.005ex;\; width:7.581ex;\; height:2.843ex;">}}$의 $n개$의 i.i.d 데이터 $샘플{\displaystyle \mathbf{}}$ y ${\displaystyle =}$ ( ${\displaystyle {}_{}}$ 1,$y$, ${\displaystyle ...}$ , ${\displaystyle y_{}}$n $){ style$ \$mathbf { y$} = ( $y _${2} , $\ldots$ , y$$$_$ {$$n} )가 있다고 $가정$합니다.$P {\$ （ \ $displaystyle$ P _ { \ $theta$ ）를 $부르고{\displaystyle {}_{}}$ 나서, 다음과 같이 합니다. ${\displaystyle{\begin{정렬}{\hat{\theta}}&={\underset{\theta}{\operatorname{arg\,max}}}\,L_{P_{\theta}}(\mathbf{y})={\underset{\theta}{\operatorname{arg\,max}}}\,P_ᆲ(\mathbf{y})={\underset{\theta}{\operatorname{arg\,max}}}\,P(\mathbf{y}\mid \theta)\\&, ={\underset{\theta}{\operatorname{arg\,max}}}\,\prod. _{i=1}^{N}P(y_{나는}\mid \theta)={\underset{\theta}{\operatorname{arg\,max}}}\,\sum _{i=1}^{n}\log P(y_{나는}\mid \theta)\\&, ={\underset{\theta}{\operatorname{arg\,max}}}\,\left(\sum_{i=1}^{n}\log P(y_{나는}\mid \theta)-\sum _{i=1}^{n}\log P(y_{나는}\mid \theta_{0})\right)={\underset{\theta}{\operatorname{arg\,max}}}\,\sum _{i=1}^{n}\left(\log P(y_.{나는}\mid \theta )-\log P(y_{i}\mid \theta _{0}\right)\\&, ={\underset{\theta}{\operatorname{arg\,max}}}\,\sum _{i=1}^{n}\log{\frac{P(y_{나는}\mid \theta)}{P(y_{나는}\mid \theta_{0})}}={\underset{\theta}{\operatorname{arg\,min}}}\,\sum _{i=1}^{n}\log{\frac{P(y_{나는}\mid \theta_{0})}{P(y_{나는}\mid \theta)}}={\underset{\theta}{\operatorname{arg\,min}}}\,{\frac{1}{n}}\sum _{i=1}^{n}\log{\fra.c{P(y_{i}\mid \theta _{0}}{P(y_{i}\mid \theta}}}}\&={operatorname {param,min}}},{\frac {1}{n}\sum_{i=1}^{nh}{\ta underset}{{n}}}{\ta}}}}{\n}}}}{\n}}}}{\n}}}}}}{\\\\\cradersum}}}}}{\\craddE[h_{\theta }(y)]\\&= 언더셋 {\operatorname {not,min}},\int P_{\theta _{0}}(y)h_{\theta }(y)dy= 언더셋 {notername {not,min}}},\int P_{\ta _0p}}{log}. frac}$ ${\displaystyle \mathrm{여기}}$서 h ${\displaystyle {}_{}}$( x ) ${\displaystyle =}$ log${\displaystyle p\frac{}{}}$P ( ${\displaystyle \frac{x}{}}$ ${\displaystyle \frac{\mid }{}}$ ${\displaystyle \frac{{}_{}}{}}$) ${\displaystyle \frac{}{}}$( ${\displaystyle \frac{x}{}}$ ∣ )$（$ $x$ ${\displaystyle \frac{）}{}}$ = \$log$ { $frac { P$ ($x$ \$mid$ \ $theta _$ { $0$}}{$P$ ($x$ \$mid$ \ theta $)\}\}\}\}.$h 를 사용하면 큰 수의 평균이 어떻게 이동하는지 알 수 있습니다.첫 번째 몇 가지 전환은 로그의 법칙과 관련이 있으며, 일부 함수를 최대화하는$$^(\$displaystyle\hat\theta })$을 찾는 것도 해당 함수의 단조로운 변환(즉, 상수 더하기/곱하기)을 극대화하는 것입니다.

교차 엔트로피는 섀넌의 엔트로피 + KL 발산일 뿐이고, P ${\displaystyle {{0\mathrm{}}_{}}_{}}$ 0$(\$style $P_{\theta$ _${0})$의 엔트로피가 일정하므로 MLE는 교차 ^[25]엔트로피를 점근적으로 최소화하고 있다.

예

이산 균등 분포

1 ~ n의 번호가 매겨진 티켓이 1개씩 상자에 담겨져 랜덤으로 선택되는 경우(균등분포 참조), 샘플사이즈는 1 입니다.n이 불분명한 경우 n의 최대우도 추정기$^(\displaystyle\widehat$ {$n})$은 추첨된 티켓의 숫자 m입니다(n < m의 경우 0, n µ m의 경우 1µn, n = m의 경우 최대우도입니다).n의 최대우도 추정치는 가능한 값 범위의 "중간"이 아닌 가능한 값 {m, m + 1, ...}의 하한 극단에서 발생하므로 편향이 줄어듭니다.)추첨된 티켓의 숫자 m의 예상값, 즉 n$^\$의 예상값은 (n + 1)/2 입니다.결과적으로 표본 크기가 1인 경우 n에 대한 최대우도 추정기는 체계적으로 n을 (n - 1)/2만큼 과소평가합니다.

이산 분포, 유한 모수 공간

어떤 사람이 부당한 동전이 얼마나 편파적인지 판단하고 싶다고 가정해 보자.'머리'를 던질 확률을 p라고 합니다.그런 다음 p를 결정하는 것이 목표가 됩니다.

동전을 80회 던졌다고 가정합니다. 즉, 샘플은 x = H, x₂ = T, ..., x₈₀ = T와₁ 같을 수 있으며 헤드 수 "H"의 카운트가 관찰됩니다.

꼬리를 던질 확률은 1 - p입니다(여기서 p는 위에 θ).결과가 49개의 앞면과 31개의 뒷면이라고 가정하고, 동전은 세 개의 동전이 들어 있는 상자에서 가져왔다고 가정합니다. 하나는 앞면이 p = 1⁄3이고, 하나는 앞면이 p = 2⁄2이고 다른 하나는 앞면이 p = 2⁄3입니다.그 동전들은 라벨을 잃어버렸기 때문에 어떤 것이었는지는 알 수 없다.최대우도 추정을 사용하면 관측된 데이터를 고려할 때 가장 높은 우도를 가진 동전을 찾을 수 있습니다.표본 크기가 80, 성공 횟수가 49인 이항 분포의 확률 질량 함수를 사용하여 p 값이 다른 경우("성공 확률") 우도 함수(아래 정의됨)는 세 가지 값 중 하나를 취합니다.

${\displaystyle{\begin{정렬}\operatorname{\mathbb{P}}{\bigl[}년, \mathrm{H}=49\mid p={\tfrac{1}{3}}\,{\bigr]}&, ={\binom{80}{49}}({\tfrac{1}{3}})^ᆳ(1-{\tfrac{1}{3}})^{31일}\approx 0.000,\\[6pt]\operatorname{\mathbb{P}}{\bigl[}년, \mathrm{H}=49\mid p={\tfrac{1}{2}}\,{\bigr]}&, ={\binom{80}{49}}({\tfrac{1}{2}})^{49}(1-{\tfr.교류{1}{2}) {31}\약 0.012,\[6pt]\operatorname {\mathbb {P} {\mathrm {H} = 49\mid p = 149 tfrac {2} {3}\; {\bigr }} & = 80 {80} {\tfrac} {3} {\tfrac}} {\} {\}\end { aligned}}$

p = 2⁄3일 때 우도가 최대화되므로 p에 대한 최대우도 추정치입니다.

이산 분포, 연속 모수 공간

이제 하나의 동전만 존재했지만 p는 임의의 값 0 p p 1 1이 될 수 있다고 가정합니다. 최대화 가능 함수는 다음과 같습니다.

${\displaystyle L(p)=f_{D}(\mathrm {H}=49\mid p)=binom {80}{49)p^{49}(1-p)^{314~,}$

최대화는 가능한 모든 값 0 p p 11에 대한 것입니다.

이 함수를 최대화하는 한 가지 방법은 p에 대해 차이를 두고 0으로 설정하는 것입니다.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$

This is a product of three terms. The first term is 0 when p = 0. The second is 0 when p = 1. The third is zero when p = 49⁄80. The solution that maximizes the likelihood is clearly p = 49⁄80 (since p = 0 and p = 1 result in a likelihood of 0). Thus the maximum likelihood estimator for p is 49⁄80.

This result is easily generalized by substituting a letter such as s in the place of 49 to represent the observed number of 'successes' of our Bernoulli trials, and a letter such as n in the place of 80 to represent the number of Bernoulli trials. Exactly the same calculation yields s⁄n which is the maximum likelihood estimator for any sequence of n Bernoulli trials resulting in s 'successes'.

Continuous distribution, continuous parameter space

For the normal distribution ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ which has probability density function

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$

the corresponding probability density function for a sample of n independent identically distributed normal random variables (the likelihood) is

${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$

This family of distributions has two parameters: θ = (μ, σ); so we maximize the likelihood, ${\displaystyle {\mathcal {L}}(\mu ,\sigma )=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma )}$, over both parameters simultaneously, or if possible, individually.

Since the logarithm function itself is a continuous strictly increasing function over the range of the likelihood, the values which maximize the likelihood will also maximize its logarithm (the log-likelihood itself is not necessarily strictly increasing). The log-likelihood can be written as follows:

${\displaystyle \log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}}$

(Note: the log-likelihood is closely related to information entropy and Fisher information.)

We now compute the derivatives of this log-likelihood as follows.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=0-{\frac {\;-2\!n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}}$

where ${\displaystyle {\bar {x}}}$ is the sample mean. This is solved by

${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$

This is indeed the maximum of the function, since it is the only turning point in μ and the second derivative is strictly less than zero. Its expected value is equal to the parameter μ of the given distribution,

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$

which means that the maximum likelihood estimator ${\displaystyle {\widehat {\mu }}}$ is unbiased.

Similarly we differentiate the log-likelihood with respect to σ and equate to zero:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$

which is solved by

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$

Inserting the estimate ${\displaystyle \mu ={\widehat {\mu }}}$ we obtain

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$

To calculate its expected value, it is convenient to rewrite the expression in terms of zero-mean random variables (statistical error) ${\displaystyle \delta _{i}\equiv \mu -x_{i}}$. Expressing the estimate in these variables yields

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$

Simplifying the expression above, utilizing the facts that ${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$ and ${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$, allows us to obtain

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$

This means that the estimator ${\displaystyle {\widehat {\sigma }}^{2}}$ is biased for ${\displaystyle \sigma ^{2}}$. It can also be shown that ${\displaystyle {\widehat {\sigma }}}$ is biased for ${\displaystyle \sigma }$, but that both ${\displaystyle {\widehat {\sigma }}^{2}}$ and ${\displaystyle {\widehat {\sigma }}}$ are consistent.

Formally we say that the maximum likelihood estimator for ${\displaystyle \theta =(\mu ,\sigma ^{2})}$ is

${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$

In this case the MLEs could be obtained individually. In general this may not be the case, and the MLEs would have to be obtained simultaneously.

The normal log-likelihood at its maximum takes a particularly simple form:

${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$

This maximum log-likelihood can be shown to be the same for more general least squares, even for non-linear least squares. This is often used in determining likelihood-based approximate confidence intervals and confidence regions, which are generally more accurate than those using the asymptotic normality discussed above.

Non-independent variables

It may be the case that variables are correlated, that is, not independent. Two random variables ${\displaystyle y_{1}}$ and ${\displaystyle y_{2}}$ are independent only if their joint probability density function is the product of the individual probability density functions, i.e.

${\displaystyle f(y_{1},y_{2})=f(y_{1})f(y_{2})\,}$

Suppose one constructs an order-n Gaussian vector out of random variables ${\displaystyle (y_{1},\ldots ,y_{n})}$, where each variable has means given by ${\displaystyle (\mu _{1},\ldots ,\mu _{n})}$. Furthermore, let the covariance matrix be denoted by ${\displaystyle {\mathit {\Sigma }}}$. The joint probability density function of these n random variables then follows a multivariate normal distribution given by:

${\displaystyle f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)}$

In the bivariate case, the joint probability density function is given by:

${\displaystyle f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]}$

In this and other cases where a joint density function exists, the likelihood function is defined as above, in the section "principles," using this density.

Example

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$ are counts in cells / boxes 1 up to m; each box has a different probability (think of the boxes being bigger or smaller) and we fix the number of balls that fall to be ${\displaystyle n}$:${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$. The probability of each box is ${\displaystyle p_{i}}$, with a constraint: ${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$. This is a case in which the ${\displaystyle X_{i}}$ s are not independent, the joint probability of a vector ${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$ is called the multinomial and has the form:

${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$

Each box taken separately against all the other boxes is a binomial and this is an extension thereof.

The log-likelihood of this is:

${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$

The constraint has to be taken into account and use the Lagrange multipliers:

${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$

By posing all the derivatives to be 0, the most natural estimate is derived

${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$

Maximizing log likelihood, with and without constraints, can be an unsolvable problem in closed form, then we have to use iterative procedures.

Iterative procedures

Except for special cases, the likelihood equations

${\displaystyle {\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0}$

cannot be solved explicitly for an estimator ${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )}$. Instead, they need to be solved iteratively: starting from an initial guess of ${\displaystyle \theta }$ (say ${\displaystyle {\widehat {\theta }}_{1}}$), one seeks to obtain a convergent sequence ${\displaystyle \left\{{\widehat {\theta }}_{r}\right\}}$. Many methods for this kind of optimization problem are available,^[26][27] but the most commonly used ones are algorithms based on an updating formula of the form

${\displaystyle {\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)}$

where the vector ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)}$ indicates the descent direction of the rth "step," and the scalar ${\displaystyle \eta _{r}}$ captures the "step length,"^[28][29] also known as the learning rate.^[30] In general the likelihood function is non-convex with multiple local maxima. Derivative based deterministic search methods can usually identify only a local maximum of the likelihood function. Locating a global maximum of a non-convex function is a NP-complete problem and hence cannot be solved within a reasonable time. Biologically inspired and other heuristic based optimization techniques can be used to explore multiple local maxima and identify an acceptable maximum in practice.^[31]

Gradient descent method

(Note: here it is a maximization problem, so the sign before gradient is flipped)

${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$ that is small enough for convergence and ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

Gradient descent method requires to calculate the gradient at the rth iteration, but no need to calculate the inverse of second-order derivative, i.e., the Hessian matrix. Therefore, it is computationally faster than Newton-Raphson method.

Newton–Raphson method

${\displaystyle \eta _{r}=1}$ and ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

where ${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$ is the score and ${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$ is the inverse of the Hessian matrix of the log-likelihood function, both evaluated the rth iteration.^[32][33] But because the calculation of the Hessian matrix is computationally costly, numerous alternatives have been proposed. The popular Berndt–Hall–Hall–Hausman algorithm approximates the Hessian with the outer product of the expected gradient, such that

${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

Quasi-Newton methods

Other quasi-Newton methods use more elaborate secant updates to give approximation of Hessian matrix.

Davidon–Fletcher–Powell formula

DFP formula finds a solution that is symmetric, positive-definite and closest to the current approximate value of second-order derivative:

${\displaystyle \mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},}$

where

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle \gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

Broyden–Fletcher–Goldfarb–Shanno algorithm

BFGS also gives a solution that is symmetric and positive-definite:

${\displaystyle B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,}$

where

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

BFGS method is not guaranteed to converge unless the function has a quadratic Taylor expansion near an optimum. However, BFGS can have acceptable performance even for non-smooth optimization instances

Fisher's scoring

Another popular method is to replace the Hessian with the Fisher information matrix, ${\displaystyle {\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]}$, giving us the Fisher scoring algorithm. This procedure is standard in the estimation of many methods, such as generalized linear models.

Although popular, quasi-Newton methods may converge to a stationary point that is not necessarily a local or global maximum,^[34] but rather a local minimum or a saddle point. Therefore, it is important to assess the validity of the obtained solution to the likelihood equations, by verifying that the Hessian, evaluated at the solution, is both negative definite and well-conditioned.^[35]

History

Early users of maximum likelihood were Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele, and Francis Ysidro Edgeworth.^[36][37] However, its widespread use rose between 1912 and 1922 when Ronald Fisher recommended, widely popularized, and carefully analyzed maximum-likelihood estimation (with fruitless attempts at proofs).^[38]

Maximum-likelihood estimation finally transcended heuristic justification in a proof published by Samuel S. Wilks in 1938, now called Wilks' theorem.^[39] The theorem shows that the error in the logarithm of likelihood values for estimates from multiple independent observations is asymptotically χ ²-distributed, which enables convenient determination of a confidence region around any estimate of the parameters. The only difficult part of Wilks’ proof depends on the expected value of the Fisher information matrix, which is provided by a theorem proven by Fisher.^[40] Wilks continued to improve on the generality of the theorem throughout his life, with his most general proof published in 1962.^[41]

Reviews of the development of maximum likelihood estimation have been provided by a number of authors.^{[42][43][44][45][46][47][48][49]}

See also

Related concepts

• Akaike information criterion: a criterion to compare statistical models, based on MLE
• Extremum estimator: a more general class of estimators to which MLE belongs
• Fisher information: information matrix, its relationship to covariance matrix of ML estimates
• Mean squared error: a measure of how 'good' an estimator of a distributional parameter is (be it the maximum likelihood estimator or some other estimator)
• RANSAC: a method to estimate parameters of a mathematical model given data that contains outliers
• Rao–Blackwell theorem: yields a process for finding the best possible unbiased estimator (in the sense of having minimal mean squared error); the MLE is often a good starting place for the process
• Wilks’ theorem: provides a means of estimating the size and shape of the region of roughly equally-probable estimates for the population's parameter values, using the information from a single sample, using a chi-squared distribution

Other estimation methods

• Generalized method of moments: methods related to the likelihood equation in maximum likelihood estimation
• M-estimator: an approach used in robust statistics
• Maximum a posteriori (MAP) estimator: for a contrast in the way to calculate estimators when prior knowledge is postulated
• Maximum spacing estimation: a related method that is more robust in many situations
• Maximum entropy estimation
• Method of moments (statistics): another popular method for finding parameters of distributions
• Method of support, a variation of the maximum likelihood technique
• Minimum distance estimation
• Partial likelihood methods for panel data
• Quasi-maximum likelihood estimator: an MLE estimator that is misspecified, but still consistent
• Restricted maximum likelihood: a variation using a likelihood function calculated from a transformed set of data

References

Further reading

• Cramer, J.S. (1986). Econometric Applications of Maximum Likelihood Methods. New York, NY: Cambridge University Press. ISBN 0-521-25317-9.
• Eliason, Scott R. (1993). Maximum Likelihood Estimation : Logic and Practice. Newbury Park: Sage. ISBN 0-8039-4107-2.
• King, Gary (1989). Unifying Political Methodology : the Likehood Theory of Statistical Inference. Cambridge University Press. ISBN 0-521-36697-6.
• Le Cam, Lucien (1990). "Maximum likelihood : An Introduction". ISI Review. 58 (2): 153–171. doi:10.2307/1403464. JSTOR 1403464.
• Magnus, Jan R. (2017). "Maximum Likelihood". Introduction to the Theory of Econometrics. Amsterdam, NL: VU University Press. pp. 53–68. ISBN 978-90-8659-766-6.
• Millar, Russell B. (2011). Maximum Likelihood Estimation and Inference. Hoboken, NJ: Wiley. ISBN 978-0-470-09482-2.
• Pickles, Andrew (1986). An Introduction to Likelihood Analysis. Norwich: W. H. Hutchins & Sons. ISBN 0-86094-190-6.
• Severini, Thomas A. (2000). Likelihood Methods in Statistics. New York, NY: Oxford University Press. ISBN 0-19-850650-3.
• Ward, Michael D.; Ahlquist, John S. (2018). Maximum Likelihood for Social Science : Strategies for Analysis. Cambridge University Press. ISBN 978-1-316-63682-4.

External links

• Lesser, Lawrence M. (2007). "'MLE' song lyrics". Mathematical Sciences / College of Science. math.utep.edu. El Paso, TX: University of Texas. Retrieved 2021-03-06.{{cite web}}: CS1 maint: url-status (link)
• "Maximum-likelihood method", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Purcell, S. "Maximum Likelihood Estimation".
• Sargent, Thomas; Stachurski, John. "Maximum Likelihood Estimation". Quantitative Economics with Python.
• Toomet, Ott; Henningsen, Arne (2019-05-19). "maxLik: A package for maximum likelihood estimation in R".