델타법

통계에서, 델타 방법은 해당 추정기의 한계 분산을 아는 것으로부터 점증적으로 정규 통계 추정기의 함수에 대한 대략적인 확률 분포에 관한 결과물이다.

역사

델타 방식은 오류 전파에서 파생된 것으로, 이면의 사상은 19세기 초에 알려졌다.^[1] 그것의 통계적 적용은 1928년까지 T. L. 켈리에 의해 추적될 수 있다.^[2] 이 방법에 대한 공식적인 설명은 1935년 J. L. Dob에 의해 제시되었다.^[3] 로버트 도프만은 1938년에 그것의 버전을 설명하기도 했다.^[4]

일변량 델타법

델타 방법은 다변량 설정으로 쉽게 일반화되지만, 기술의 신중한 동기는 일변량 용어로 더 쉽게 증명된다. 대략, 랜덤 변수 X가_n 만족하는 순서가 있는 경우

${\displaystyle {{\sqrt{n}-\theta ]\,{\x오른쪽 화살표 {D}\,{\mathcal{N}(0,\sigma ^{2}}}}}},}$

여기서 θ과 σ은² 유한 값 상수이며${\displaystyle \stackrel{}{}}$→ ${\displaystyle \stackrel{}{D}}$ ${\$은 분포의 수렴을 의미한다$$.

${\displaystyle {{\sqrt{n}-g(\theta )}\,{\xrigharrow{D}\,{\mathcal{N}(0,\sigma ^})\cdot [g'(\tta )]^{2}}}}}}}}}}}}}}}}}$

g′(θ)이 존재하며 0이 아닌 값을 갖는 특성을 만족하는 함수 g에 대하여.

일변량 사건의 증거

이 결과의 입증은 g′(θ)이 연속적이라는 가정 하에 상당히 간단하다. 시작하려면 평균값 정리(즉, 테일러의 정리를 사용한 테일러 시리즈의 첫 번째 순서 근사치)를 사용한다.

${\displaystyle g(X_{n})=g(\teta )+g'({\tilde {\teta }}})(X_{n}-\teta ),}$

여기서 $~{\$은(는) X와_n θ 사이에 있다. 참고 이후 Xn→ P({\displaystyle X_{n}\,{\xrightarrow{P}}\,\theta}과θ일− θ<>Xn− θ{\displaystyle{\tilde{\theta}}-\theta<>X_{n}-\theta}은θ일 → P({\displaystyle{\tilde{\theta}}\,{\xrightarrow{P}}\,\theta}과 이후 g′(θ)해야 한다. 있co연속, 연속 매핑 정리 산출량 적용

${\displaystyle g'({\tilde {\theta }})\,{\x오른쪽 화살표 {P}\,g'(\theta ),}$

여기서${\displaystyle \stackrel{}{}}$→ ${\displaystyle \stackrel{}{P}}$ ${\$은 확률의 수렴을 의미한다$$.

용어를 재배열하고 $n{\displaystyle \sqrt{}}${\$displaystyle${\$sqrt{n}}$이(가)

${\displaystyle {{n}[g(X_{n}-g(\theta )]=g'\left({\tilde{\theta}}}\right){\sqrt{n}-\ta ].}$

이후

${\displaystyle {{\sqrt{n}-\theta ]{\xrightarrow{D}{\mathcal{N}(0,\sigma ^{2})}}}}}}}}$

가정하면, 그것은 바로 다음과 같은 슬루츠키의 정리정돈에 호소한 직후에 뒤따른다.

${\displaystyle {{\sqrt{n}-g(\theta )}{\xrigharrow{D}{{N}}(0,\sigma ^{2}[g')(\theta )]^{2}}}}.}$

이것으로 증명할 수 있다.

명확한 근사치 순서의 증거

또는 끝에 한 단계를 더 추가하여 근사치 순서를 구할 수 있다.

${\displaystyle {\begin{aligned}{\sqrt {n}}[g(X_{n})-g(\theta )]&=g'\left({\tilde {\theta }}\right){\sqrt {n}}[X_{n}-\theta ]={\sqrt {n}}[X_{n}-\theta ]\left[g'({\tilde {\theta }})+g'(\theta )-g'(\theta )\right]\\&={\sqrt {{n}-\theta ]\왼쪽[g'(\theta )\right]+{\sqrt{n}-\theta ]\{\tilde{\ta}-\}\ta }}}\\\\\\\\\\\\\\\\\]\\\\\\\\\\\\\}}}}}}}}}}}\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\&={\sqrt{n}-\theta ]\왼쪽[g'(\theta )\오른쪽]+O_{p}(1)\cdot o_{p}(1)\&={\sqrt{n}-\theta ]\왼쪽[g'(\theta )\right]+{p}(1)\ended}}}}}}$

이것은 근사치의 오차가 확률상 0으로 수렴된다는 것을 시사한다.

다변량 델타법

정의에 따르면, 일관성 있는 추정기 B는 확률로 그것의 참 값 β로 수렴되며, 종종 중앙 한계 정리를 적용하여 점증적 정규성을 얻을 수 있다.

${\displaystyle {\sqrt{n}\왼쪽(B-\beta \오른쪽)\,{\x오른쪽 화살표 {D}\,N\왼쪽(0,\Sigma \오른쪽),}$

여기서 n은 관측치의 수이고 σ은 (대칭 양 반확정) 공분산 행렬이다. 추정기 B의 스칼라 값 함수 h의 분산을 추정한다고 가정합시다. Taylor 시리즈의 처음 두 항만 유지하고, 그라데이션에 벡터 표기법을 사용하여 h(B)를 다음과 같이 추정할 수 있다.

$(\displaystyle h(B)\cH(\beta )+\nabla h(\beta )^{T}\cdot (B-\beta )}$

즉, h(B)의 분산이 대략

${\displaystyle {\begin{aigned}\operatorname {Var} \left(h(B)\right)&\cHB(\beta) 관련 \var} \left(h)(\beta )+\nabla h(\beta )^{{{{{{{}T}\cdot (B-\beta )\오른쪽)\\&=\operatorname {Var} \left(h(\beta )+\nabla h(\beta )^{T}\cdot B-\nabla h(\beta )^{T}\cdot \beta \right)\\&=\operatorname {Var} \left(\nabla h(\beta )^{T}\cdot B\오른쪽)\\&=\bla h(\cHB )^{T}\cdot \operatorname {Cov}(B)\cdot \nabla h(\beta )\&=\nabla h(\beta )^{{T}\cdot (\Sigma )\cdot \nabla h(\beta )\end{arged}}}$

평균값 정리(많은 변수의 실제 값 함수에 대해)를 사용하여 이것이 첫 번째 순서 근사치를 얻는 것에 의존하지 않는다는 것을 알 수 있다.

따라서 델타 방법은 다음을 함축한다.

${\displaystyle {\sqrt{n}\왼쪽(h(B)-h(\beta )\오른쪽)\,{\x오른쪽 화살표 {D}\,N\(0,\nabla h(\beta)^{{T}\cdot \Sigma \cdot \nabla h(\beta )\오른쪽)}$

아니면 일변도의 용어로 말하면

${\displaystyle {\sqrt {{n}\좌(h(B)-h(\beta )\우)\,{\x오른쪽 화살표 {D}\,N\,\0,\sigma ^{2}\cdot \좌(h^{\premium })(\beta )^{2}\우).}$

예제: 이항 비율

X가_n $p{\displaystyle }$ ${\displaystyle \in }$( ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle p\in (0,1])$ 및$$ n과 함께 이항 분포라고 가정합시다. 이후

${\displaystyle {{\sqrt{n}\왼쪽[{\frac {X_{n}}{n}-p\right]\,{\xrightarrow {D}\,N(0,p(1-p))},}$

우리는 delta method를 g(수치) = log(수치)로 적용할 수 있다.

${\displaystyle {{\sqrt{n}\왼쪽[\log \lift({X_{n}}\right)-\log(p)\log(p)\right]\,{\xrightrow {D}\,N(0,p(1-p)[1/p]^{2}}:}$

Hence, even though for any finite n, the variance of ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ does not actually exist (since X_n can be zero), the asymptotic variance of ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ does exist and is equal to

${\displaystyle {\frac {1-p}{np}}.}$

Note that since p>0, ${\displaystyle \Pr \left({\frac {X_{n}}{n}}>0\right)\rightarrow 1}$ as ${\displaystyle n\rightarrow \infty }$, so with probability converging to one, ${\displaystyle \log \left({\frac {X_{n}}{n}}\right)}$ is finite for large n.

더욱이 $p{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$과 $q{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$ {\p$}}이($가) 각각 n과 m 크기의 독립 표본과 다른 그룹 비율의 추정치인$$ 경우, 추정 상대위험 $p{\displaystyle \frac{\stackrel{}{}}{}}$^ ^ ${\displaystyle \frac{q}{\stackrel{}{}}}$ ^ ^ ${\displaystyle \frac{\stackrel{}{^}}{}}$ ^ ${\$}{p$}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}은($가$$ 점증에 적합하다.

${\displaystyle {\frac {1-p}{p\,n}+{\frac {1-q}{q\,m}}}.}$

이는 가설 검정을 구성하거나 상대 위험에 대한 신뢰 구간을 만드는 데 유용하다.

대체형식

델타 방법은 흔히 위와 본질적으로 동일한 형태로 사용되지만_n X나 B가 점증적으로 정상이라는 가정은 하지 않는다. 종종 유일한 맥락은 분산이 "작다"라는 것이다. 그 결과는 변환된 수량의 수단 및 공분산들에 근사치를 제공한다. 예를 들어, 클라인(1953, 페이지 258)에 제시된 공식은 다음과 같다.^[5]

${\displaystyle{\begin{정렬}\operatorname{바르}\left(h_{r}\right)=&, \sum _ᆯ\left({\frac{\partial h_{r}}{\partial B_{나는}}}\right)^{2}\operatorname{바르}_{나는}\sum _ᆳ\left({\frac{\partial h_{r}}{\partial B_{나는}}}\right)\left({\frac{\partial h_{r}}{\partial B_{j}}}\right)\operatorname{Cov}\left(B_{나는},B_{j}\ri \left(B_{나는}\right)+\sum.ght)\\\operatorname{Cov}\left(h_{r},h_{s}\right)=&, \sum _ᆯ\left({\frac{\partial h_{r}}{\partial B_{나는}}}\right)\left({\frac{\partial h_{s}}{\partial B_{나는}}}\right)\operatorname{바르}\left(B_{나는}\right)+\sum _{나는}\sum _ᆲ\left({\frac{\partial h_{r}}{\partial B_{나는}}}\right)\left({\frac{\partial h_{s}}{\partial B_{j}}}\right)\operatorname. {Cov}} \left(B_{i},B_{j}\right)\end{aigned}}}$

여기서 h는_r h(B)의 r번째 요소, b는_i b의 i번째 요소다.

2차 델타법

g′(θ) = 0이면 델타 방법을 적용할 수 없다. 단, g′′(θ)이 존재하며 0이 아닌 경우에는 2차 델타 방식을 적용할 수 있다. By the Taylor expansion, ${\displaystyle {\sqrt {n}}[g(X_{n})-g(\theta )]={\frac {1}{2}}{\sqrt {n}}[X_{n}-\theta ]^{2}\left[g''(\theta )\right]+o_{p}(1)}$, so that the variance of ${\displaystyle g\left(X_{n}\right$$)}$은(는) $X{\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\$의 네 번째 순간까지 의존한다$.$

The second-order delta method is also useful in conducting a more accurate approximation of ${\displaystyle g\left(X_{n}\right)}$'s distribution when sample size is small. ${\displaystyl$$e {\sqrt {n}}[g(X_{n})-g(\theta )]={\sqrt {n}}[X_{n}-\theta ]g'(\theta )+{\frac {1}{2}}{\sqrt {n}}[X_{n}-\theta ]^{2}g''(\theta )+o_{p}(1)}$. For example, when ${\displaystyle X_{n}}$ follows the standard normal distribution, ${\displaystyle g\left(X_{n}\right)}$ can be approximated as the weighted sum of a stan보통과 카이-제곱의 도수가 1이다.

비모수 델타 방법

델타 방법의 버전은 비모수 통계량에 존재한다. ${\displaystyle X_{}}$ i${\displaystyle {}_{}}$~ ${\displaystyle F}$ ${\displaystyle X_{i}\sim$ F$}$을(를) 경험적 분포 $함수{\displaystyle {\stackrel{}{}}_{}}$ F${\displaystyle {\stackrel{}{}}_{}}$^${\$ {$F}_{n}$을(를$)$ 가진 $크기$가$$n {\$displaystyle n}$인 독립적이고 동일한 분포의 랜덤 변수가 되도록$$ $하고{\displaystyle }$ T ${\displaystyty T}$을(으)로$$ 한다. $T{\displaystyle }$ ${\displaystyle T}$이(가) Chebyshev 메트릭과 관련하여 Hadamard를 달리할 수 있는 경우$$

${\displaystyle {\frac({\hat {F}_{n}-T(F)}{\widehat {\mathit{se}}}}\x오른쪽 화살표 {D}N(0,1)}$

where ${\displaystyle {\widehat {\mathit {se}}}={\frac {\hat {\tau }}{\sqrt {n}}}}$ and ${\displaystyle {\hat {\tau }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\hat {L}}^{2}(X_{i})}$, with ${\displaystyle \hat{L}(x)=L_{{\hat{F}}_n}({\delta }_x}$${\displaystyle {\hat{L}(x)=$따라서 $L_{{\hat{F}_{n}}}(\delta_{x})$는 $T{\displaystyle }$ ${\displaystyle T}$에 대한 경험적 영향 함수를 나타내며$$$,$ $T{\displaystyle }$ $){\displaystyle$ T$(F$$)}$에 $대한$ 비모수$({\displaystyle }$1 -${\displaystyle \alpha )}$ ${\$displaystytotatic $신뢰$ 구간이 주어진다$$.

${\displaystyle T({\hat {F}_{n}\pm z_{\alpha /2}{\widehat{\mathit{se}}}}}}}}$

여기서 $z{\displaystyle {}_{}}$ ${\displaystyle q_{}}$ ${\$는 표준 정규의 $q{\displaystyle }$ ${\displaystyle q}$ - -ile을$$ 나타낸다$$. 자세한 내용과 예는 Wasserman(2006) 페이지 19f.를 참조한다.

참고 항목

• 랜덤 변수의 함수 모멘트에 대한 테일러 확장
• 분산 안정화 변환

참조

추가 읽기

• Oehlert, G. W. (1992). "A Note on the Delta Method". The American Statistician. 46 (1): 27–29. doi:10.1080/00031305.1992.10475842. JSTOR 2684406.
• Wolter, Kirk M. (1985). "Taylor Series Methods". Introduction to Variance Estimation. New York: Springer. pp. 221–247. ISBN 0-387-96119-4.
• Wasserman, Larry (2006). All of Nonparametric Statistics. New York: Springer. pp. 19–20. ISBN 0-387-25145-6.

외부 링크

• Asmussen, Søren (2005). "Some Applications of the Delta Method" (PDF). Lecture notes. Aarhus University. Archived from the original (PDF) on May 25, 2015.
• Feiveson, Alan H. "Explanation of the delta method". Stata Corp.
• Xu, Jun; Long, J. Scott (August 22, 2005). "Using the Delta Method to Construct Confidence Intervals for Predicted Probabilities, Rates, and Discrete Changes" (PDF). Lecture notes. Indiana University.