이단성 일관성 유지 표준 오차

이질-유연성-정합성(HC) 표준 오류의 주제는 선형 회귀 분석과 시계열 분석의 맥락에서 통계와 계량학에서 발생한다. 이러한 오류는 또한 Friedhelm Eicker,^[2] Peter J. Huber ^[3]및 Halbert White의 기여를 인식하기 위해 이단성-로봇성 표준 오차(또는 단순히 강력한 표준 오차), Eicker-Huber-Wher-White 표준 오차(Huber-White 표준 오차 또는 White 표준 오차)라고도 한다.^[1][4]

회귀 분석 및 시계열 모델링에서, 기본적인 형태의 모형은 오류 또는 교란 요인이_i 모든 관측 지점에서 동일한 분산을 갖는다는 가정을 이용한다. 그렇지 않은 경우 오류는 이질적이라거나 이질적이라 하며, 이러한 행동은 적합 모델에서 추정된$$ $u{\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle i_{}}$ ${\$에 반영된다. 이질성 일관성 표준 오차를 사용하여 이질성 잔차를 포함하는 모델을 장착할 수 있다. 첫 번째 그러한 접근방식은 Huber(1967년)에 의해 제안되었고, 단면 데이터, 시계열 데이터 및 GARCH 추정의 경우 이후로 더욱 개선된 절차가 생산되었다.

기존 표준 오류와 다른 이질성 일관성 유지 표준 오류는 모델 오타를 나타낼 수 있다. 이형성 일관성 있는 표준 오차를 대체한다고 해서 계수의 편향으로 이어질 수 있는 이러한 잘못 지정이 해결되지 않는다. 대부분의 상황에서 문제를 찾아 고쳐야 한다.^[5] 클러스터된 표준 오류와 같은 다른 유형의 표준 오류 조정은 HC 표준 오류에 대한 확장으로 간주될 수 있다.

역사

헤테로스케일리티 정합성 표준오차는 프리델름 아이커에 의해 도입되고,^[6][7] 핼버트 화이트에 의해 계량학으로 대중화되었다.

문제

선형 회귀 모형 고려

$[\displaystyle Y=X\beta +U,\,}$

여기서 X는 설명 변수의 벡터, β는 추정할 파라미터의 k × 1 열 벡터다.

일반 최소 제곱(OLS) 추정기는

${\displaystyle {\widehat {\properties}_{\text{\text}OLS}=(\mathb {X} '\mathb {X} )^{-1}\mathb {X} '\mathb {Y} .\,}$

여기서 $X{\displaystyle \mathbb{}}$ ${\$는) 데이터에 관측된 누적 ${\displaystyle X_{}^{}}$ i ${\displaystyle {}_{}^{}}$ ${\$ 값의 행렬을 나타낸다$$.

표본 오차의 분산이 같고² 상관 관계가 없는 경우, β의 최소 제곱 추정치는 파란색(최상의 선형 불편 추정기)이며, 분산은 다음과 같이 추정한다.

${\displaystyle v_{\text{OLS}}\왼쪽[{\widehat {\beta }}_{\text{OLS}}\오른쪽]=s^{2}(\mathb {X} '\mathbb {X} )^{-1},\quad s^{2}={\frac {\sum _{{i}}{widehat{u}}}^{n-k}}}}}}}}$

여기서 $u{\displaystyle {\stackrel{}{}}_{}{\stackrel{}{^}}_{}}$ i = ${\displaystyle {Yi}_{}}$ -${\displaystyle {}_{}{}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}{\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle {\text{OLS}}_{}}$ ${\$widehat {$u}_{i}=$$Y_{i}-X_{i}{\widehat {\beta }}}{{\text{$$OLS}}$은(는) 회귀 잔차다.

오차항의 분산이 일정하지 않은 경우(즉, $E{\displaystyle \mathrm{}}$ ⁡${\displaystyle }$[${\displaystyle {}^{}}$u ${\displaystyle ]}$= = ${\displaystyle {}^{}}$ ${\displaystyle I_{}}$ ${\displaystyle {}^{}{}_{}}$ ${\$$I_{n}$는 사실이 아니다), OLS 추정기는 바람직한 특성을 상실한다. 분산 공식은 이제 단순화할 수 없다.

${\displaystyle V\left[{\widehat {\beta }}_{\text{OLS}\오른쪽]=V[(\mathbb {X} '\mathbb {X} )^{-1}\mathbb {X} '\mathbb {Y} ]=(\mathbb {X} '\mathbb {X} )^{-1}\mathbb {X} '\Sigma \mathbb {X} (\mathbb {X} '\mathbb {X} )^{-1}}$

여기서 $\sigma {\displaystyle \mathrm{}}$= ${\displaystyle V}$ [${\displaystyle u}$ ${\displaystyle ]}$. ${\displaystyle \Sigma$= V$[u].$$}$

OLS 점 추정기는 편향되지 않은 상태로 유지되지만, 최소 평균 제곱 오차가 있다는 점에서 "최상"이 아니며, OLS 분산 추정기 $v{\displaystyle {}_{}}$ ${\displaystyle {\text{OLS}}_{}}$ [${\displaystyle {}_{}{\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ${\displaystyle {\text{OLS}}_{}}$ ${\displaystyle {}_{}}$ ${\$$OLS}}\왼쪽[{\widehat {\beta }}_{\text{$$OLS}\right]}$은(는) OLS 추정치의 분산에 대한 일관된 추정치를 제공하지 않는다$$.

그러나 모든 비선형 모델(예: 로짓 및 프로빗 모델)의 경우, 이형 knoticity는 모수의 최대우도 추정치가 (알 수 없는 방향으로) 편향될 뿐만 아니라 (우도함수를 수정하여 이형 knotic의 정확한 형태를 고려하지 않는 한) 일관성이 더 심각한 결과를 초래한다.ity).^[8][9] 그린이 지적한 바와 같이, "그 외에는 일관성이 없는 추정자에 대해 강력한 공분산 행렬을 계산하는 것만으로는 상환을 하지 않는다."^[10]

해결책

만약 회귀 오류 나는{\displaystyle u_{나는}u},지만 뚜렷한 변동이 σi2을 가지고 있다면, Σ)diag⁡(12,…,σ n2σ){\displaystyle \Sigma =\operatorname{diag}(\sigma_{1}^{2},\ldots ,\sigma_{n}^{2})}은σ ^과 나는 2)u^나는 2{\displaystyle{추정할 수 있어 독립적이다.\w$idehat{\sigma }}_{i}^{2}={\widehat{u}_{i}^{2$ 이것은 흔히 HCE(heteroskedastity-consistent estimator)라고 하는 White(1980) 추정기를 제공한다.

${\displaystyle {\displaysty}v_{\text}HCE}}\왼쪽[{\widehat {\beta }}_{\text{광학 착륙 시스템}}\right-RSB-&={\frac{1}{n}}\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'\right)^ᆯ\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'{\widehat{너}}_{나는}{2}^\right)\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'\right)^{)}\\&, =(\mathbb{X}'\mathbb{X})^ᆱ(\mathbb{X}'\operatorname{diag}({\widehat{너}}_{1}^{2},\ldots,{\widehat{너}}_{n}^{2})\mathbb{X})(\.mathbb{X} '\mathbb {X} )^{-1},\end{aigned}}}$

여기서 $위{\displaystyle \mathbb{}}$ X ${\$는) 데이터에서 쌓인 $X{\displaystyle {}_{}^{}}$ ${\displaystyle i_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$ 값의$$ 행렬을 나타낸다$$. 추정기는 일반화된 모멘트 방법(GMM)으로 도출할 수 있다.

문헌(White's paper 포함)에서도 자주 논의되는 바는 공분산 행렬 $\Omega {\displaystyle {\stackrel{}{\mathrm{}}}_{}}$^${\displaystyle n_{}}$${\$$widehat {\\$$Oomega}}$$_{$$n}}}$의 일관성$$$$ 있는 제한 분포:

${\displaystyle {\sqrt{n}-\beta}({\widehat {\beta}-\beta )\,{\xrightarrow{d}\,N(0,\Oomega),}$

어디에

${\displaystyle \Oomega =\operatorname {E} [XX]^{-1}\operatorname {Var} [XU]\operatorname {E} [XX']^{1},}$

그리고

${\displaystyle{\begin{정렬}{\widehat{\Omega}}_{n}&, =\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'\right)^ᆯ\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'{\widehat{너}}_{나는}{2}^\right)\left({\frac{1}{n}}\sum_{나는}X_{나는}X_{나는}'\right)^{)}\\&, =n(\mathbb{X}'\mathbb{X})^{)}(\mathbb{X}'\operatorname{diag}({\widehat{너}}_{1}^{2},\ldots,{\wideha.t{u}}_{n}^{2}\mathb {X}(\mathb {X} '\mathb {X} )^{-1}\end{arged}}}}$

그러므로

${\displaystyle {\widehat {\Oomega}_{n}=n\cdot v_{\text{HCE}}[{\widehat{\beta }}}_{\text{OLS}]}$

그리고

${\displaystyle {\widehat {\operatorname {Var} }}[Xu]={\frac {1}{n}}\sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{2}={\frac {1}{n}}\mathbb {X} '\operatorname {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat {u}}_{n}^{2})\mathbb {X} .}$

정확히 어떤 공분산 행렬이 중요한지는 맥락의 문제다.

다른 레버리지로 인한 회귀 잔차의 불균등한 분산을 수정하는 대체 추정기가 MacKinnon & White(1985)에서 제안되었다.^[11] 무증상 화이트의 추정기와는 달리, 그들의 추정치는 데이터가 동질적일 때 편향되지 않는다.

참고 항목

소프트웨어

• EViews: EViews 버전 8은 견고한 최소 제곱에 대해 M-추정(Huber, 1973), S-추정(Rousseuw and Yohai, 1984), MM-추정(Yohai 1987)의 세 가지 방법을 제공한다.^[12]
• 줄리아: 더 CovarianceMatrices 패키지는 이질적인 강력한 분산 공분산 행렬에 대한 몇 가지 방법을 제공한다.^[13]
• MATLAB: 참조 hac Econometrics 툴박스에서 기능한다.^[14]
• Python: Statsmodel 패키지는 다양한 강력한 표준 오차 추정치를 제공한다. statsmodels.rerecription.linear_model을 참조하십시오.회귀분석추가 설명에 대한 결과
• R: 더 vcovHC() 소포에서 ^[15][16]명령하다
• RATS: 대부분의 회귀 및 최적화 명령(, linreg등)에서 옵션을 사용할 수 있다.
• 스타타: robust 많은 의사 기반 절차에 적용되는 옵션.^[17]
• 그레틀: 옵션 --robust 몇 개의 추정 명령어(예: ols단면 데이터 집합의 맥락에서 )는 강력한 표준 오류를 생성한다.^[18]

참조

추가 읽기

• Freedman, David A. (2006). "On The So-Called 'Huber Sandwich Estimator' and 'Robust Standard Errors'". The American Statistician. 60 (4): 299–302. doi:10.1198/000313006X152207. S2CID 6222876.
• Hardin, James W. (2003). "The Sandwich Estimate of Variance". In Fomby, Thomas B.; Hill, R. Carter (eds.). Maximum Likelihood Estimation of Misspecified Models: Twenty Years Later. Amsterdam: Elsevier. pp. 45–74. ISBN 0-7623-1075-8.
• Hayes, Andrew F.; Cai, Li (2007). "Using heteroskedasticity-consistent standard error estimators in OLS regression: An introduction and software implementation". Behavior Research Methods. 39 (4): 709–722. doi:10.3758/BF03192961. PMID 18183883.
• King, Gary; Roberts, Margaret E. (2015). "How Robust Standard Errors Expose Methodological Problems They Do Not Fix, and What to Do About It". Political Analysis. 23 (2): 159–179. doi:10.1093/pan/mpu015.
• Wooldridge, Jeffrey M. (2009). "Heteroskedasticity-Robust Inference after OLS Estimation". Introductory Econometrics : A Modern Approach (Fourth ed.). Mason: South-Western. pp. 265–271. ISBN 978-0-324-66054-8.
• 부자, 안드레아스 등 "근사치로 모형화 - 회귀 분석에서 고전적 추론에 대한 무작위 회귀 분석기와 모델 편차의 음모" 통계학(2015): 1. pdf