가중 최소 제곱

가중 선형 회귀 분석이라고도 하는 가중 최소 제곱(WLS)^[1]^[2]은 관측치의 분산에 대한 지식이 회귀 분석에 통합되는 일반 최소 제곱 및 선형 회귀 분석의 일반화다. WLS는 또한 일반화된 최소 제곱의 특화품이다.

소개

가중 최소 제곱이라고 하는 일반화 최소 제곱의 특별한 경우는 Ω(잔차의 상관 행렬)의 모든 대각선 입력이 null일 때 발생한다. 관측치의 분산(공분산 행렬 대각선)은 여전히 동일하지 않을 수 있다(열병성).

데이터 포인트에 대한 모델의 적합성은 종속 변수의 측정 값 $y_{i}$ i ${\$ 와 $y_{i}$ 모델에 의해 예측된 $f(x_{i},{\boldsymbol {\beta }})$ f $f(x_{i},{\boldsymbol {\beta }})$ , $){\displaystyle f(x_{i},{\boldsymbol{\beta$ 의 차이로 $r_{i}$ 되는 $r_{i}$ i $r_{i}$ {\ $displaystystyledata}$ 에 의해 측정된다 $.$

r_{i}({\\symbol {\reason }})=y_{i}-f(x_{i},{\symbol {\reason }).

오차가 상관 관계가 없고 분산이 동일하면 함수

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

(

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

)

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

=

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

i

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2}

) 2

{\

${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ ${\$ ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ ) ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ = ${\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0$ ${\displaystyle {\frac {\partial S}{\$ partial $\beta _{j}}({\hat {\boldmbol {\bol$ {\beta $}}}}}}}}}}}}}}}}}}}}}}}}}}}=0$

가우스-마코프 정리를 보면, 이럴 때 ${\hat {\boldsymbol {\beta }}}$ ${\$ 이(가) 최고의 선형 불편 추정기(BLUE)임을 ${\hat {\boldsymbol {\beta }}}$ 알 수 있다. 그러나 측정치가 상관관계가 없지만 불확실성이 상이한 경우에는 변경된 접근법을 채택할 수 있다. Aitken은 가중치 있는 잔차 제곱합이 최소화된 경우 ${\hat {\boldsymbol {\beta }}}$ ${\$ 이(가) 측정 분산의 역수와 같으면 파란색임을 보여주었다 ${\hat {\boldsymbol {\beta }}}$ .

{\reasoned}S&=\sum _{i=1}^{n}W_{i}{r_{i}}^{2},&W_{i}&={\frac {1}{{\sigma _{i}^{2}}}\end{aigned}}}}}}}}

이 제곱합에 대한 구배 방정식은

-2\sum _{i}W_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}}}{\partial \beta _{j}r_{i}=0,\quad j=1,\ldots,m}

선형 최소 제곱 시스템에서 수정된 정규 방정식을 제공하며

\sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{i}X_{ik}{\hat {\beta }}}}{k}=\sum _{i=1}^{n}X_{ij}}W_{i}y_{i},\quad j=1,\ldots,m\,

관측오차가 상관관계가 없고 중량행렬인 W가 대각선인 경우 다음과 같이 기재할 수 있다.

\mathbf {\left(X^{\textsf {T}WX\right){\hat {\boldsymbol {\beta }}=X^{\textsf {T}Wy}.

오차가 상관된 경우 가중치 행렬이 관측치의 분산-공분산 행렬의 역행렬과 같으면 결과 추정기는 파란색이다.

오차가 상관관계가 없을 때는 w $w_{ii}={\sqrt {W_{ii}}}$ = $w_{ii}={\sqrt {W_{ii}}}$ $w_{ii}={\sqrt {W_{ii}}}$ ${\$ 로 가중치 매트릭스를 고려하는 계산을 단순화하는 것이 편리하다 $w_{ii}={\sqrt {W_{ii}}}$ 그런 다음 정규 방정식을 일반 최소 제곱과 동일한 형태로 작성할 수 있다.

\mathbf {\왼쪽(X'^{\textsf {T}X'\오른쪽){\hat {\boldsymbol {\beta }=X'^{\textsf {T}}\,

여기서 다음과 같은 축척 행렬 및 벡터를 정의한다.

{\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}

이것은 미백 변환의 일종이다; 마지막 표현은 항목별 분열을 포함한다.

비선형 최소 제곱 시스템의 경우 유사한 주장은 정규 방정식을 다음과 같이 수정해야 한다는 것을 보여준다.

\mathbf {\left(J^{\textsf {T})WJ\right)\,{\boldsymbol {\Delta }}\\beta =J^{\textsf{T}W\,{\boldsymbol {\delta }.\,

경험적 시험의 경우 적절한 W는 확실히 알려져 있지 않으며 반드시 추정되어야 한다는 점에 유의한다. 이 실현 가능한 일반화 최소 제곱(FGLS) 기법을 사용할 수 있다. 이 경우 대각 공분산 행렬에 특화되어 실현 가능한 최소 제곱 솔루션을 산출한다.

관측치의 불확실성을 외부 출처에서 알 수 없는 경우 주어진 관측치로부터 가중치를 추정할 수 있다. 이것은 예를 들어 특이치를 식별하는 데 유용할 수 있다. 데이터 세트에서 특이치를 제거한 후 가중치를 1로 재설정해야 한다.^[3]

동기

어떤 경우에는 관측치에 가중치가 부여될 수 있다. 예를 들어, 관측치가 동등하게 신뢰할 수 없을 수도 있다. 이 경우 가중 제곱합을 최소화할 수 있다.

{\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right ^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\ W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\ ^{2}.

여기서 w_i > 0은 ih 관측치의 중량이고, W는 그러한 가중치의 대각 행렬이다.

가중치는 이상적으로 측정 분산의 역수와 같아야 한다.(이는 관측치가 상관관계가 없음을 의미한다. 관측치가 상관 관계가 있는 경우 ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ = ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ w ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ k r ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ $textstyle S=\sum _{k}\sum _{j}r_{k}}}$ $W_{kj}r_{j}\,}$ 이(가) 적용된다 ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ . 이 경우 체중 행렬은 이상적으로 관측치의 분산-공분산 행렬의 역행렬과 같아야 한다.^[3] 정규 방정식은 다음과 같다.

\왼쪽(X^{\textsf {T}WX\오른쪽){\hat {\boldsymbol {\beta }=X^{\textsf {T}W\mathbf {y}

이 방법은 반복적으로 재가중 최소 제곱에 사용된다.

파라미터 오류 및 상관 관계

추정된 모수 값은 관측된 값의 선형 조합이다.

{\hat\boldsymbol {\beta }}=(X^{\textsf{T}WX)^{-1}X^{\textsf {T}W\mathbf {y}}}

따라서 모수 추정치의 추정된 분산-공분산 행렬에 대한 식은 관측치의 오차로부터 오차 전파를 통해 얻을 수 있다. 관측치에 대한 분산-공분산 행렬을 M으로 나타내고 추정된 모수의 행렬을 M으로^β 나타내도록 한다. 그러면

M^{\beta }=\왼쪽(X^{\textsf{T}WX\right)^{-1}X^{\textsf{T}}}WMW^{\textsf{{T}X\왼쪽(X^{\textsf{T}W^{\textsf{T}X\right)^{-1}

W = M이면⁻¹ 다음과 같이 단순화된다.

M^{\beta }=\왼쪽(X^{\textsf{T}WX\오른쪽)^{-1}

단위 가중치를 사용하는 경우(W = I, ID 행렬) 실험 오차는 상관 관계가 없으며 모두 동일하다는 것을 암시한다. M = σI², 여기서 σ은² 관측치의 선분산이다. 어쨌든 σ은² chi $\chi _{\nu }^{2}$ 2 ${\$ :

{\reasoned}M^{\beta }&=\chi _{\nu }^{2}\왼쪽(X^{\textsf {T}WX\right)^{-1},\\\\chi _{\nu }^{2}&=S/\nu,\liged}}}}}}}}}}

여기서 S는 (가중치) 목적함수의 최소값이다.

S=r^{\textsf {T}Wr.

분모인 $\nu =n-m$ = $\nu =n-m$ - $\nu =n-m$ $\nu =n-m$ 은 $\nu =n-m$ 자유도 수입니다. 상관된 관측치의 경우 일반화에 대한 유효 자유도를 참조하십시오.

In all cases, the variance of the parameter estimate ${\hat {\beta }}_{i}$ is given by $M_{ii}^{\beta }$ and the covariance between the parameter estimates ${\hat {\beta }}_{i}$ and ${\hat {\beta }}_{j$ $}}$ 은 ${\hat {\beta }}_{j}$ (는) $M_{ij}^{\beta }$ $M_{ij}^{\beta }$ $M_{ij}^{\beta }$ ${\$ 에 의해 부여된다 $M_{ij}^{\beta }$ The standard deviation is the square root of variance, $\sigma _{i}={\sqrt {M_{ii}^{\beta }}}$ , and the correlation coefficient is given by $\rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})$ . 이러한 오차 추정치는 측정에서 랜덤 오차만 반영한다. 매개변수의 참 불확실성은 체계적 오류가 존재하기 때문에 더 크며, 정의상으로는 계량화할 수 없다. 관측치가 상관 관계가 없을 수 있지만 모수는 일반적으로 상관 관계가 있다는 점에 유의하십시오.

모수 신뢰 한계

구체적인 증거가 필요하지만 중앙 한계 정리(정상 분포#발생 및 적용 참조)에 호소하는 경우가 많다. 각 관측치의 오차는 평균이 0이고 표준 편차가 $\sigma$ 인 정규 분포에 속한다고 종종 가정한다 $\sigma$ 그러한 가정 하에서 다음과 같은 확률s는 추정된 표준 오차 $se_{\beta }$ $se_{\beta }$ $se_{\beta }$ ${\$ }}}의 관점에서 단일 스칼라 모수 추정치에 대해 도출할 수 있다( $se_{\beta }$ 여기서 제공).

68% 구간

{\hat {\beta }}\pm se_{\beta }

{\hat {\beta }}\pm se_{\beta }

± s

{\hat {\beta }}\pm se_{\beta }

{\hat {\beta }}\pm se_{\beta }

{\

이(가) 참 계수 값을 포함한다는

{\hat {\beta }}\pm se_{\beta }

것

95% 간격

{\hat {\beta }}\pm 2se_{\beta }

±

{\hat {\beta }}\pm 2se_{\beta }

e

{\hat {\beta }}\pm 2se_{\beta }

{\

displaystyle

{\

hat {\reason }\pm 2se_{\reason }}

이(가) 참 계수 값을 포함함

{\hat {\beta }}\pm 2se_{\beta }

99% 간격

{\hat {\beta }}\pm 2.5se_{\beta }

{\hat {\beta }}\pm 2.5se_{\beta }

±

{\hat {\beta }}\pm 2.5se_{\beta }

.

{\hat {\beta }}\pm 2.5se_{\beta }

{\hat {\beta }}\pm 2.5se_{\beta }

{\hat {\beta }}\pm 2.5se_{\beta }

{\

2.5se_

{\complete }}

이(가) 참 계수 값을 포함한다고

{\hat {\beta }}\pm 2.5se_{\beta }

함

이 가정은 m >> n을 사용할 때 불합리하지 않다. 실험 오류가 정상적으로 분포된 경우 매개변수는 m - n 자유도를 가진 학생의 t 분포에 속할 것이다. m ≫n 학생의 t 분포가 정규 분포에 근접한 경우. 그러나 이러한 신뢰 한계는 체계적인 오류를 고려할 수 없다는 점에 유의한다. 또한, 매개변수 오류는 표본오차의 영향을 받기 때문에 하나의 유의한 수치에만 인용되어야 한다.^[4]

관측치의 수가 상대적으로 작을 때, 실험 오차 분포에 대한 가정과 무관하게 Chebychev의 불평등은 확률 상한을 위해 사용될 수 있다: 모수가 기대값에서 100%, 25%, 11%의 표준 편차를 초과할 확률이다.망연히

잔차 값 및 상관 관계

잔차는 관측치와 관련이 있으며

\mathbf {\r} =\mathbf {y} -X{\hatsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y},},},

여기서 H는 Hat 행렬로 알려진 idempotent 행렬이다.

H=X\left(X^{\textsf{T}WX\right)^{-1}X^{\textsf{T}W,

그리고 나는 정체성 매트릭스다 잔차의 분산-공분산 행렬, M은

M^{\mathbf {r}}}=(I-H)M(I-H)^{\textsf {T}.

따라서 관측치가 아니더라도 잔차는 상관 관계가 있다.

$W=M^{-1}$ = $W=M^{-1}$ - $W=M^{-1}$ ${\$

M^{\mathbf {r}}}=(I-H)M.

가중 잔차 값의 합계는 모형 함수에 상수 항이 포함될 때마다 0과 같다. X^T W를^T 기준으로 잔차 식을 왼쪽 다중값으로 표시:

X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .

예를 들어 모델의 첫 번째 항이 상수이므로 모든 i에 대해 $X_{i1}=1$ $X_{i1}=1$ $X_{i1}=1$ $X_{i1}=1$ = $X_{i1}=1$ $X_{i1}=1$ 라고 가정하십시오. 그 경우에는 다음과 같다.

\sum _{i}^{m}X_{i1}W_{i}{\hat{r}_{i}=\sum _{i}^{m}W_{i}{\hat{r}_{i}=0.

따라서 위의 동기적 예에서 잔차 값의 합이 0과 같다는 사실은 우연이 아니라 모형에 상수 항인 α가 존재한 결과물이다.

실험 오차가 정규 분포를 따르는 경우 잔차와 관측치 사이의 선형 관계 때문에 잔차도 그래야만 하지만 관측치는 가능한 모든 관측치 모집단의 표본일 뿐이므로 잔차는 학생의 t-분포에 속해야 한다.^[5] 학생화된 잔차는 특정 잔차가 지나치게 큰 것으로 나타날 때 특이치에 대한 통계적 검정을 할 때 유용하다.

참고 항목

참조

^ [1]
^ [2]
^ ^a ^b Strutz, T. (2016). Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Springer Vieweg. ISBN 978-3-658-11455-8., 3장
^ Mandel, John (1964). The Statistical Analysis of Experimental Data. New York: Interscience.
^ Mardia, K. V.; Kent, J. T.; Bibby, J. M. (1979). Multivariate analysis. New York: Academic Press. ISBN 0-12-471250-9.

[1] [1]

[2] [2]

[strutz-3] Strutz, T. (2016). Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Springer Vieweg. ISBN 978-3-658-11455-8., 3장

[4] Mandel, John (1964). The Statistical Analysis of Experimental Data. New York: Interscience.

[5] Mardia, K. V.; Kent, J. T.; Bibby, J. M. (1979). Multivariate analysis. New York: Academic Press. ISBN 0-12-471250-9.

[1]

[2]

[3]

[4]

[5]

Search

가중 최소 제곱

네임스페이스

더

목차

소개

동기

파라미터 오류 및 상관 관계

모수 신뢰 한계

잔차 값 및 상관 관계

참고 항목

참조