학생화 잔차

이 글에는 여러 가지 문제가 있다. 이 문제를 개선하거나 대화 페이지에서 토의하십시오. (이러한 템플릿 메시지를 제거하는 방법 및 시기 알아보기) 이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "학생화 잔재" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2015년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 학습) 이 글의 사실적 정확성은 논쟁의 여지가 있다. 관련 토론은 토크 페이지에서 찾을 수 있다. 논란이 되는 문구를 안정적으로 소싱할 수 있도록 도와주십시오. (2014년 2월) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

통계에서 학생화된 잔차는 잔차를 표준 편차의 추정치로 나눈 값이다. 이것은 학생 t-통계학의 한 형태로서, 오차의 추정치는 점마다 다르다.

이것은 특이치를 검출하는 데 중요한 기술이다. 그것은 학생이라는 필명으로 쓴 윌리엄 실리 고싯을 기리기 위해 이름이 붙여진 몇몇 사람들 중에 있다. 통계량을 표본 표준 편차로 나누는 것을 표준화 및 정규화와 유사하게 학습이라고 한다.

동기

다변량 분포의 회귀 분석에서 이러한 서로 다른 입력 변수 값의 오차 분산이 같더라도 다른 입력 변수 값의 잔차 분산이 다를 수 있기 때문에 학습을 하는 주요 이유는 다음과 같다. 문제는 통계에서 오류와 잔차의 차이, 특히 퇴행에서 잔차의 거동이다.

단순 선형 회귀 모형 고려

${\displaystyle Y=\alpha _{0}+\alpha _{1}X+\barepsilon .\,}$

랜덤 표본(X_i, Y_i), i = 1, ..., n, 각 쌍(X_ii, Y)이 충족됨

${\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}X_{i}+\varepsilon _{i}\,}$

여기서 오류 $\epsilon {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$는$$독립적이며 모두 동일한 분산 $variance{\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$ 잔차는 실제 오차가 아니라 관측 가능한 데이터에 기반한 추정치다. 최소 제곱법을 사용하여 $\alpha {\displaystyle }$ 0 ${\$ 및$$ $\alpha {\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$}을 추정할 때$,$ 오류 ${\displaystyle$ ${\widehat {\$$barepsilon \}}}$과 달리 $잔차{\displaystyle \stackrel{}{}}$ $^{\$displaystyproton $\}$은 두 제약 조건을 만족하므로 독립적일 수 없다$.$s

${\displaystyle \sum _{i=1}^{n}{\widehat {\barepsilon \,}_{i}=0}$

그리고

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}_{i}x_{i}=0.}$

(여기서 $\epsilon$_i 에러가 발생하였고, ^ ${\displaystyle {\stackrel{}{^}}_{}}$ i ${\$는 ith 잔차 입니다$$.)

오차와는 달리 잔차가 모두 같은 분산을 갖는 것은 아니다. 해당 x-값이 평균 x-값에서 멀어질수록 분산이 감소한다. 이것은 데이터 자체의 특징이 아니라, 도메인 끝에 값을 더 잘 맞추는 회귀 분석의 특징이다. 또한 다양한 데이터 포인트가 회귀 계수에 미치는 영향 함수에 반영된다. 엔드포인트가 더 많은 영향을 미친다. 이는 엔드포인트의 잔차가 적합선의 기울기에 크게 의존하는 반면, 중앙의 잔차는 상대적으로 기울기에 둔감하기 때문에도 볼 수 있다. 참 오류의 분산이 모두 서로 동일하지만 잔차의 분산이 다르다는 사실이 학생화의 필요성에 대한 주된 이유다.

단순히 모집단 모수(평균 및 표준 편차)를 알 수 없는 문제가 아니라, 잔차에 대한 공통 분포를 공유하는 일변량 분포의 점 추정기와 달리 퇴행은 서로 다른 데이터 포인트에서 다른 잔차 분포를 산출한다는 것이다.

배경

이 단순한 모델의 경우 설계 행렬은

${\displaystyle X=\left[{\begin{matrix}1&x_{1}\\\\vdots &\\\\\1&x_{n}\end{matrix}\right]}}$

Hat 행렬 H는 설계 행렬의 열 공간에 대한 직교 투영 행렬이다.

${\displaystyle H=X(X^{T}X)^{-1}X^{T}\,}$

레버리지 h는_ii hat 행렬의 ih 대각선 입력이다. eth 잔차의 분산은

${\displaystyle \varname {var}({\widehatton \,}_{i}=\varema ^{2}(1-h_{i})).}$

설계 행렬 X에 (위의 예와 같이) 두 개의 열만 있는 경우, 이는

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}-{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right).}$

산술 평균의 경우 설계 행렬 X에는 하나의 열(하나의 벡터)만 있으며, 이는 단순히 다음과 같다.

${\displaystyle \varname {var}({\widehatton \,}_{i}=\barema ^{2}\left(1-{\frac {1}{n}\오른쪽)}$

계산

위의 정의에 따라 학생화된 잔차는 다음과 같다.

${\displaystyle t_{i}={{\widehat {\barepsilon \,}_{i}} \\widehat {\\widema }}}}{\sqrt{1-h_{i}\}}}}}}}}}}}}{\widehd}}}}}}}}}}}}}}$

여기서 h는_ii 레버리지(leverage)이며, 여기서 $\sigma {\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$은(아래 참조)의 적절한 추정치임.

평균의 경우 이는 다음과 같다.

${\displaystyle t_{i}={{\widehat {\barepsilon \,}_{i} \widehat{\widehat {\\pa }}}{\sqrt{(n-1)/n}}}}}}$

내외부 학생화

σ의² 통상적인 추정치는 내부적으로 학습한 잔차다.

${\displaystyle {\widehat{\widehat{\}}{2}={1 \over n-m}\sum _{j=1}^{n}{\widehat {\barepsilon \,}}}}{j}^{j}^{,2}.}$

여기서 m은 모형에 있는 모수의 수입니다(이 예에서는 2).

그러나 i ths 사례가 아마도 클 것으로 의심된다면, 그것은 또한 정상적으로 배포되지 않을 것이다. 따라서 i th 사례가 특이치인지 여부를 고려할 때 분산을 추정하는 과정에서 i th 관측치를 배제하고 대신 외부 학생화 잔차를 사용하는 것이 현명하다.

${\displaystyle {\widehat{\widema}}{{(i)^{2}={1\over n-m-1}\sum _{\\smallmatrix}j=1\j\neq i\end}^{n}}{\widehat {\varepsilon \,}},}$

의심스러운 i th 잔류물을 제외한 모든 잔차에 기초한다. 여기서 $\epsilon {\displaystyle {\stackrel{}{}}_{}^{}}$ ${\displaystyle {\stackrel{}{^}}_{}^{}}$ ${\displaystyle j_{}^{}}$ ${\displaystyle {2\mathrm{}}_{}^{}}$(${\displaystyle j}$ ${\displaystyle \ne }$ ${\displaystyle i}$) ${\displaystyle {\widehat {\barerpsilon \,}}^{j}^{\,2$}($j\neq$ i$)}$을(를) i 사례 제외로 계산함을 강조한다.

th 추정치에² i th 사례가 포함된 경우, 내부적으로 학습한 잔차 t $i{\displaystyle {}_{}}$ ${\$표준화된 잔차라고도 함)$$라고 한다. 추정치 $\sigma {\displaystyle {\stackrel{}{}}_{}^{}}$^${\displaystyle {}_{}^{}}$^ (${\displaystyle i_{}^{}}$ ) ${\displaystyle {\mathrm{}}_{}^{}}${\$displaystyle${\$widehat {\sigma }_{(i)}^{2}}$을 대신 사용한다면$$, 외부 학습형 $t{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {(i}_{}}$ )${\$라고 한다$.$

분배

n이 오류와 보통 기대 가치 0과 가변성 σ2 있고, 그러고 나서 그 ith 외부 studentized 잔류 t을 확률 분포 분산 독립적이다 나는}{\displaystyle t_{i(나는)}(나는)은 T분포 − m자유의 1도 −,− ∞{\displaystyle\scriptstyle -\infty 이르기까지 다양하다.$}$ ~ +${\displaystyle \mathrm{\infty }}$ ${\$ \scriptstyle +\inflt $\}.$

반면, 내부적으로 학습한 $잔차$는 0${\displaystyle }$± ${\$의 범위에 있으며$,$ 여기서 ν = n - m은 잔류 자유도 수입니다. t가_i 내부적으로 학습된 잔차를 나타내고, 오류가 동일한 독립적으로 분포된 가우스 변수라고 다시 가정하는 경우,^[2] 다음을 수행하십시오.

${\displaystyle t_{i}\sim {\sqrt{\nu}}}{\sqrt{t^{2}+\nu -1}{1}{\sqrt \{t^}}}}}}}{\sqrt}}}{nu$

여기서 t는 자유도가 1도인 학생 t-분포로서 분포하는 랜덤 변수다. 실제로 이는 t_i² /tu가 베타 분포 B(1/2, (1987 - 1)/2)를 따른다는 것을 의미한다. 위의 분포는 때때로 타우 분포라고 불리기도 한다;^[2] 그것은 톰슨에 의해 1935년에 처음 도출되었다.^[3]

ν = 3일 때, ${\displaystyle 내부적}$으로 학습한 잔차는${\displaystyle }$- 3 ${\$과${\displaystyle }$+ ${\displaystyle 3\sqrt{\mathrm{}}}$ ${\$ 사이에 균일하게 분포되어 있으며$,$ 자유도가 하나만 있으면 내부 학습된 잔차의 분포에 대한 위의 공식은 적용되지 않는다. 이 경우 t는_i 모두 +1 또는 -1이며, 각각 50% 확률이다.

내부적으로 학습한 잔차 분포의 표준 편차는 항상 1이지만, 이는 특정 실험의_i 모든 t의 표준 편차가 1임을 의미하지는 않는다. For instance, the internally studentized residuals when fitting a straight line going through (0, 0) to the points (1, 4), (2, −1), (2, −1) are ${\displaystyle {\sqrt {2}},\ -{\sqrt {5}}/5,\ -{\sqrt {5}}/5}$, and the standard deviation of these is not 1.

학생화된 잔차 t_i 및 t_j 쌍($여기$서 i${\displaystyle j}$ j ${\displaystyle i\neq$ j$}$ )은 $$I.i.d가 아니라는 점에 유의하십시오. 이들은 동일한 분포를 가지지만 잔차를 0으로 합해야 하고 설계 행렬과 직교해야 하는 제약조건 때문에 독립적이지 않다.

소프트웨어 구현

R, Python 등과 같은 많은 프로그램과 통계 패키지는 학생화된 잔여물의 구현을 포함한다.

언어/프로그램	함수	메모들
R	rstandard(model, ...)	내실 있는 [2] 참조
R	rstudent(model, ...)	외적으로 학력이 있는 [3] 참조

참고 항목

• Cook의 거리 – 관측치를 삭제할 때 회귀 계수의 변화에 대한 측도
• 그루브스 검정
• 정규화(통계)
• 사무엘슨의 부등식
• 표준점수
• 윌리엄 씰리 고셋

참조

추가 읽기

• Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. ed.). New York: Chapman and Hall. ISBN 041224280X. Retrieved 23 February 2013.