투영 행렬

통계에서 투영 행렬$({\displaystyle P\mathbf{}}$) ${\displaystyle (\mathbf {P$^[1] 때로는 영향 행렬^[2] 또는 모자 행렬$({\displaystyle H\mathbf{}}$ )이라고도 하며$($H${\displaystyle }$) ${\displaystyle(\mathbf {H} )$은 반응 값(종속 변수 값)의 벡터를 적합치(또는 예측 값)의 벡터에 매핑한다. 각 반응 값이 각 적합치에 미치는 영향을 설명한다.^[3][4] 투영 매트릭스의 대각선 요소는 레버리지로, 동일한 관측치에 대한 각 반응 값이 적합치에 미치는 영향을 설명한다.

정의

반응 값의 벡터가 $y{\displaystyle \mathbf{}}$ ${\$으로 표시되고$$ $y{\displaystyle \stackrel{}{\mathbf{}}}$ ${\displaystyle \stackrel{}{\mathbf{^}}}$ ${\$displaystyle \$mathbf${\$hat${y}}에$의해$적합치의 벡터가 표시되는 경우$,$ ,

${\displaystyle \mathbf {\hat {y} =\mathbf {P} \mathbf {y} .}$

$y{\displaystyle \widehat{\mathbf{}}}$ ${\$ {$y}}}$이$($가) 보통 "y-hat"으로 발음되므로, 투영 행렬 $P{\displaystyle \mathbf{}}$ ${\$도 "$y{\displaystyle \mathbf{}}$ ${\$에 모자를 씌우면서 hat 행렬로 명명된다$$.$$

$P{\displaystyle \mathbf{}}$ ${\$}의 ith 행과 j번째 열에 있는 요소는 j번째 반응 값과 ith 적합치 사이의 공분산과 동일하며$$, 이를 전자의 분산으로 나눈 값:^{[citation needed]}

${\displaystyle p_{ij}={\frac {\operatorname {Cov} \left[{y}_{i}}}, y_{j}\right]{\operatorname {Var} \left[y_{j}\rig]}}}$

잔차 적용

잔차 $r{\displaystyle \mathbf{}}$ ${\$의 벡터에 대한 공식도 투영 행렬을 사용하여 압축적으로 표현할 수 있다$$.

${\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {y} -\mathbf {P} \mathbf {y} -\mathbf {I} =\lef(\mathbf {I} -\right)\mathbf {y}.$

$여기$서 I ${\$은$($는) ID 행렬이다. $M$ ${\displaystyle \equiv }$ I -${\displaystyle P\mathbf{}}$ ${\$ -$\mathbf {P}$행렬을 잔차 메이커 행렬이라고도 한다.

오류 전파에 의한$$잔차 $r{\displaystyle \mathbf{}}$ ${\$의 공분산 행렬이 동일함

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$,

여기서 $\sigma {\displaystyle \mathbf{}}$ ${\$}은(는) 오류 벡터의 공분산 행렬(그리고 확장자로도 응답 벡터)이다$$. $\sigma {\displaystyle \mathbf{}}$= ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}\mathbf{}}$ ${\$}$=\sigma ^{2}\mathbf {I}}$인 선형 모델의 경우$,$^[3] 이 값은 다음과 같이 감소한다.

${\displaystyle {}_{\mathbf{}}}$ r${\displaystyle {}_{}}$=${\displaystyle }$( ${\displaystyle I}$- ${\displaystyle P\mathbf{}}$) ${\displaystyle \sigma {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}$_{\mathbf {r}}=\left(\mathbf {I}$ -$\mathbf {P}\right)\sigma ^{2$

직감

From the figure, it is clear that the closest point from the vector ${\displaystyle \mathbf {b} }$ onto the column space of ${\displaystyle \mathbf {A} }$, is ${\displaystyle \mathbf {Ax} }$, and is one where we can draw a line orthogonal to the column space of ${\displaystyle \mathbf {A} }$. A vector that 행렬의 열 공간에 직교하는 것은 전치 행렬의 null 공간에 있으므로

${\displaystyle \mathbf {A}^{\textsf {T}(\mathbf {b} -\mathbf {Ax} )=0}$

거기서부터 한 척의 백랑이, 그러니까.

${\displaystyle{\begin{정렬}&,&\mathbf{A}^{\textsf{T}}{b}및 \mathbf, -\mathbf{A}^{\textsf{T}}{도끼를}=0\\\Rightarrow 및 \mathbf,&\mathbf{A}^{\textsf{T}}{b}및 \mathbf, =\mathbf{A}^{\textsf{T}}{도끼를}\\\Rightarrow 및 \mathbf,&\mathbf{)}&=\left(\mathbf{A}^{\textsf{T}}\mathbf{A}\right)^{)}\mathbf{A}^{\text.sf{T}}}{b}\end{정렬}\mathbf}$

Therefore, since ${\displaystyle \mathbf {x} }$ is on the column space of ${\displaystyle \mathbf {A} }$, the projection matrix, which maps ${\displaystyle \mathbf {b} }$ onto ${\displaystyle \mathbf {x} }$ is just ${\displaystyle \mathbf {Ax} }$, or ${\displaystyle \mathbf{A}{\left({\mathbf{A}}^{\mathsf{\text{T}}}\mathbf{A}\right)}^{-1}{\mathbf{A}}^{}}$${\$

선형 모형

선형 최소 제곱을 사용하여 선형 모형을 추정한다고 가정합시다. 모델은 다음과 같이 쓸 수 있다.

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }+{\boldsymbol {\barepsilon},}$

여기서 $X{\displaystyle \mathbf{}}$ ${\$은$($는) 설명 변수의 행렬(설계 행렬), β는 추정할 알 수 없는 모수의 벡터, ε은 오차 벡터다.

많은 유형의 모델과 기법은 이 공식에 따른다. 선형 최소 제곱, 평활 스플라인, 회귀 스플라인, 로컬 회귀 분석, 커널 회귀 분석 및 선형 필터링 등이 몇 가지 예다.

보통 최소 제곱

각 관측치의 가중치가 동일하고 오차가 상관관계가 없을 때 추정된 모수는 다음과 같다.

${\displaystyle {\boldsymbol {\beta}}=\왼쪽(\mathbf {X}) ^{\textsf {T}\x}^{-1}\mathbf {X}^{\textsf {T}\mathbf {y},},},}}$

적합치는 다음과 같다.

${\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .}$

따라서 투영 매트릭스(및 hat 매트릭스)는 다음에 의해 주어진다.

${\displaystyle \mathbf {P} \equiv \mathbf {X} \좌(\mathbf {X}) ^{\textsf {T}\mathbf {X}^{-1}\mathbf {X} ^{\textsf {T}}}.}$

가중 및 일반화 최소 제곱

위 사항은 가중치가 동일하지 않거나 오차가 상관관계가 있는 경우로 일반화할 수 있다. 오차의 공분산 행렬이 σ이라고 가정합시다. 그 후

${\$$GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y} }$.

모자 행렬은 다음과 같다.

${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}}$

${\displaystyle {그리고\mathrm{}}^{}}$ 지금은 더 이상 대칭이 ${\displaystyle \mathrm{아니지만}}$ $H{\displaystyle {}^{}}$ ${\displaystyle 2{}^{}}$= H${\displaystyle }${ H${\displaystyle }$= ${\displaystyle H}$ ${\displaystyle H^{2}=H\cdot H=H}$라고 볼 수 있다$.$

특성.

투영 매트릭스에는 여러 가지 유용한 대수적 특성이 있다.^[5][6] 선형 대수학의 언어로 설계 매트릭스 X{\displaystyle \mathbf{X}의 세로 줄 공간에 프로젝션 행렬은 정사영}}}은 pseudoi(그(XTX습니다)− 1XT{\displaystyle \left(\mathbf{X}^{\textsf{T}}\mathbf{X}\right)^{)}\mathbf{X}^{\textsf{T}.[4].nvX.) 이 설정에서 투영 행렬의 일부 사실은 다음과 같이 요약된다.^[4]

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$ and ${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf{P}}$ ${\$은(는) 대칭이며$$, $M{\displaystyle \mathbf{}}$ ${\displaystyle \equiv }$ ${\displaystyle I\mathbf{}}$- ${\displaystyle P\mathbf{}}$ ${\$ -$\mathbf {P} }$도 대칭이다$.$
• ${\displaystyle \mathbf{P}}$ ${\$은(는) idempotent: $P{\displaystyle {\mathbf{}}^{\mathrm{}}}$ = ${\displaystyle P\mathbf{}}${\$displaystyle \mathbf {P} ^{2}=\mathbf {P}$}이고, $M{\displaystyle \mathbf{}}$ ${\$}도 마찬가지 입니다$.$
• $X{\displaystyle \mathbf{}}$ ${\$ \$mathbf {X}}$이(가${\displaystyle )}$ 랭크${\displaystyle (X\mathbf{}}$) = ${\displaystyle \operatorname {rank$${\displaystyle \}(\backslash mathbf\mathbf{}}$${X}$ )인 $경우$ ${\displaystyle \mathrm{랭크}(}$P ${\displaystyle )}$= ${\displaystyle r}$ ${\displaysty \operatorname {rank}(\mathbf {P})=r}).$
• $P{\displaystyle \mathbf{}}$ ${\$의 고유값은 r 1과 n - r 0으로 구성되며$$, $M{\displaystyle \mathbf{}}$ ${\$의 고유값은 n - r 1과 r 0으로 구성된다$$.^[7]
• ${\displaystyle \mathbf {X} }$ is invariant under ${\displaystyle \mathbf {P} }$ : ${\displaystyle \mathbf {PX} =\mathbf {X} ,}$ hence ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$.
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0}.}$
• ${\displaystyle \mathbf{P}}$ ${\$은(는) 특정 하위 공간에 대해 고유하다.

선형 모형에 해당하는 투영 행렬은 대칭 및 idempotent, 즉 P ${\displaystyle 2\mathbf{}{}^{}}$= P ${\$ 그러나 국소 가중 산점도 평활(LOESS)에서는 모자 행렬이 일반적으로 대칭이나 idempotentent가 아니다.

선형 모형의 경우 투영 행렬의 트레이스는 선형 모형의 독립 매개변수 수인 $X{\displaystyle \mathbf{}}$ ${\$의 순위와 동일하다$.$^[8] 관측치 $y{\displaystyle \mathbf{}}$ ${\$에서 여전히 선형인 LOESS와 같은 다른 모델의 경우 투영 행렬을 사용하여 모델의 유효 자유도를 정의할 수 있다$.$

회귀 분석에서 투영 행렬의 실제 적용은 레버리지와 Cook의 거리를 포함하며, 영향력 있는 관측치, 즉 회귀 분석 결과에 큰 영향을 미치는 관측치를 식별하는 것과 관련이 있다.

블럭화 공식

설계 행렬 $X{\displaystyle }$ ${\displaystyle X}$을(를) =[ A ${\$로 분해할 수 있다고$$ 가정하십시오.$B\end{bmatrix}}}$. Define the hat or projection operator as ${\displaystyle P\{X\}=X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}}$. Similarly, define the residual operator as ${\displaystyle M\{X\}=I-P\{X\}}$. Then the projection matrix can be decomposed as follows:^[9]

$P\{X\}=P\{displaystyle P\}A\}+P\{M\{A\}B\}}$

where, e.g., ${\displaystyle P\{A\}=A\left(A^{\textsf {T}}A\right)^{-1}A^{\textsf {T}}}$ and ${\displaystyle M\{A\}=I-P\{$$A$그런 분해에는 여러 가지 응용이 있다. 고전적 어플리케이션 $A{\displaystyle }$ ${\displaystyle A}$은 모든 어플리케이션의 컬럼으로, 회귀에 절편 용어를 추가하는 효과를 분석할 수 있다. 또 다른 용도는 고정 효과 모델에서 사용되며, $여기$서 A ${\displaystyle A}$은 고정 효과 항에 대한 더미 변수의 큰 희소 행렬이다. $너무{\displaystyle }$ 커서 컴퓨터 메모리에 맞지 않을 수 있는 행렬 X ${\displaystyle$ $X$$}$을(를) 명시적으로 구성하지 않고도$$ 이 파티션을 사용하여 $X{\displaystyle }$ ${\displaystyle$ $X$$}$의 모자 행렬을 계산할 수 있다$.$

참고 항목

• 투영(선형 대수)
• 학생화 잔차
• 유효자유도
• 평균 및 예측 반응

참조