주성분 회귀 분석

통계학에서 주성분 회귀 분석(PCR)은 주성분 분석(PCA)을 기반으로 하는 회귀 분석 기법입니다.특히 PCR은 표준 선형 회귀 모형에서 알 수 없는 회귀 계수를 추정하는 데 사용됩니다.

PCR에서는 설명 변수에 대한 종속 변수를 직접 회귀시키는 대신 설명 변수의 주요 성분이 회귀 분석자로 사용됩니다.일반적으로 모든 주성분 중 일부만 회귀에 사용하므로 PCR은 일종의 정규 절차이자 수축 추정기의 한 종류입니다.

종종 분산이 높은 주성분(설명 변수의 표본 분산-공분산 행렬의 높은 고유 값에 해당하는 고유 벡터에 기반한 주성분)이 회귀 분석기로 선택됩니다.그러나 결과를 예측하기 위해 분산이 낮은 주성분도 중요할 수 있으며, 경우에 따라서는 훨씬 ^[1]더 중요할 수도 있습니다.

PCR의 주요 용도 중 하나는 두 개 이상의 설명 변수가 거의 공선 ^[2]상태에 있을 때 발생하는 다중 공선성 문제를 극복하는 것입니다.PCR은 회귀 단계에서 저분산 주성분 일부를 제외함으로써 이러한 상황에 적절하게 대처할 수 있습니다.또한 PCR은 일반적으로 모든 주요 구성요소의 하위 집합에만 회귀함으로써 기본 모델을 특징짓는 유효 파라미터의 수를 상당히 줄임으로써 치수 감소를 초래할 수 있습니다.이 기능은 고차원 공변량이 있는 설정에서 특히 유용합니다.또한, 회귀에 사용되는 주성분의 적절한 선택을 통해 PCR은 가정된 모델에 기초한 결과의 효율적인 예측으로 이어질 수 있다.

원칙

PCR 방법은 크게 다음 3가지 단계로 나눌 수 있습니다.

1.

\;\;

{\

displaystyle \;}

관찰된

\;\;

데이터 매트릭스에서 설명변수에 대한 PCA를 수행하여 주성분을 얻은 후 (보통) 적절한 기준에 따라 얻은 주성분의 서브셋을 선택하여 향후 사용할 수 있도록 한다.

2.

\;\;

{\

displaystyle \;\;}

이제

\;\;

일반 최소 제곱법(선형 회귀)을 사용하여 선택된 주성분에 대한 결과의 관측 벡터를 공변량으로 회귀시켜 추정된 회귀 계수의 벡터(선택한 주성분 수와 동일한 차원으로)를 구한다.

3.

\;\;

{\

displaystyle \;\;}

이제

\;\;

이 벡터를 선택한 PCA 적재(선택한 주요 성분에 해당하는 고유 벡터)를 사용하여 실제 공변량의 축척으로 변환하여 회귀 계수 특성을 추정하기 위한 최종 PCR 추정기(총 공변량 수와 동일한 차원)를 얻습니다.g 오리지널 모델

방법 상세

데이터 표현: $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ n × $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ $=$ ( $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ , $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ , $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ ) $\mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ ${\$ 1)=\ $left(y_{1},\ldots,y_{n}\right)^$ ${T}}$ 은 ${\mathbf {Y}}_{{n\times 1}}=\left(y_{1},\ldots ,y_{n}\right)^{T}$ 관측 결과의 $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ 이며 X $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ × $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ $=$ ( $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ 1, $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ , $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ n ) $\mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}$ {\ $displaystyle \mathbf {X} _{n\times$ p}=\ $left(\mathbf {x}$ _{1 $},\ldots,\mathbf {x} _{n}\right)^$ { $T}}$ 은 $\mathbf{X}_{n \times p} = \left(\mathbf{x}_1,\ldots,\mathbf{x}_n\right)^T$ 관찰된 공변량의 해당 데이터 매트릭스를 나타낸다. $n$ 서n {\ $displaystyle$ n} 및 $n$ $p$ {\ $displaystyle$ p $}$ 는 $p$ $n$ ${\mathbf {X}}$ 각각 n $n\geq p$ p {\ $displaystyle$ n $\$ $geq$ p $}$ $\mathbf {X}$ 과 $\mathbf {X}$ n{\ $displaystyle n}$ d $p$ {\ $displaystyle$ p $}$ 차원 $p$ 공변량에 대한 관측치 세트를 제시하고 Y ${\$ 의 ${\mathbf {Y}}$ 각 항목은 해당 관측 결과를 나타낸다.

$데이터$ 전처리 : $\mathbf {Y}$ $Y열과$ $p열$ 각각이 중심화되어 경험적 $\mathbf {X}$ 평균이 $\mathbf {X}$ 0이라고 $\mathbf {Y}$ 합니다 $.$ PCR은 X $(\$ 에 ${\mathbf {X}}$ PCA를 사용하고 PCA는 데이터 중심화에 민감하므로 이 중심화 단계는 (적어도 X $(\$ $\mathbf {X}$ 에 대해) 매우 중요합니다.

기본 모델:센터링 후 X $(\$ 의 ${\mathbf {X}}$ $\mathbf {X}$ $(\$ 에 ${\mathbf {Y}}$ $\mathbf {Y}$ 표준 Gauss-Markov 선형 회귀 모델은 다음과 $\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\;$ 수 $.$ $yle$ {\ $boldsymbol {R}\$ $in$ $\mathbb$ {R $}$ ${\boldsymbol {\varepsilon }}$ ^{ $p}}$ 는 ${\boldsymbol {\beta }}\in {\mathbb {R}}^{p}$ 회귀 ${\boldsymbol {\varepsilon }}$ 계수의 $불분명$ 한 파라미터 벡터를 $\operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \;$ , ${\boldsymbol {\varepsilon }}$ $\operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \;$ ${\boldsymbol {\varepsilon }}$ {E} $=$ 0 \ $displaystyle$ \operatorname { $E} \lightsymbolon}}$ $2$ I_{n\ $times$ n $}:$ 알 $\;\operatorname {Var} \left({\boldsymbol {\varepsilon }}\right)=\sigma ^{2}I_{n\times n}$ 수 없는 분산 파라미터 $\sigma ^{2}>0\;\;$ 2 $\sigma ^{2}>0\;\;$ > $\sigma ^{2}>0\;\;$ 0 { $displaystyle \sigma$ ^ {2 $}$ > 0 \ ; \ ; $\sigma ^{2}>0\;\;$ }

목표:주요 목표는 데이터를 기반으로 ${\boldsymbol {\beta }}$ 에 대한 효율적인 $β ^$ ^ ^ （ \ $displaystyle$ $\$ bold $symbol$ \ $beta }$ ）를 ${\widehat {\boldsymbol {\beta }}}$ 얻는 것이다.이를 위해 자주 사용되는 한 가지 접근방식은 일반 최소 제곱법이며 $,$ X $(\displaystyle$ \ $mathbf$ {X $})$ 가 ${\mathbf {X}}$ 전체 열 순위라고 $\mathbf {X}$ 하면 편향되지 않은 추정치를 ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ . β ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ ^ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ l ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ $=$ ( ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ X ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ ) - ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y}$ $(\display$ \ $wide$ hat $\mathbols =})$ $^{-1}\mathbf {X} ^{T}\mathbf {Y}$ ${\boldsymbol {\beta }}$ 의 $\widehat {{\boldsymbol \beta }}_{{\mathrm {ols}}}=({\mathbf {X}}^{{T}}{\mathbf {X}})^{{-1}}{\mathbf {X}}^{{T}}{\mathbf {Y}}$ {\ $displaystyle$ $\boldsymbol\beta$ PCR은 ${\boldsymbol {\beta }}$ 의 ${\boldsymbol {\beta }}$ 과 동일한 목적으로 사용될 수 있는 또 다른 기법이다.

PCA 스텝: PCR은 중심 데이터 $\mathbf {X}$ X $(\$ $displaystyle$ \ $mathbf$ {X $\mathbf {X}$ 에서 PCA를 수행하는 것으로 시작합니다. 이를 $\mathbf {X} =U\Delta V^{T}$ $\mathbf {X} =U\Delta V^{T}$ $\mathbf {X} =U\Delta V^{T}$ U $\mathbf {X} =U\Delta V^{T}$ V T \ $displaystyle \mathbf$ {X} = $\mathbf {X} =U\Delta V^{T}$ U \ $Delta$ V $^{$ T $}$ 는 $X$ 의 $\mathbf {X}$ 입니다 $.$ $ystyle \Delta$ _ ${p\times$ p $}=\operatorname {diag}$ \ $left[\ldots _{1},\ldots$ _ $\Delta _{p\times p}=\operatorname {diag} \left[\delta _{1},\ldots ,\delta _{p}\right]$ ${$ $p}\right],$ $\delta _{1}\geq \cdots \geq \delta _{p}\geq 0$ $\delta _{1}\geq \cdots \geq \delta _{p}\geq 0$ 1 $\delta _{1}\geq \cdots \geq \delta _{p}\geq 0$ 0 $\delta _{1}\geq \cdots \geq \delta _{p}\geq 0$ { $displaystyle \times$ _ { $1}\geq$ \ $cdots \cdots$ _ ${p}\geq$ >는 음수가 아닌 단수 값을 나타냅니다 $.$ $[\displaystyle U_{n$ \ $times$ $U_{n\times p}=[\mathbf {u} _{1},\ldots ,\mathbf {u} _{p}]$ p}=[\ $mathbf {$ u $} _{1$ },\ldots $,\mathbf {u}$ _ ${$ p}} $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ V $U_{n\times p}=[\mathbf {u} _{1},\ldots ,\mathbf {u} _{p}]$ $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ × p $=$ [ $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ 1, $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ , $V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]$ p $]{displaystyle V_{p}$ _1 $,\ldots} _mathbf}$

$V\Lambda V^{T}$ 성분: V $V\Lambda V^{T}$ $V\Lambda V^{T}$ T {\ $displaystyle$ V $\Lambda$ V $^{T}}$ 는 $V\Lambda V^{T}$ X $\mathbf {X} ^{T}\mathbf {X}$ 의 $\mathbf {X} ^{T}\mathbf {X}$ 분해({displaystyle $\mathbf {X}^{$ $\Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}$ $}\mathbf {X})$ 를 $\mathbf {X} ^{T}\mathbf {X}$ 나타낸다. 여기서 $\Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}$ p × $\Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}$ ） $\Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}$ 。 $iag} \left[\capda _{1},\ldots ,\capda _{p}\right ]=$ $\Delta$ ^{ $2$ $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ 1 $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ p $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ 0 { $displaystyle \lambda$ _ {1} $\geq \cdots \geq \lambda$ _ { $p$ $}$ \ $geq$ 0}, $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ X $T의$ 음이 아닌 고유값(주값이라고도 함)을 나타냅니다 $\lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0$ $.{$ displaystyle { $mathbfx}\mathbda}$ 고유 벡터 집합입니다.다음으로 X $\mathbf {X} \mathbf {v} _{j}$ j $\mathbf {X} \mathbf {v} _{j}$ \ $displaystyle$ $\mathbf {X}$ \ $mathbf {v} _{j$ $}$ 및 $\mathbf {X} \mathbf {v} _{j}$ $\mathbf {v} _{j}$ { $displaystyle \mathbf {v} _{j$ }}는 ${\mathbf {v}}_{j}$ $j^{\text{th}}$ jdi에 $j^{th}$ 하는 j $j^{th}$ $j^{th}$ { $displaystyle$ j $^{th}}$ 의 $j^{{th}}$ $j^{{th}}$ 주성분 방향(또는 PCA)을 나타낸다. $splaystyle$ j $^{\$ $text$ ${th}}:$ 각 $j^{\text{th}}$ $j\in \{1,\ldots ,p\}$ { $j\in \{1,\ldots ,p\}$ , $j\in \{1,\ldots ,p\}$ , p $}$ { $displaystyle$ j \ $in \$ { 1, $\ldots$ , $j\in \{1,\ldots ,p\}$ \ $j\in \{1,\ldots ,p\}$ } $principal$ spl {\ ${\$ j { $displaystyle$ \ $displayda$ _ { $j$ $j\in \{1,\ldots ,p\}$ }} 。

파생 공변량:임의의 $k\in \{1,\ldots ,p\}$ $k\in \{1,\ldots ,p\}$ { $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ , $}$ { { $displaystyle$ k \ $in \$ { 1 $,$ $\ldots$ , $p$ $k\in \{1,\ldots ,p\}$ \ $V_{k}$ $k\in \{1,\ldots ,p\}$ } = 、 $V_{k}$ k { \ $displaystyle$ V_ { k $V_{k}$ } =、 V \ $displaystyle$ $W_{k}=\mathbf {X} V_{k}$ 의 첫 $번째$ k열로 $k$ 구성된 직교 정규열 p $p\times k$ × $p\times k$ { $displaystyle$ p $\times$ k $p\times k$ } $p\times k$ 을 $W_{k}=\mathbf {X} V_{k}$ . ${X} V_{k}$ $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ [ $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ v $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ , $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ , $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ k $=[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]$ ] { $displaystyle$ = [ \ $mathbf { X$ } \ $mathbf { x }$ _ { $k$ } } } $k$ 、 k $style$ $k$ $n\times k$ $k$ $n\times k$ $(\displaystyle$ W $)$ 는 $W$ 변환된 $\mathbf {x} _{i}\in \mathbb {R} ^{p}\;\;\forall \;\;1\leq i\leq n$ x $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ = $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ T $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ i $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ k { { $displaystyle$ \ $mathbf { x$ } _ { i $} =$ V _ { k } ${$ T } \ $mathbf { x ^$ } ^{ $i$ } ) $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ { { { { { { { ates $\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}$ ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates ates $athbf {x} _{i}\in \mathbb {R}^{p}\;\forall \;\;1\leq$ i $\leq$ n $\mathbf {x} _{i}\in \mathbb {R} ^{p}\;\;\forall \;\;1\leq i\leq n$

PCR 추정기: ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ( ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ T ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ k ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ) - ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ k ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ k { \ $display$ style { \ $display$ hat $} _$ { k } = ( W $_$ { $k$ }^{ $T$ } $W$ _ { $k$ } \ $mathbb {$ $Y$ } ^-1} $W _ T$ ^{ K } \ $mathbb$ { K ${\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}$ ^ { k } } ^{ $k$ } } ^{ $K$ } } ^ { r } ^ r 。 $f {Y}$ 데이터 $\mathbf {Y}$ $W_{k}$ $W_{k}$ k \ $W_{k}$ $}$ 。 $k\in \{1,\ldots ,p\}$ 다음 k $k\in \{1,\ldots ,p\}$ { $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ $}$ ( \ $displaystyle$ k \ ${\widehat {\boldsymbol {\beta }}}_{k}=V_{k}{\widehat {\gamma }}_{k}\in \mathbb {R} ^{p}$ $in$ \ 1, $\ldhats$ , $p$ \ $k\in \{1,\ldots ,p\}$ } ${\boldsymbol {\beta }}$ )에 대해 β ${\widehat {\boldsymbol {\beta }}}_{k}=V_{k}{\widehat {\gamma }}_{k}\in \mathbb {R} ^{p}$ ( \ $displaystyle$ ${\widehat {\boldsymbol {\beta }}}_{k}=V_{k}{\widehat {\gamma }}_{k}\in \mathbb {R} ^{p}$ $k$ )주요 $k$ 컴포넌트를 사용한 ${\boldsymbol {\beta }}$ β ( \ $displaystyle$ ${\boldsymbol {\beta }}$ k )의 ${\boldsymbol {\beta }}$ ${\boldsymbol {\beta }}$ PCR 추정치는 $다음$ 과 $.$ $}_{$ k}= $V_{k}{\widehat {\mathbb$ { $R}^{p$ \mathbb {R $}.$

PCR 추정기의 기본 특성 및 용도

두 가지 기본 속성

PCR 추정기를 얻기 위한 적합 프로세스에서는 주성분이 서로 직교하므로 k $k\in \{1,\ldots ,p\}$ { $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ $k\in \{1,\ldots ,p\}$ ${{1$ ,\ $ldots,p\}$ 에 $k\in \{1,\ldots ,p\}$ 대해 직교 열을 갖는 파생 $W_{k}$ $W_{k}$ W k k ${\display W_{$ $k}$ 위의 $W_{k}$ 반응 벡터를 회귀 분석한다.따라서 회귀 단계에서 k{\ $displaystyle$ k $}$ 의 $k$ 선택된 주요 구성요소에서 공변량으로 다중 선형 회귀를 수행하는 것은 k{\ $displaystyle$ k $}$ 개의 $k$ 개별 단순 선형 회귀(또는 일변량 회귀)를 k {\ $displaystyle$ k} $k$ 의 $k$ 선택된 각 원칙에 대해 개별적으로 $k$ 하는 것과 같다.pal 성분이 공변량으로 표시됩니다.

k $k=p$ { $displaystyle$ k $=p$ 가 되도록 모든 주성분이 회귀를 위해 선택되면 PCR 추정치는 일반 최소 제곱 추정기와 동일합니다. $따라서$ β ^ ${\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ${\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ^ ${\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ s ${\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ \ $displaystyle$ \ $widehat$ \ $bold symbol$ \ $} _$ { p } = $swide$ hat \ $boldsymbol$ \ } _ { \ $mathrm { ols }$ } 입니다. $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ 는 W p $=$ $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ p $=$ $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ $W_{p}=\mathbf {X} V_{p}=\mathbf {X} V$ {\ $displaystyle W_{p$ }=\ $mathbf {X} V_{p$ }=\ $mathbf {X}$ V $}$ 인 $W_{{p}}={\mathbf {X}}V_{{p}}={\mathbf {X}}V$ 점과 V{\ $displaystyle$ V $}$ 가 $V$ 직교 행렬임을 관찰하면 쉽게 알 수 있다.

분산감소

$k\in \{1,\ldots ,p\}$ 의 k $k\in \{1,\ldots ,p\}$ { 1 $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ , p $}$ { $displaystyle$ k \ $in \$ { 1 $,$ $\ldots$ , p $k\in \{1,\ldots ,p\}$ \ $k\in \{1,\ldots ,p\}$ }}에 대해 ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ k ${\widehat {\boldsymbol {\beta }}}_{k}$ \ $displaystyle$ \ $widehat$ \ bold $symbol$ \ $beta } _$ { $k$ }의 $\widehat {{\boldsymbol {\beta }}}_{{k}}$ 차이는 다음과 같습니다.

\operatorname {Var}(\widehat {bold symbol {}_{k})=\displaystyle ^{2}\;V_{k}(W_{k}^{T}W_{k}^{-1}V_{k}^{T}=\sigma^{2}\;V_{k}\;\operatorname {diag} \left(\lambda _{1}^{-1},\ldots,\lambda _{k}^-1}\오른쪽)V_{k}^{T}=\sigma ^{2}\sigma ^{}\sum _{j=1}^{k}{\frac {mathbf {v}_{j}\mathbf {v}_{j}^{T}}{\lambda _{j}}}.

특히:

\operatorname {Var}(\widehat {boldsymbol}_{p}=\operatorname {Var}(\widehat {boldsymbol}}_{\mathrm {ols}}) =\widehat {2}\sum {j= {1p} {fac} {f}T}}{\lambda _{j}}}.

$k\in \{1,\ldots ,p-1\}$ 모든 $k\in \{1,\ldots ,p-1\}$ $k\in \{1,\ldots ,p-1\}$ { $k\in \{1,\ldots ,p-1\}$ , $k\in \{1,\ldots ,p-1\}$ , $k\in \{1,\ldots ,p-1\}$ p - $}$ { $displaystyle$ k \ $in$ \ { $1$ , \ $ldots$ , p - 1 $k\in \{1,\ldots ,p-1\}$ \ } 에는 $k\in \{1,\ldots ,p-1\}$ 다음과 같은 것이 있습니다.

\operatorname {Var}(\widehat {boldsymbol {ols})_{\operatorname {Var}(\widehat {boldsymbol {}}_{k})=\widehat {2}\sum {jk+1}{p}{frac})T}}{\lambda _{j}}}.

$k\in \{1,\ldots ,p\}$ 모든 k $k\in \{1,\ldots ,p\}$ { $k\in \{1,\ldots ,p\}$ 1 $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ $}$ { $displaystyle$ k \ $in$ \ { $1$ , \ $ldots$ , p $k\in \{1,\ldots ,p\}$ \ } 에는 $k\in \{1,\ldots ,p\}$ 다음과 같은 것이 있습니다.

\displaystyle \operatorname {Var}({\widehat\boldsymbol\beta}}_{\mathrm {ols})-\operatorname {Var}({\widehat\boldsymbol\beta}}_{k})\succeq 0}

$A\succeq 0$ 서 $A\succeq 0$ 0 $({displaystyle$ A\ $succeq$ 0 $A\succeq 0$ 은 $A\succeq 0$ 정사각형 대칭 $행렬$ A $({displaystyle$ A})가 $A$ 음이 아닌 유한임을 나타냅니다.따라서 PCR 추정기의 임의의 선형 형태는 통상 최소 제곱 추정기의 동일 선형 형태에 비해 분산이 낮다.

다중 공선성 대응

다중 공선성에서는 두 개 이상의 공변량이 높은 상관 관계를 가지므로 한 공변량은 사소한 정확도로 다른 공변량으로부터 선형적으로 예측할 수 있습니다.따라서 이들 공변량의 관측치에 대응하는 데이터 $\mathbf {X}$ X $(\$ 의 ${\mathbf {X}}$ 열은 선형 의존적이 되므로 X $(\$ 는 ${\mathbf {X}}$ 완전한 열 순위 구조를 상실하여 순위 결핍 상태가 되는 경향이 있다.보다 양적으로 볼 때, 이러한 상황에서 X $\mathbf {X} ^{T}\mathbf {X}$ 의 $\mathbf {X} ^{T}\mathbf {X}$ 고유값 중 하나 이상이 매우 가깝거나 정확히 0 $(\displaystyle$ $\mathbf {X})$ 이 ${\mathbf {X}}^{{T}}{\mathbf {X}}$ $0$ 된다.위의 분산 표현식은 이러한 작은 고유값이 최소 제곱 추정치의 분산에 최대 인플레이션 영향을 미치므로 0 $(\style$ 0 $0$ 에 가까울 때 추정치가 크게 불안정함을 나타냅니다.이 문제는 이러한 작은 고유값에 대응하는 주성분을 제외하여 얻은 PCR 추정기를 사용하여 효과적으로 해결할 수 있다.

치수 축소

PCR은 치수 축소를 수행하기 위해서도 사용할 수 있다. $k\in \{1,\ldots ,p\}.$ 를 확인하기 $L_{k}$ L $L_{k}$ k { $display style L$ _ { k $L_{k}$ $k\in \{1,\ldots ,p\}.$ $k\in \{1,\ldots ,p\}.$ { $k\in \{1,\ldots ,p\}.$ , $k\in \{1,\ldots ,p\}.$ , p $k\in \{1,\ldots ,p\}.$ . $k\in \{1,\ldots ,p\}.$ { \ $displaystyle k$ \ $in \ 1$ , $\ldots$ , $k\in \{1,\ldots ,p\}.$ p \ } suppose $k\in \{1,\ldots ,p\}.$ $\mathbf {x} _{i}$ × × × × × × × × $\mathbf {x} _{i}$ 、 \ mathb $f$ k × $p\times k$ \ $displaystyle$ p \ $timesp$ $\$ $times$ k $p\times k$ } $p\times k$ 을 $p\times k$ 나타냅니다. $순위$ $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ $displaystyle$ k $)$ 선형 $k$ $L_{k}\mathbf {z} _{i}$ L $L_{k}\mathbf {z} _{i}$ $L_{k}\mathbf {z} _{i}$ i(\ $displaystyle L_{k}\mathbf {z}_$ }) 일부 z $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ k ( $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ i $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ n ) $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ { $displaystyle$ \ $mathbf {z} _{i}$ \ $in$ \ mathbbb { $R} ^{k}$ ( 1 \ $leq ）$ n $\mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)$ )

그럼, 라는 것을 알 수 있다.

\displaystyle \sum _{i=1}^{n}\left\mathbf {x}_{i}-L_{k}\mathbf {z}_{i}\right\^2}

는 $L$ k $L_{k}=V_{k},$ $,$ {\ $displaystyle L_{k}=V_{$ k $L_{k}=V_{k},$ }, 첫 $L_{k}=V_{k},$ k {\ $style$ k} 주성분 $k$ 방향을 열로 하는 $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ , z = $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ $=$ $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ i $\mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},$ , { $displaystyle \mathbf {z} _{i}$ _k} {k}^{k $}$ 에서 최소화됩니다. $유형$ k $}$ 차원 파생 공변량. $따라서$ k $(\displaystyle$ k $)$ 차원의 $k$ 주요 구성요소는 관측된 데이터 $\mathbf {X}$ X(\ $displaystyle \mathbf {X$ 에 $대한$ 등급k(\ $displaystyle$ k $)$ 의 $k$ 최선의 선형 근사치를 제공합니다.

해당 재구성 오류는 다음과 같이 표시됩니다.

\displaystyle \sum _{i=1}^{n}\left\mathbf {x}_{i}-V_{k}\mathbf {x}_{i}^{k}\right\^{2}=cases}\sum_{n}\sum_n}\sumdisplayda _{j}_{j}\leqlant k\p}\lant k\p}\p\p}

$\mathbf {X} ^{T}\mathbf {X}$ 사용하는 주성분 수인k {\ $displaystyle$ k $\mathbf {X} ^{T}\mathbf {X}$ 를 $k$ 하여 X T $\mathbf {X} ^{T}\mathbf {X}$ 고유값의 누적합에 대한 적절한 임계값화를 통해 임의의 잠재적 치수 감소를 달성할 수 있다. $왜냐하면$ 작은 $고유값은$ 크게 기여하지 않기 때문이다.누적 합계에 대해 원하는 임계값 한계를 초과하지 않는 한 해당 주성분은 계속 떨어질 수 있습니다.역치 한계가 유지되는 한 작은 고유값에 대응하는 주성분이 무시될 수 있는 다중 공선성 문제에 대처하기 위해 동일한 기준을 사용할 수도 있다.

정규화 효과

PCR 추정기는 일반적으로 회귀를 위해 모든 주성분의 하위 집합만 사용하기 때문에 일종의 정규화된 절차로 볼 수 있습니다.구체적으로는 PCR ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ ${\widehat {\boldsymbol {\beta }}}_{k}$ \ $displaystyle \ widehat$ \ bold $symbol$ \ $beta }$ _ { $k$ ${\displaystyle 1\leqslant k<semantics><annotation encoding=$ } _ { ${\displaystyle 1\leqslant k<semantics><annotation encoding=$ k ${\displaystyle 1\leqslant k<semantics><mrow class=$ 는 $\widehat {{\boldsymbol {\beta }}}_{k}$ 다음과 같은 제한적인 ${\displaystyle 1\leqslant k<semantics><mrow class=$ 문제에 대한 정규화된 솔루션을 나타냅니다.

\displaystyle _{\boldsymbol {\boldsymbol {\p}\left\mathbf {Y}-\mathbf {X}\mathbf {X}_{*}\right ^{2}\quad {\boldsymbol}의 대상입니다.}

제약조건은 다음과 같이 동등하게 기술할 수 있다.

V_{(p-k)}^{T}{\boldsymbol {\boldsymbol}_{*}=\mathbf {0},

여기서:

\displaystyle V_{(p-k)}=\left[\mathbf {v} _{k+1},\ldots,\mathbf {v} _{p}\right]_{p\times (p-k)}.}

따라서 모든 주성분의 적절한 부분집합만 회귀로 선택되는 경우, PCR 추정기는 선택된 주성분 방향의 컬럼 공간에 대한 결과적 해답을 구속하고 결과적으로 배제된 방향으로 직교하도록 제한하는 정규화의 하드 형식에 기초한다.

정규화된 추정치의 클래스 간 PCR의 최적성

위에서 정의한 제한적인 최소화 문제가 있는 경우 다음과 같은 범용 버전을 고려하십시오.

\displaystyle _{\boldsymbol {\beta}}_{*}\in \mathbb {R}^{p}\mathbf {Y}-\mathbf {X}{boldsymbol {\beta}}_{*}\quad {text}\quad L_{p^{p^{k^^^^^^^{}}}}}{{{\}}}}}\mathb}\mbf {x}\mb}T}{\boldsymbol {\boldsymbol }_{*}=\mathbf {0}

$L_{(p-k)}$ 서 L $L_{(p-k)}$ ( $L_{(p-k)}$ - $L_{(p-k)}$ ) { $display style$ L _ { ( p - $k$ ) $p\times (p-k)$ } 、 1 ${\displaystyle 1\leqslant k<semantics><mrow class=$ k < \ ${\displaystyle 1\leqslant k<semantics><annotation encoding=$ 1 \ ${\displaystyle 1\leqslant k<semantics><annotation encoding=$ k < ${\displaystyle 1\leqslant k<semantics><annotation encoding=$ $displaystyle$

${\widehat {\boldsymbol {\beta }}}_{L}$ ^ ${\widehat {\boldsymbol {\beta }}}_{L}$ L \ $displaystyle$ \ $widehat$ \ bold $symbol$ \ $beta } _$ { L $}$ 로 $\widehat {{\boldsymbol {\beta }}}_{L}$ ${\widehat {\boldsymbol {\beta }}}_{L}$ .따라서

\mathbb {R} ^{p} - \mathbf {X} - \mathbf {X} \text } = \arg \min _{\boldsymbol {L} = {\arg} \in \mathbbbb {R} ^{p} - \mathbf {X} ^2 。T}{\boldsymbol {\boldsymbol}_{*}=\mathbf {0}}

$L_{(p-k)}$ 으로 대응하는 ${\widehat {\boldsymbol {\beta }}}_{L}$ $^$ L { $display$ $style$ { ( $p$ - $L_{(p-k)}$ k ) } { display style \ $wide$ \ bold $symbol$ \ $beta$ } _ { L } } _ ${\widehat {\boldsymbol {\beta }}}_{L}$ { L ${\widehat {\boldsymbol {\beta }}}_{L}$ } achievesionion ^[3]thenion l l l $L_{(p-k)}$ l l l $L_{(p-k)}$ then l l then l then then 。

{{displaystyle L_{(p-k)}^*}=V_{(p-k)}\Lambda_{(p-k)}^1/2}

어디에

(\displaystyle \Lambda _{(p-k)}^{1/2}=\operatorname {diag} \left(\displayda _{k+1}^1/2},\ldots,\displayda _{p}^1/2}\right).}

그 결과 도출된 최적 ${\widehat {\boldsymbol {\beta }}}_{L^{*}}$ ^ L ^ L ${\$ { $displaystyle$ { $wide symbol$ { $beta } _$ { $L$ ^ { * } }는 ${\widehat {\boldsymbol {\beta }}}_{L^{*}}$ ${\widehat {\boldsymbol {\beta }}}_{k}$ $PCR$ ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ k ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ k ^ $displaystyle ^ bold$ $symbol$ ${\widehat {\boldsymbol {\beta }}}_{k}$ { $beta }$ } _ { $k$ } } ents k 。

효율성.

일반적인 최소 제곱 추정치가 $β$ 에 ${\boldsymbol {\beta }}$ 편중되지 $않기$ 때문에 $,$ 우리는

{\displaystyle \operatorname {Var}(\widehat {boldsymbol {ols})_{\mathrm {ols})=\operatorname {MSE}(\widehat {boldsymbol {ols}})_{\mathrm {ols}),

여기서 MSE는 평균 제곱 오차를 나타냅니다. $k\in \{1,\ldots ,p\}$ 서 k $k\in \{1,\ldots ,p\}$ { $k\in \{1,\ldots ,p\}$ , $k\in \{1,\ldots ,p\}$ , p $}$ { $displaystyle k$ \ $in \$ { 1, $\ldots$ , p $k\in \{1,\ldots ,p\}$ \ $k\in \{1,\ldots ,p\}$ $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ V ( $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ p - $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ k ) $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ ( \ $displaystyle$ V _ { ( $p$ - $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ ) $V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0}$ }^{ $T}$ {\ $boldsymbol$ ${\boldsymbol {\beta }}$ {\ $mathbf {0$ $}$ = ${\widehat {\boldsymbol {\beta }}}_{k}$ 하는 ${\widehat {\boldsymbol {\beta }}}_{k}$ β ^ ${\widehat {\boldsymbol {\beta }}}_{k}$ {\ $displaystyle$ {\ $displaystyle}$ {\ $boldsymbol}_{k$ 도 ${\boldsymbol {\beta }}$ {\displaystyle $}$ 에 ${\boldsymbol {\beta }}$ ${\boldsymbol {\beta }}$ 편향되지 않습니다.

\operatorname {Var}(\widehat {boldsymbol}_{k}=\operatorname {MSE}(\widehat {boldsymbol}_{k}))

우리는 이미 그것을 보았다.

\displaystyle \forall j,{1,\ldots,p\}:\quad \operatorname {Var}({\widehat\boldsymbol\beta}}_{\mathrm {ols})-\operatorname {Var}({\widehat\boldscombol\bol\}}}) 0,cce)

그 의미는 다음과 같습니다.

\displaystyle \operatorname {MSE}({\widehat\boldsymbol\beta}}_{\mathrm {ols})-\operatorname {MSE}(\widehat\boldsymbol\beta}}_{k})\succeq 0)

$특정$ k\ $displaystyle$ k $k$ 。 ${\widehat {\boldsymbol {\beta }}}_{k}$ 이 경우 β ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ ${\widehat {\boldsymbol {\beta }}}_{k}$ \ $displaystyle$ \ displaystyle \ $bold symbol$ \ ${\widehat {\boldsymbol {\beta }}}_{k}$ beta ${\widehat {\boldsymbol {\beta }}}_{k}$ $}$ _ { $k$ } _ { k } _ { k } ${\$ o 、 ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ \ $display$ style \ $bold$ $symbol \$ $beta }$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ o ${\boldsymbol {\beta }}$ o o o o o o o o o o o o o o o o o o o o o o o o o o o 퍼포먼스 기준으로서 ror또한 ${\widehat {\boldsymbol {\beta }}}_{k}$ 하는 β ${\widehat {\boldsymbol {\beta }}}_{k}$ ^ ${\widehat {\boldsymbol {\beta }}}_{k}$ \ $displaystyle$ \ $wide symbol$ \ $beta } _$ { k } ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ${\widehat {\boldsymbol {\beta }}}_{k}$ 、 ^ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ \ $display$ style \ $bold symbol$ \ $beta$ } $_$ { \ $mathrm { }$ ${\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }$ 의 선형 형태에 비해 평균 제곱 오차가 낮아집니다.

$k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ k $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ { $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ , $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ , $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ , $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ ( $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ - $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ ) $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ 0 $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ wide \ $display$ $style$ $k\in \{1,\ldots ,p\},V_{(p-k)}^{\boldsymbol {\beta }}\neq \mathbf {0}$ k \ $in$ \ 1, $\ldots$ , $p$ \ , V _ { ( p - k ) $}^{$ \ $bold symbol$ { $0$ ${\widehat {\boldsymbol {\beta }}}_{k}$ ${\widehat {\boldsymbol {\beta }}}_{k}$ 、 $대응$ 하는 ${\widehat {\boldsymbol {\beta }}}_{k}$ bold ${\widehat {\boldsymbol {\beta }}}_{k}$ hat 。쎄

{\displaystyle \forall k\in \1,\ldots,p\}:\quad \operatorname {Var}(\widehat {boldsymbol {ols})_{\mathrm {ols})-\operatorname {Var}(\widehat \boldsece) 0,

$\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ ( $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ ^ $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ ) - $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ ( $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ ^ $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ k ) $\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0$ 0 ( \ $displaystyle \operatorname {MSE }$ ( \ $wide$ hat \ $bold symbol$ \ $beta$ } ) $_{$ \ $mathrm$ { ols $}$ （ \ $bold symbeta$ ）더 작은 고유값을 지지하므로 치우침이 낮아집니다.

순서대로 β{\displaystyle{\boldsymbol{\beta}의 평가자로}}효율적인 평가와 PCR의 예측 성능을 보장할 때"라고 박 대표는(1981년)[3]:}주요 구성 요소 경우가 크다면 jth{\displaystyle j^{월} 버려 주추 요소 회귀을 위해 사용될 선택을 위한 다음 지침을 제안한다. λ $.$ $T}{\boldsymbol {beta$ }} 이 $\lambda _{j}<(p\sigma ^{2})/{\boldsymbol {\beta }}^{T}{\boldsymbol {\beta }}.$ 가이드라인의 실제 실행에는 미지의 모델 파라미터 $\sigma ^{2}$ 2 $(\$ ^{ $2})$ ${\boldsymbol {\beta }}$ β(\ $displaystyle \boldsymbol {beta$ 에 대한 추정치가 필요하다.일반적으로 최초 풀모드에서 얻은 제한되지 않은 최소 제곱을 사용하여 추정할 수 있다.그러나 Park(1981)는 이러한 ^[3]목적에 더 적합할 수 있는 약간 수정된 추정치를 제공한다.

다중공선성 문제를 해결하고 $차원$ 축소를 수행하는 데 더 $적합$ 할 X $\mathbf {X} ^{T}\mathbf {X}$ 에 기초한 기준과 달리, 위의 기준은 실제로 P의 예측 및 추정 효율을 향상시키려 한다 $\mathbf {X} ^{T}\mathbf {X}$ 회귀 단계에서 사용할 주성분을 선택하는 과정에서 결과와 공변량을 모두 포함하는 CR 추정기.유사한 목표를 가진 대안적 접근법에는 교차 검증 또는 Mallow의 C_p 기준에 기초한 주요 구성요소의 선택이 포함된다.주성분도 결과와의 연관성에 따라 선택되는 경우가 많습니다.

PCR의 수축 효과

일반적으로 PCR은 기본적으로 모델 내의 공변량으로서 고분산 주성분( $X$ T X의 고분산값(\displaystyle $\mathbf {X}^{T}\mathbf {X}$ 을 유지하고 나머지 저분산 성분(낮은 고유값)을 폐기하는 수축 추정기이다. $\mathbf {X} ^{T}\mathbf {X}$ $\mathbf {X} ^{T}\mathbf {X}$ X (\ $displaystyle \mathbf {X}^{T}\mathbf {X}$ )따라서 저분산 성분에 이산 수축 효과를 발휘하여 원래 모델에서 기여도가 완전히 무효화됩니다.이와는 대조적으로 능선회귀추정기는 그 구조에 본질적으로 관여하는 정규화 파라미터(또는 튜닝 파라미터)를 통해 부드러운 수축효과를 발휘한다.모든 성분을 완전히 폐기하지는 않지만 연속적으로 수축 효과를 발휘하여 저분산성분은 수축 정도가 높고 고분산성분은 수축 정도가 낮다.Frank와 Friedman(1993)^[4]은 예측 자체를 위해 리지 추정기가 부드러운 수축 효과 때문에 이산 수축 효과가 있는 PCR 추정기와 비교하여 아마도 더 나은 선택이라고 결론지었다.

또한 주성분은 설명 변수에 대한 관측치만을 포함하는 X $(\$ 의 ${\mathbf {X}}$ 고유 분해에서 구한다.따라서 이러한 주성분을 공변량으로 사용하여 얻은 결과 PCR 추정기가 결과에 대해 반드시 만족스러운 예측 성능을 가질 필요는 없다.구조를 통해 이 문제를 해결하려는 다소 유사한 추정기가 부분 최소 제곱(PLS) 추정기입니다.PCR과 마찬가지로 PLS도 낮은 차원의 파생 공변량을 사용합니다.그러나 PCR과 달리 PLS에 대해 파생된 공변량은 결과와 공변량을 모두 사용하여 얻습니다.PCR은 공변량 공간에서 높은 분산 방향을 찾는 반면 PLS는 결과 예측에 가장 유용한 공변량 공간의 방향을 찾습니다.

2006년 감독 PCR로 알려진 고전 PCR의 변형이 ^[5]제안되었다.PLS와 유사한 정신으로, 결과뿐만 아니라 공변량을 모두 포함하는 기준을 기반으로 낮은 차원의 파생 공변량을 얻으려고 시도한다.이 방법은 결과 벡터가 한 번에 하나씩 취해진 $각$ p $\displaystyle$ p공변량에 $p$ 대해 개별적으로 회귀되는 일련의p\displaystyle p(또는 일변량 회귀)를 $p$ $p$ 하는 것으로 시작한다. $m\in \{1,\ldots ,p\}$ 다음 일부 $m\in \{1,\ldots ,p\}$ $m\in \{1,\ldots ,p\}$ { $m\in \{1,\ldots ,p\}$ , $m\in \{1,\ldots ,p\}$ p $}$ { $displaystyle$ m $\in \1,\ldots,p$ 에 대해 결과와 가장 상관성이 높은 것으로 판명된 첫 $m$ { \ $displaystyle$ m $}$ 개의 공변량을 $m$ 추가로 사용할 수 있도록 선택한다.그런 다음 앞에서 설명한 것처럼 기존의 PCR이 수행되지만, 이제는 선택된 공변량의 관측치에 대응하는 $n\times m$ n × $n\times m$ ${\display style$ n $\times$ m $}$ $n\times m$ 매트릭스만을 기반으로 한다. $m\in \{1,\ldots ,p\}$ 되는 공변량 수: m $m\in \{1,\ldots ,p\}$ { $m\in \{1,\ldots ,p\}$ , $m\in \{1,\ldots ,p\}$ , p $}$ { $displaystyle$ m \ $in \$ { $k\in \{1,\ldots ,m\}$ , \ $ldots$ , p $m\in \{1,\ldots ,p\}$ \ } the $m\in \{1,\ldots ,p\}$ the $k\in \{1,\ldots ,m\}$ ::::::::::::: k \ { 1 , $k\in \{1,\ldots ,m\}$ , m $m\in \{1,\ldots ,p\}$ $}$ { $displaystyle$ k \ $in$ \ 1, \ $ldots$ , $m$ \ }}는 $k\in \{1,\ldots ,m\}$ $k\in \{1,\ldots ,m\}$ 상호 검증에 의해 선택됩니다.

커널 설정에 대한 일반화

위에서 설명한 기존의 PCR 방법은 기존의 PCA를 기반으로 하며 공변량을 기반으로 결과를 예측하기 위한 선형 회귀 모델을 고려합니다.그러나, 이것은 회귀 함수가 공변량에서 반드시 선형일 필요는 없고, 대신 임의의 (아마도 비선형일 수 있는) 대칭 정의 커널과 관련된 재생 커널 힐버트 공간에 속할 수 있다.커널 함수를 선형 커널로 선택한 경우 선형 회귀 모델은 이 설정의 특수한 경우로 판명되었습니다.

일반적으로 커널 머신 설정에서 공변량의 벡터는 우선 선택된 커널 함수에 의해 특징지어지는 고차원(잠재적으로 무한 차원) 특징 공간에 매핑된다.이렇게 얻은 매핑을 피쳐 맵이라고 하며, 피쳐 요소라고도 하는 각 좌표는 공변량의 하나의 피쳐(선형 또는 비선형일 수 있음)에 해당합니다.그러면 회귀 함수는 이러한 특징 요소의 선형 조합으로 간주됩니다.따라서 커널 머신 설정의 기본 회귀 모델은 원래 공변량 집합 대신 예측 변수가 이제 피쳐 맵을 사용하여 실제 공변량을 변환하여 얻은 특징 요소의 벡터(잠재적으로 무한 차원)에 의해 제공된다는 것을 이해하는 선형 회귀 모델이다.

그러나 커널 트릭은 실제로 기능 맵을 명시적으로 계산하지 않고도 기능 공간에서 작업할 수 있도록 합니다.관측된 공변량 벡터에 대한 특징 맵 중 쌍별 내부 곱을 계산하는 것만으로는 충분하며, 이러한 내부 곱은 대응하는 공변량 벡터 쌍에서 평가된 커널 함수의 값에 의해 간단히 주어진다.따라서 얻어진 쌍별 내부 산물은 커널 매트릭스로도 알려진 $n\times n$ × $n\times n$ \ $displaystyle$ n $\times$ n \ times n \ 대칭 $n\times n$ 비음성 확정 행렬의 형태로 표현될 수 있다.

커널 머신 설정의 PCR은 우선 이 커널 매트릭스(K, say)를 특징 공간에 대해 적절히 중심화한 후 중심 커널 매트릭스(K', say) 상에서 커널 PCA를 실행함으로써 K'의 eigendecomposition을 얻을 수 있다.커널 PCR은 다음으로 (보통) 그렇게 얻어진 모든 고유 벡터의 서브셋을 선택하고 선택된 고유 벡터 상에서 결과 벡터의 표준 선형 회귀를 실행함으로써 진행된다.회귀 분석에 사용할 고유 벡터는 일반적으로 교차 검증을 사용하여 선택합니다.그런 다음 해당 선택된 고유 벡터와 함께 추정된 회귀 계수(선택된 고유 벡터의 수와 동일한 차원을 가지며)는 향후 관측 결과를 예측하는 데 사용됩니다.기계 학습에서 이 기술은 스펙트럼 회귀로도 알려져 있다.

분명히 커널 PCR은 K'의 고유 벡터에 대해 이산 수축 효과를 가지며, 앞에서 설명한 바와 같이 기존 PCR이 주성분에 미치는 이산 수축 효과와 매우 유사하다.단, 선택된 커널과 관련된 기능 맵은 잠재적으로 무한 차원일 수 있으며, 따라서 대응하는 주성분과 주성분 방향도 무한 차원일 수 있습니다.따라서 커널 머신의 설정에서는 이들 수량이 실질적으로 다루기 어려운 경우가 많습니다.커널 PCR은 기본적으로 관련된 커널 매트릭스의 스펙트럼 분해를 사용하여 동등한 이중 공식을 고려함으로써 이 문제를 회피합니다.선형 회귀 모델(커널 함수를 선형 커널로 선택하는 것에 해당함)에서 이는 $n\times n$ 하는 $n\times n$ n × $n\times n$ {\ $displaystyle$ $\mathbf {X} \mathbf {X} ^{T}$ n $\times$ n} 커널 $n\times n$ $\mathbf {X} \mathbf {X} ^{T}$ X $\mathbf {X} \mathbf {X} ^{T}$ T $\mathbf {X} \mathbf {X} ^{T}$ {\ $displaystyle$ \ $mathbf$ {X $} ^{T$ }}의 스펙트럼 분해를 고려한 후 결과 벡터를 se로 회귀시키는 것과 같다. $\mathbf {X} \mathbf {X} ^{T}$ X $\mathbf {X} \mathbf {X} ^{T}$ 의 $\mathbf {X} \mathbf {X} ^{T}$ 벡터의 하위 집합(\ $displaystyle \mathbf {X}$ \ $mathbf {X}$ ^{ $T})$ 을 ${\mathbf {X}}{\mathbf {X}}^{T}$ 구했다.이는 고전 PCR의 맥락에서 정의된 대로 대응하는 주요 구성요소(이 경우 유한 차원)에서 결과 벡터를 회귀시키는 것과 동일하다는 것을 쉽게 보여줄 수 있다.따라서 선형 커널의 경우, 이중 공식에 기초한 커널 PCR은 원시 공식에 기초한 기존 PCR과 정확히 동등하다.단, 임의의(그리고 비선형일 가능성이 있는) 커널의 경우 연관된 피쳐 맵의 무한 차원 때문에 이 기본 공식은 다루기 어려워질 수 있습니다.따라서 이 경우 기존의 PCR은 실질적으로 실현 불가능하지만 이중 공식에 기초한 커널 PCR은 여전히 유효하고 계산적으로 확장 가능합니다.

참고 항목

참조

^ Jolliffe, Ian T. (1982). "A note on the Use of Principal Components in Regression". Journal of the Royal Statistical Society, Series C. 31 (3): 300–303. doi:10.2307/2348005. JSTOR 2348005.
^ 닷지, Y옥스퍼드 사전 통계 조건, OUP. 아이 에스비엔 0-19-920613-9의(2003년).
^ ^a ^b ^c Sung H. Park (1981). "Collinearity and Optimal Restrictions on Regression Parameters for Estimating Responses". Technometrics. 23 (3): 289–295. doi:10.2307/1267793.
^ Lldiko E. Frank & Jerome H. Friedman (1993). "A Statistical View of Some Chemometrics Regression Tools". Technometrics. 35 (2): 109–135. doi:10.1080/00401706.1993.10485033.
^ Eric Bair; Trevor Hastie; Debashis Paul; Robert Tibshirani (2006). "Prediction by Supervised Principal Components". Journal of the American Statistical Association. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. doi:10.1198/016214505000000628.

읽고 추가

Amemiya, Takeshi (1985). Advanced Econometrics. Harvard University Press. pp. 57–60. ISBN 978-0-674-00560-0.
Theil, Henri (1971). Principles of Econometrics. Wiley. pp. 46–55. ISBN 978-0-471-85845-4.

[1] Jolliffe, Ian T. (1982). "A note on the Use of Principal Components in Regression". Journal of the Royal Statistical Society, Series C. 31 (3): 300–303. doi:10.2307/2348005. JSTOR 2348005.

[2] 닷지, Y옥스퍼드 사전 통계 조건, OUP. 아이 에스비엔 0-19-920613-9의(2003년).

[Park_(1981)-3] Sung H. Park (1981). "Collinearity and Optimal Restrictions on Regression Parameters for Estimating Responses". Technometrics. 23 (3): 289–295. doi:10.2307/1267793.

[Frank_and_Friedman_(1993)-4] Lldiko E. Frank & Jerome H. Friedman (1993). "A Statistical View of Some Chemometrics Regression Tools". Technometrics. 35 (2): 109–135. doi:10.1080/00401706.1993.10485033.

[Bair_et_al._(2006)-5] Eric Bair; Trevor Hastie; Debashis Paul; Robert Tibshirani (2006). "Prediction by Supervised Principal Components". Journal of the American Statistical Association. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. doi:10.1198/016214505000000628.

[1]

[2]

[3]

[4]

[5]

Search