슬라이스 역 회귀 분석

이 글의 어조나 문체는 위키백과에서 사용되는 백과사전적 어조를 반영하지 못할 수도 있다. 제안사항은 위키피디아의 더 나은 기사 작성 안내서를 참조하십시오. (2009년 12월) (이 템플리트 메시지를 제거하는 방법과 시기 알아보기)

슬라이스 역 회귀 분석(또는 SIR)은 다변량 통계 분야의 치수 축소를 위한 도구다.

통계에서 회귀 분석은 p-차원 벡터인 반응 $변수{\displaystyle \underset{}{}}$ ${\displaystyle \underset{}{y}}$와 그$$설명 변수 x _ {\displaystyle ${\underline{x$ 사이의 관계를 연구하는 일반적인 방법이다.회귀라는 용어 아래에는 몇 가지 접근법이 있다.예를 들어 모수법에는 다중 선형 회귀법이 포함되고 비모수법에는 국소 평활법이 포함된다.

고차원 데이터(p가 증가함에 따라)를 사용하면 로컬 스무딩 방법을 사용하는 데 필요한 관측치의 수가 기하급수적으로 증가한다.치수 수를 줄이면 연산을 계산할 수 있다.치수 축소는 데이터의 가장 중요한 방향만 보여주는 것을 목표로 한다.SIR은 역 회귀 곡선 $E{\displaystyle (}$ ${\displaystyle x\underset{}{}}$ ${\displaystyle \underset{}{\_}}$ ${\displaystyle y}$) ${\displaystyle E({\underline{x}\, \,y$를 사용하여 가중 주성분 분석을 수행한다.

모델

설명$$ 변수의$$ 반응 ${\displaystyle 변수}$ Y ${\displaystyle \,Y}$ 및 (랜덤) $벡터{\displaystyle }$ X ${\displaystyle \in }$ ${\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$^{p$}}}$을(를) 지정하면 SIR은 모델에 기초한다.

${\displaystyle Y=f(\beta _{1}^{}X,\ldots,\beta _{k}^{k}^{}X,\varepsilon )\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad (1)(1)}$

여기서 $\beta {\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$… ,${\displaystyle {\beta }_{}}$ k ${\$는 알 수 없는 투영 벡터다.${\displaystyle k}$ ${\displaystyle \,k}$은(는) 알 수 없는 숫자로, ${\displaystyle k}$ ${\displaystyle$\,$k}$이$($가) ${\displaystyle p}$ ${\displaystyle$ $\,$${\displaystyle {\mathrm{p}}^{}}$$}$보다 작도록$$ 치수를 줄이라고 방정식은 되어 있다${\displaystyle {.<img\; alt="\backslash ,p"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/01f9cce76f4a3b0a80f475e5b344a0cc0bc00c0b"\; style="vertical-align:\; -0.671ex;\; width:1.557ex;\; height:2.009ex;"\; papago-attr-id="50">}^{}}$ ${\displaystyle f}$ ${\displaystyle$ $\mathb {R}{k+1$}에$$ ${\displaystyle 대해서}$만 의존하므로$$ $}{$$k}$ 인수에서 알 수 없는 함수다$$.s. ε ${\displaystyle \varepsilon }$은(는) E${\displaystyle }$[ ${\displaystyle \epsilon }$ ${\displaystyle X}$ ${\displaystyle ]}$= 0 ${\displaystyle$ E$[\varepsilon X]=0}$의 오류와$$ ${\displaystyle {\sigma \mathrm{}}^{}}$ 2 ${\$$^{2}}.$모델에서는 ${\displaystyle 이상적}$인 솔루션을 설명하며, 여기서 Y ${\displaystyle \,Y}$은(는) ${\displaystyle K}$ ${\displaystyle$$\{R}$$$치수$$ 하위 공간을 통해서만$$ $X{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {}^{}}$ p ${\$에 의존한다$$. 즉, 설명 변수의 치수를 ${\displaystyle p}$ ${\$$displa$$}$에서$$더 작은 수 ${\displaystyle k}$로 줄일$$ 수 있다.정보를$$ $잃지$ 않고 ystyle \,$k}$

An equivalent version of ${\displaystyle \,(1)}$ is: the conditional distribution of ${\displaystyle \,Y}$ given ${\displaystyle \,X}$ depends on ${\displaystyle \,X}$ only through the ${\displaystyle \,k}$ dimensional random vector ${\displaystyle (\beta _{$$1}^{\top }X,\ldots,\beta _{k}^{\top }X$${\displaystyle Y}$ ${\displaystyle \,Y}$을(를) 설명할 때$$ 이 축소된 벡터는 원래 ${\displaystyle X}$ ${\displaystyle \,X}$만큼 유용한 것으로 가정한다$.$

알 수 없는 ${\displaystyle \beta {}_{}^{}}$ ${\displaystyle i}$ ${\displaystyle {}_{}^{}}$ s ${\displaystyle \,\beta _{i}'s}$을(를) 유효 치수 축소 방향(EDR-방향)이라고 한다$$.이러한 벡터로 스팬된 공간은 유효 치수 감소 공간(EDR-공간)으로 표시된다.

관련 선형 대수 배경

Given ${\displaystyle {\underline {a}}_{1},\ldots ,{\underline {a}}_{r}\in \mathbb {R} ^{n}}$, then ${\displaystyle V:=L({\underline {a}}_{1},\ldots ,{\underline {a}}_{r})}$, the set of all linear combinations of these vectors is called a linear subspace는 벡터 공간이다.방정식은 벡터 $a{\displaystyle {\underset{}{}}_{}}$ ${\displaystyle {\underset{}{\_}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$,${\displaystyle {}_{}\dots ,}$ ${\displaystyle {\underset{}{}}_{}}$ ${\displaystyle {\_}_{}}$ r ${\$data}$_{r}$ span$$ ${\displaystyle V}$ ${\displaystyle \,$$V}$라고 하지만 공간 ${\displaystyle V}$ ${\displaystystylee$\, V}에 걸쳐 있는 벡터는 고유하지$$ 않는다.

The dimension of ${\displaystyle \,V(\in \mathbb {R} ^{n})}$ is equal to the maximum number of linearly independent vectors in ${\displaystyle \,V}$. A set of ${\displaystyle \,n}$ linear independent vectors of ${\displaystyle \mathbb {R} ^{n}}$ sets up a basis of ${\displays$$tyle \mathb{R} ^{n$벡터 공간의 치수는 독특하지만, 기본 자체는 그렇지 않다.몇 개의 베이스가 같은 공간에 걸쳐 있을 수 있다.종속 벡터는 여전히 공간에 걸쳐 있을 수 있지만, 후자의 선형 조합은 직선에 놓여 있는 벡터 집합에만 적합하다.

역 회귀

찾는 대신 역 회귀 곡선(IR) 평균 계산

• ${\displaystyle E}$[ ${\displaystyle Y}$ ${\displaystyle X}$= ${\displaystyle x}$ ${\displaystyle ]}$ ${\displaystyle \,E[Y X=x$ 이것은 $R{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$의 곡선이다.

사실 그래.

• ${\displaystyle E}$[ ${\displaystyle X}$ Y${\displaystyle }$= ${\displaystyle y}$ ${\displaystyle ]}$ ${\displaystyle \,E[X Y=y$도 $R{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ {$R} ^{p$의 곡선이지만 ${\displaystyle p}$ ${\displaystyle \,p}$의 1차원$$ 퇴행으로 구성된다.

역 회귀 곡선의 중심은 ${\displaystyle E}$[ E${\displaystyle }$[ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle ]}$= ${\displaystyle E}$[ ${\displaystyle X}$ ${\displaystyle ]}$ ${\displaystyle \,E[X$ Y$]]$에 위치한다.$=E[X$ 따라서 중심 역 회귀 곡선은

• ${\displaystyle \,E[X Y=y]-E[X]}$

즉, $R{\displaystyle {\mathbb{}}^{}}$ p ${\$\mathb ${R}$$$$^{p$의 p ${\$displaystyle $\$$mathb$.

역 회귀 분석 대 치수 감소

중심 역 회귀 곡선은 ${\displaystyle \sigma {\mathrm{}}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle x_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {\beta }_{}}$ i${\displaystyle {}^{}{}_{}{}^{}s}$ s$${\$displaystyle$\,\$Sigma \{x}\beta _{i}s}$에 걸쳐 있는 ${\displaystyle k}$ ${\displaystyle \,k}$ -차원$$ 하위 공간에 위치한다$.$ 이것은 모형과 역 회귀 사이의 연결이다.

Given this condition and ${\displaystyle \,(1)}$, it is indeed true that the centered inverse regression curve ${\displaystyle \,E[X Y=y]-E[X]}$ is contained in the linear subspace spanned by ${\displaystyle \,\Sigma _{xx}\beta _{k}(k=1,\ldots ,K)}$, where $$${\displaystyle {\mathrm{\sigma }}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle x_{}}$= ${\displaystyle C}$ ${\displaystyle o}$ v${\displaystyle }$( ${\displaystyle X}$) ${\displaystyle \,\Sigma _{xx}=Cov(X)}$.

EDR 방향의 추정

모든 이론적 특성을 살펴본 후, 지금 목표는 EDR 방향을 추정하는 것이다.그러한 목적을 위해 가중 주성분 분석이 필요하다.If the sample means ${\displaystyle \,{\hat {m}}_{h}\,'s}$, we would have ${\displaystyle \,X}$ standardized to ${\displaystyle \,Z=\Sigma _{xx}^{-1/2}\{X-E(X)\}}$. Corresponding to the theorem above, the IR-curve ${\disp$$레이스타일 \,m_{1}(y)=$$E[Z Y=y]}$ lies in the space spanned by ${\displaystyle \,(\eta _{1},\ldots ,\eta _{k})}$, where ${\displaystyle \,\eta _{i}=\Sigma _{xx}^{1/2}\beta _{i}}$. As a consequence, the covariance matrix ${\displaystyle \,cov[E[Z Y]]}$ is degenerate in any direction orthogonal to the ${\displaystyle \,\eta _{i}\,'s}$. Therefore, the eigenvectors ${\displaystyle \,\eta _{k}(k=1,\ldots ,K)}$ associated with the largest${\displaystyle \,K}$ largest eigenvalues are the standardized EDR-directions.

알고리즘.

SIR을 통해 EDR 방향을 추정하는 알고리즘은 다음과 같다.

1. ${\displaystyle \sigma {\mathrm{}}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle x_{}}$ ${\$을(를) ${\displaystyle X}$ ${\displaystyle \,X}$의 공분산 행렬로$$ 두십시오$.$ ${\displaystyle X}$ ${\displaystyle \,X}$을(를) 다음으로$$ 표준화하십시오.

${\displaystyle \,Z=\Sigma _{xx}^{-1/2}\{X-E(X)\}}}$

(${\displaystyle }$( ${\displaystyle 1}$) ${\displaystyle$\,($1)}$도 다음과 같이 다시 쓸 수 있다$$.

${\displaystyle Y=f(\eta _{1}^{}Z,\ldots,\eta _{k}^{}Z,\varepsilon )}$

여기서 ${\displaystyle \eta {}_{}}$ ${\displaystyle k_{}}$= ${\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\displaystyle {}_{}{\mathrm{}}_{}^{}}$ ${\displaystyle x_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$/ ${\displaystyle {2\mathrm{}}_{}^{}}$ ${\displaystyle \forall {}_{}^{}\mathrm{}}$ k ${\displaystyle \,\eta_{k}=\beta _{k}\Sigma _{x}^{1/2}\quad \forall \;k}.)$

2. ${\displaystyle y{}_{}}$ ${\displaystyle i_{}}$ ${\$의 범위를 S ${\displaystyle \,S}$ 비 겹치지$$ 않는 슬라이스 ${\displaystyle H_{}}$ s${\displaystyle (s}$= ${\displaystyle 1}$ ,${\displaystyle }$, , ,${\displaystyle s}$) .${\displaystyle n_{}}$ s ${\$S)로$$ 나눈다$.$$\;n_{s}}$은(는) 각 슬라이스 내의 관측치 수입니다. I ${\displaystyle H{}_{}}$ ${\displaystyle {s_{}}_{}}$ ${\$은(는) 슬라이스의 표시기 함수:

${\displaystyle n_{s}=\sum _{i=1}^{n}I_{H_{s}}(y_{i})}$

3. 모든 슬라이스에 ${\displaystyle 대해{}_{}}$ z ${\displaystyle i_{}}$ ${\$의 평균을 계산하십시오. 이 ${\displaystyle 값}$은 역회귀 ${\displaystyle 곡선}$ ${\displaystyle {m\mathrm{}}_{}}$ ${\displaystyle 1_{\mathrm{}}}$$$${\$$displaystyle$$\,{\hat{m}_$${1$}:1$}}$:

${\displaystyle \,{\bar{z}_{s}=n-1}^{-1}\sum _{i=1}^{n}z_{i}I_{H_{s}}(y_{i})}$

4. ${\displaystyle C}$ ${\displaystyle o}$ v${\displaystyle }${${\displaystyle m}$ ${\displaystyle {1\mathrm{}}_{}}$( y${\displaystyle }$) ${\displaystyle \}}$ ${\displaystyle \,Cov\{m_{1}(y)\}$에 대한 추정치를 계산한다$.$

${\displaystyle \,{\hat{V}=n^{-1}\sum _{i=1}n_{s}{\bar{z}_{s}{\bar {z}}{s}^{s}}{s}}}}}{s}}}}}}}}}}}}}}}{\bar {var {va}}}}}}}}}}}}}}}}}$

5. ${\displaystyle 표준화}$된 EDR-방향인 고유값 ^ ${\displaystyle {\stackrel{}{^}}_{}}$ ^$$ {\$displaystyle$\,{\$hat$$${\$lambda }}_{$$i$$}$ 및 V$^$ {\$displaystyle$$\,{\eta$$\backslash \}\}\}\}$의 고유값 ${\displaystyle {\stackrel{}{^}}_{}}$ i {\displaystycompat{V$}$을 식별하십시오.

6. 표준화된 EDR 방향을 원래 척도로 다시 변환한다.EDR 방향의 추정치는 다음과 같다.

${\displaystyle \,{\hat {\beta }}}{\hat {\beta }}={\hat {\sigma }}^{-1/2}}{\hat {\eta }{i}}}}}$

(필수 직교인 것은 아님)

참조

• Li, K-C (1991) "차원 축소를 위한 스크리드 역 회귀" 미국 통계 협회 저널, 86, 316–327 Jstor
• 쿡, R.D. 및 샌포드 와이스버그, S. (1991) "차원 축소를 위한 스크리닝된 역 회귀 분석:논평", 미국통계협회지, 86, 328–332 Jstor
• Herdle, W. 및 Simar, L.(2003) 다변량 통계 분석 적용, Springer Verlag. ISBN3-540-03079-4
• Kurzfassung jur Vorlesung Mathik III I Sommersemer 2005, A. Brandt.