베이지안 다변량 선형 회귀 분석

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

통계에서 베이지안 다변량 선형 회귀 분석은 다변량 선형 회귀, 즉 예측 결과가 단일 스칼라 랜덤 변수가 아닌 상관 랜덤 변수의 벡터인 선형 회귀에 대한 베이지안 접근법이다. 이 접근방식에 대한 보다 일반적인 처리는 MMSE 추정기 기사에서 찾을 수 있다.

세부 사항

예측될 종속 변수가 단일 실제 값 스칼라가 아니라 상관된 실제 숫자의 m-길이 벡터인 회귀 문제를 고려하십시오. 표준 회귀 설정에서와 같이, 각 관측치 i가 길이 k의 벡터$$ x ${\displaystyle {}_{}}$ ${\$ _{i$}$로 그룹화된 k-1 설명 변수로 구성된 관측치가 n개 있다. 이는 각 관측치 i:에 대한 m 관련 회귀 문제의 집합으로 볼 수 있다.

${\displaystyle y_{i,1}=\mathbf {x} _{i}^{\rm {T}{\boldsymbol {\\boldsymbol{}}}}}{1}+\엡실론 _{i,1}$

$\displaystyle \cdots }$

${\displaystyle y_{i,m}=\mathbf {x} _{i}^{\rm {T}{\boldsymbol {\\boldsymbol{}}}}}}{m}+\엡실론 {i,m}}$

여기서 오류 집합${\displaystyle }${ ${\displaystyle {ϵ}_{}}$ i${\displaystyle {}_{}}$, ${\displaystyle 1_{}}$,${\displaystyle }$… ,${\displaystyle {ϵ}_{}}$ i${\displaystyle {}_{}}$, ${\displaystyle m_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \{\epsilon \{i,1},\ldots ,\epsilon _{i,m}\}}}}}$은 모두 상관 관계가 있다. 동등하게, 결과는 다음과 같이 행 벡터 ${\displaystyle {}_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ ${\$이(가) 있고 회귀 계수 벡터가 서로 옆에 쌓여 있는 단일 회귀 문제로 볼 수 있다.

${\displaystyle \mathbf {y} _{i}^{\rm{T}=\mathbf {x} _{i}+{\boldsymbol{\epsilon}}^{\rm {T}.}$

계수 행렬 B는 ${\displaystyle k}$ $×$ m ${\displaystyle \{\backslash }$$displaystyle k\times m}$ 행렬로$$, 계수 벡터 $\beta {\displaystyle {\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ , β m ${\$이 각 회귀 문제마다 $수평$으로 쌓인다.

${\displaystyle \mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\\\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\\\end{pmatrix}}\end{bmatrix}}.}$

각 관측치에 ${\displaystyle {}_{}}$ 소음$$ 벡터 $ϵ{\displaystyle {\mathit{}}_{}}$i{\$displaystyle {\boldsymbol {\\epsilon$}}$_{i}}$은(는) 공동으로 정상이므로 주어진 관측치에 대한 결과가 상관관계가 있다.

${\displaystyle {\boldsymbol {\boldsymbol {\epsilon }\심 N(0,{\boldsymbol {\Sigma }})}$

전체 회귀 문제를 행렬 형태로 다음과 같이 쓸 수 있다.

${\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E},}$

여기서 Y와 E는 $n{\displaystyle }$ ${\displaystyle \times }$ ${\displaystyle m}$ ${\displaystyle n\time m}$ 행렬이다$$. 설계 행렬 X는 표준 선형 회귀 설정에서와 ${\displaystyle \mathrm{같이}}$ 관측치가 수직으로 쌓인 $n{\displaystyle }$ ${\displaystyle \times }$ k ${\displaystyle n\times k}$ 행렬이다$$.

${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\rm {T}}\\\mathbf {x} _{2}^{\rm {T}}\\\vdots \\\mathbf {x} _{n}^{\rm {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.}$

고전적이고 빈번한 선형 최소 제곱법은 단순히 Moore-Penrose 유사분포스를 사용하여$$ 회귀 계수 $B{\displaystyle \stackrel{}{\mathbf{}}}$ ${\displaystyle \stackrel{}{}}$ ${\$의 행렬을 추정하는 것이다.

${\displaystyle \stackrel{}{\mathbf{B}}}$ ${\displaystyle \stackrel{}{}}$= (${\displaystyle }$X ${\displaystyle T^{}\mathbf{}}$ X${\displaystyle {}^{}}$)${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ X ${\displaystyle T^{}\mathbf{}}$ Y ${\$

베이지안 솔루션을 얻으려면 조건부 우도를 지정한 다음 적절한 결합을 먼저 찾아야 한다. 선형 베이지안 회귀 분석의 일변량 사례와 마찬가지로, 우리는 (척도에 따라 달라지는) 자연 조건부 결합 전을 지정할 수 있다는 것을 발견할 것이다.

우리의 조건부 가능성을 다음과^[1] 같이 쓰자.

${\displaystyle \rho (\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon })\propto {\boldsymbol {\Sigma }}_{\epsilon } ^{-n/2}\exp(-{\frac {1}{2}}{\rm {tr}}(\mathbf {E} ^{\rm {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

$Y$ , ${\displaystyle X\mathbf{}}$, ${\$$displaystyle \mathbf {E}$라는 오류 $기록{\displaystyle \mathbf{}}$ ${\$$displaystyle \mathbf {Y},\mathbf {X}$ 및$$ $B{\displaystyle \mathbf{}}$ ${\$ 수율$$.

${\displaystyle \rho (\mathbf {Y} \mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto {\boldsymbol {\Sigma }}_{\epsilon } ^{-n/2}\exp(-{\frac {1}{2}}{\rm {tr}}((\mathbf {Y} -\mathbf {X} \mathbf {\mathbf {B} } )^{\rm {T}}(\mathbf {Y} -\mathbf {X} \mathbf {\mathbf {B} } ){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

우리는 자연적인 결합 전 — 공동 밀도 $\rho {\displaystyle }$(${\displaystyle B\mathbf{}}$, $){\displaystyle \rho (\mathbf {B} ,\Sigma _{\epsilon }}}}$을 구한다. 가능성은 $B{\displaystyle \mathbf{}}$ ${\$에서 2차이므로 $({\displaystyle B\mathbf{}}$- ${\displaystyle B\stackrel{}{\mathbf{}}}$ ${\displaystyle \stackrel{}{}}$ )${\displaystyle (\mathbf {B}$ -${\hat{\mathbf {B}}}})}($기존 샘플 추정치와의 편차)에서 정규성을 갖도록 우도를 다시 쓴다$.$

베이지안 선형 회귀 분석과 동일한 기법을 사용하여 제곱합 기법의 행렬 형식을 사용하여 지수 항을 분해한다. 그러나 여기서는 매트릭스 미적분학(Kronecker product and vectorization transformation)도 사용할 필요가 있을 것이다.

첫째, 제곱합 합계를 적용하여 다음 가능성에 대한 새로운 식을 얻으십시오.

${\displaystyle \rho (\mathbf {Y} \mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto {\boldsymbol {\Sigma }}_{\epsilon } ^{-(n-k)/2}\exp(-{\rm {tr}}({\frac {1}{2}}\mathbf {S} ^{\rm {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1})) {\boldsymbol {\Sigma }}_{\epsilon } ^{-k/2}\exp(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),}$

${\displaystyle \mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B}}}}}$

우리는 전례를 위한 조건부 양식을 개발하고 싶다.

${\displaystyle \rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} {\boldsymbol {\Sigma }}_{\epsilon }),}$

where ${\displaystyle \rho ({\boldsymbol {\Sigma }}_{\epsilon })}$ is an inverse-Wishart distribution and ${\displaystyle \rho (\mathbf {B} {\boldsymbol {\Sigma }}_{\epsilon })}$ is some form of normal distribution in the matrix ${\displaystyle \mathbf {B} }$. This is accomplished using the vectorization transformation, which converts the likelihood from a function of the matrices ${\displaystyle \mathbf {B} ,{\hat {\mathbf {B} }}}$ to a function of the vectors ${\displaystyle {\boldsymbol {\beta }}={\rm {vec}}(\mathbf {B} ),{\hat {\bold$$기호 {\beta }}={\rm {vec}({\hat {\mathbf{B$

쓰다

${\displaystyle {\rm {tr}}((\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})={\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}{\rm {vec}}(\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1}}$

내버려두다

${\displaystyle {\rm {vec}}(\mathbf {X} ^{\rm {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} ){\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }}),}$

where ${\displaystyle \mathbf {A} \otimes \mathbf {B} }$ denotes the Kronecker product of matrices A and B, a generalization of the outer product which multiplies an ${\displaystyle m\times n}$ matrix by a ${\displaystyle p\times q}$ matrix to generate an ${\displaystyle mp\times nq}$ matrix, 두 행렬의 원소들의 모든 조합으로 구성된다.

그러면

${\displaystyle {\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})^{\rm {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} ){\rm {vec}}(\mathbf {B} -{\hat {\mathbf {B} }})}$

${\displaystyle =({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\rm {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\rm {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$

${\displaystyle 이\mathit{}}{\displaystyle }$경우${\displaystyle }$(${\displaystyle \beta \stackrel{}{\mathit{}}}$ -${\displaystyle \stackrel{}{}}$β ${\displaystyle ^}$) {\$displaystyle({\boldsymbol {\ {}-{\hat {\{symbol {\betasy }})$에서 정상일 가능성이 발생한다$.$

좀 더 다루기 쉬운 형태의 가능성으로, 우리는 이제 자연적인 (조건적인) 결합을 먼저 찾을 수 있다.

결합 선행분포

벡터화 변수 $\beta {\displaystyle \mathit{}}$ ${\$을(를) 사용하기 전의 자연 결합은 다음과$$ 같은 형식이다.^[1]

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho ({\boldsymbol {\beta }} {\boldsymbol {\Sigma }}_{\epsilon })}$,

어디에

${\displaystyle \rho({\boldsymbol {\Sigma }}}{{\epsilon }}\sim {\mathcal {W}^-1}(\mathbf {V_{0}},{\boldsymbol{}}}).$

그리고

${\displaystyle \rho ({\boldsymbol {\beta }} {\boldsymbol {\Sigma }}_{\epsilon })\sim N({\boldsymbol {\beta }}_{0},{\boldsymbol {\Sigma }}_{\epsilon }\otimes {\boldsymbol {\Lambda }}_{0}^{-1}).}$

후분포

위의 선행 및 우도를 이용하여 후분포를 다음과 같이 표현할 수 있다.^[1]

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon } \mathbf {Y} ,\mathbf {X} )\propto {\boldsymbol {\Sigma }}_{\epsilon } ^{-({\boldsymbol {\nu }}_{0}+m+1)/2}\exp {(-{\frac {1}{2}}{\rm {tr}}(\mathbf {V_{0}} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$

${\displaystyle \times {\boldsymbol {\Sigma }}_{\epsilon } ^{-k/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B_{0}} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))}}$

${\displaystyle \times {\boldsymbol {\Sigma }}_{\epsilon } ^{-n/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {Y} -\mathbf {XB} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1}))},}$

여기서 $v{\displaystyle \mathrm{}}$ ${\displaystyle \mathrm{e}}$ ${\displaystyle \mathrm{c}(B{\mathbf{}}_{}}$ ${\displaystyle {0\mathbf{}}_{}}$)${\displaystyle }$= ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$ $\}\}\}\}\}.$ $B{\displaystyle \mathbf{}}$ ${\$를${\displaystyle {}_{}}$ 포함하는 용어는 다음을 사용하여 그룹화할 수$$ 있다({\$displaystyle {\${U$\}\}).$

${\displaystyle (\mathbf {B} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B} -\mathbf {B_{0}} )+(\mathbf {Y} -\mathbf {XB} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB} )}$

${\displaystyle =\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B} \right)^{\rm {T}}\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B} \right)}$

${\displaystyle =\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B_{n}} \right)^{\rm {T}}\left({\begin{bmatrix}\mathbf {Y} \\\mathbf {UB_{0}} \end{bmatrix}}-{\begin{bmatrix}\mathbf {X} \\\mathbf {U} \end{bmatrix}}\mathbf {B_{n}} \right)+(\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}(\mathbf {X}^{\rm {T}\mathbf {X} +{\boldsymbol {\Lambda }}}{0})(\mathbf {B} -\mathbf {B_{n}} )}}}}}}}}$

${\displaystyle =(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{0}} -\mathbf {B_{n}} )^{\rm {T}}$${\boldsymbol {\Lambda }}_{0}(\mathbf {B_{0}} -\mathbf {B_{n}} )+(\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})(\mathbf {B} -\mathbf {B_{n}} )}$,

와 함께

${\displaystyle \mathbf {B_{n}} =(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\mathbf {B$$} }}+{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )}$.

이것은 이제 더 유용한 형태로 후문을 쓸 수 있게 해준다.

${\displaystyle \rho ({\boldsymbol {\beta }},{\boldsymbol {\Sigma }}_{\epsilon } \mathbf {Y} ,\mathbf {X} )\propto {\boldsymbol {\Sigma }}_{\epsilon } ^{-({\boldsymbol {\nu }}_{0}+m+n+1)/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {V_{0}} +(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{n}} -\mathbf {B_{0}} )^{\rm{T}{\boldsymbol {\lambda }}}{0}(\mathbf {B_{n} -\mathbf{B_{0} ){\boldsymbol {\\\\sigma }}}{{{-1})}}$

${\displaystyle \times {\boldsymbol {\Sigma }}_{\epsilon } ^{-k/2}\exp {(-{\frac {1}{2}}{\rm {tr}}((\mathbf {B} -\mathbf {B_{n}} )^{\rm {T}}(\mathbf {X} ^{T}\mathbf {X} +{\boldsymbol$${\Lambda }}_{0})(\mathbf {B} -\mathbf {B_{n}}}{\boldsymbol {\Sigmbol{}}}}{\epsilon }^{-1$

이 값은 행렬 정규 분포에 역위산 분포의 시간을 곱하는 형식을 취한다.

${\displaystyle \rho({\boldsymbol {\Sigma }}}\mathbf {Y},\mathbf {X})\심각 {\\mathbf {W}^{1}(\mathbf {V_{n}},{\boldmbol {no}}}).$

그리고

${\displaystyle \rho (\mathbf {B} \mathbf {Y} ,\mathbf {X} ,{\boldsymbol {\Sigma }}_{\epsilon })\sim {\mathcal {MN}}_{k,m}(\mathbf {B_{n}} ,{\boldsymbol {\Lambda }}_{n}^{-1},{\boldsymbol {\Sigma }}_{\epsilon })}$.

이 후방의 매개변수는 다음과 같이 주어진다.

${\displaystyle \mathbf {V_{n}} =\mathbf {V_{0}} +(\mathbf {Y} -\mathbf {XB_{n}} )^{\rm {T}}(\mathbf {Y} -\mathbf {XB_{n}} )+(\mathbf {B_{n}} -\mathbf {B_{0}} )^{\rm {T}}{\boldsymbol {\Lambda }}_{0}(\mathbf {B_{n}} -\mathbf {B_{0}} )}$

${\displaystyle {\\symbol {\nu }}{n}={\displaysymbol {\nu }}{0}+n}$

${\displaystyle \mathbf {B_{n}} =(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {Y} +{\boldsymbol {\Lambda }}_{0}\mathbf {B_{0}} )}$

${\displaystyle {\boldsymbol {\lambda }}_{n}=\mathbf {X}\mathbf {X}+{\boldsymbol {\lambda }}{0}}}}}$

참고 항목

• 베이지안 선형 회귀 분석
• 행렬 정규 분포

참조

이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않기 때문에 대체로 검증되지 않은 상태로 남아 있다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2010년 11월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

• Box, G. E. P.; Tiao, G. C. (1973). "8". Bayesian Inference in Statistical Analysis. Wiley. ISBN 0-471-57428-7.
• Geisser, S. (1965). "Bayesian Estimation in Multivariate Analysis". The Annals of Mathematical Statistics. 36 (1): 150–159. JSTOR 2238083.
• Tiao, G. C.; Zellner, A. (1964). "On the Bayesian Estimation of Multivariate Regression". Journal of the Royal Statistical Society. Series B (Methodological). 26 (2): 277–285. JSTOR 2984424.