베이지안 선형 회귀

베이지안 선형 회귀는 한 변수의 평균이 다른 변수의 선형 조합에 의해 설명되는 조건부 모델링의 한 유형으로, 회귀 계수의 사후 확률을 얻고 궁극적으로 표본 외 분포를 허용하는 것을 목표로 한다.regressand( $종종$ y $\displaystyle$ 로 표시됨)의 ple 예측은 regressor( $일반적으로$ X\displaystyle X $)$ 의 관측값에 따라 결정됩니다.이 모델의 가장 단순하고 널리 사용되는 버전은 정규 선형 모델이며, $X$ ${\displaystyle$ X $}$ 가 $X$ $X$ 된y {\ $displaystyle$ y $}$ 가 $y$ 가우스 분포입니다.이 모델에서, 그리고 매개 변수에 대한 사전 확률의 특정 선택(이른바 공역 우선) 하에서, 후방을 분석적으로 찾을 수 있다.더 임의로 선택된 이전 항목에서는 일반적으로 후부를 근사해야 합니다.

모델 셋업

i $i=1,\ldots ,n$ , $i=1,\ldots ,n$ {\ $displaystyle$ $i=$ $1,\ldots,n}$ 에 $i=1,\ldots ,n$ $y_{i}$ 대해 k $k\times 1$ × $k\times 1$ {\ $displaystyle$ k $\times$ 1} $k\times 1$ $\mathbf {x} _{i}$ x $y_{i}$ i ${\displaystyle \mathbf {x} _i$ :의 $y_{i}$ 분포 평균을 지정하는 표준 선형 회귀 문제를 고려합니다.

y_{i}=\mathbf {x}_{i}^{\mathsf {T}}{\boldsymbol {\mathsf }}+\varepsilon _{i}

${\boldsymbol {\beta }}$ 서 ${\boldsymbol {\beta }}$ β(\ $displaystyle\boldsymbol\times$ 1)는 ${\boldsymbol {\beta }}$ $k\times 1$ × $k\times 1$ (\ $displaystyle$ k $\times$ 1) $\varepsilon _{i}$ 이며 $k \times 1$ $,$ $β(\$ displaystyle $\varepsilon_{i$ })는 $\varepsilon _{i}$ 독립적이고 동일한 정규 분포를 따르는 랜덤 변수입니다.

\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2}).}

이는 다음 우도 함수에 해당합니다.

\displaystyle \rho (\mathbf {y} \mid \mathbf {X} , {\boldsymbol {beta } , \sigma ^{2} \propto (\sigma ^{2}\exp \left (-{\frac {1}{2\sigma ^2}})}

무어-펜로즈 유사 역수를 사용하여 계수 벡터를 추정하는 데 일반 최소 제곱 솔루션이 사용됩니다.

{\displaystyle {\mathbf {X}=(\mathbf {T})^{-1}\mathbf {X}^{\mathbf {T}}\mathbf {y})

$\mathbf {X}$ 서 X $(\$ $\mathbf {y}$ { $X})$ 는 $\mathbf {X}$ n $n\times k$ × $n\times k$ (\ $displaystyle$ $\mathbf {x} _{i}^{\mathsf {T}}$ n $\times$ k $)$ 설계 $n \times k$ 매트릭스이며, 각 행은 예측 $\mathbf {x} _{i}^{\mathsf {T}}$ $\mathbf {x} _{i}^{\mathsf {T}}$ x $\mathbf {x} _{i}^{\mathsf {T}}$ T(\ $displaystyle$ \ $mathbf {x$ i})^{\ $mathbf$ $\mathbf {x} _{i}^{\mathsf {T}}$ {T $})$ 이고 $,$ (\ $displaystyle 1$ y $[y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}$ 는 $\mathbf {y}$ $n$ $[y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}$ 입니다 $[y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}$ ${\displaystyle [y_1}\;\cdots$ \; $y_{n}}^{\mathsf {T$

이는 빈도론적인 접근법이며 $,$ 에 ${\boldsymbol {\beta }}$ 의미 있는 것을 말할 수 있는 충분한 측정치가 있다고 가정한다. 베이지안 접근법에서는 데이터가 사전 확률 분포의 형태로 추가 정보로 보충된다.파라미터에 대한 이전의 믿음은 Bayes 정리에 따른 데이터의 우도 함수와 결합되어 ${\boldsymbol {\beta }}$ β(\ $displaystyle\boldsymbol\beta})$ 와 ${\boldsymbol {\beta }}$ $\sigma$ (\ $displaystyle\sigma$ 에 대한 사후적 믿음을 얻을 수 있습니다.앞의 믿음은 도메인 및 정보에 따라 다른 기능 형태를 취할 수 있습니다.는 priori로 이용할 수 있습니다.

데이터는 y $(\$ 와 $\mathbf {y}$ $\mathbf {X}$ X(\ $displaystyle \mathbf {X$ $\mathbf {y}$ 로 구성되므로 X $(\$ 를 $\mathbf {X}$ $\mathbf {X}$ 으로 y $(\$ 의 $\mathbf {y}$ 에만 초점을 맞춥니다.실제로 "풀" 베이지안 분석에는 $\rho (\beta ,\sigma ^{2},\gamma )$ ( $\rho (\beta ,\sigma ^{2},\gamma )$ $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ β $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ 2, $)\style \rho (\mathbf {y},$ \ $mathbf {X}$ \ $mid \boldsymbol$ {\ $beta },$ \ $sigma$ ^{ $\rho (\beta ,\sigma ^{2},\gamma )$ $},$ \ $gamma$ $\rho (\beta ,\sigma ^{2},\gamma )$ 와 $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ $\rho (\beta ,\sigma ^{2},\gamma )$ 공동우도 $\rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )$ 합니다 $.$ 는 X $(\$ $\mathbf {X}$ 의 파라미터를 나타냅니다.접합우도는 (약한) 외부성을 전제로 하는 경우에만 $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$ ( $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$ X , $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$ , $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$ 2 $)$ 로 인수할 수 있습니다 $.\ displaystyle$ \ $rho$ ( \ mathbf ${ y$ ) \ mid { $mathbolmbxy$ } { \ my} $\rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )$ ^[1] 보통 후자는 분리된 파라미터 세트를 가정하여 무시됩니다 $.$ 보다 일반적인 가정 하에서 X $($ : 설계 실험에서 X\ $displaystyle \mathbf {X})$ 는 $\mathbf {X}$ 선택된 것으로 간주되며,^[2] 따라서 매개 변수 없이 알려진 확률을 갖는다.

켤레 전과가 있는 경우

켤레 사전분포

임의 사전 분포의 경우 사후 분포에 대한 분석 솔루션이 없을 수 있습니다.이 섹션에서는 후분포를 분석적으로 도출할 수 있는 이른바 켤레에 대해 검토한다.

앞의 $displaystyle\rho(\boldsymbol\beta},\sigma$ ^{ $2})$ 는 $\rho(\boldsymbol\beta,\sigma^{2})$ $β$ $(\$ }) 및 $\sigma$ ${\boldsymbol {\beta }}$ (\displaystyle\ $sigma })$ 와 ${\boldsymbol {\beta }}$ ${\boldsymbol {\beta }}$ 한 기능 형태를 가진 경우 이 우도 함수에 해당됩니다. $mbol {beta$ 로그 우도는 ( $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$ - $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$ ) { $displaystyle(\boldsymbol$ { $beta$ 로 $({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})$ 정규가 되도록 고쳐 씁니다.

{\displaystyle{\begin{정렬}(\mathbf{y}-\mathbf{X}{\boldsymbol{\beta}})^{\mathsf{T}}(\mathbf{y}-\mathbf{X}{\boldsymbol{\beta}})&, =[(\mathbf{y}-\mathbf{X}{\hat{\boldsymbol{\beta}}})+(\mathbf{X}{\hat{\boldsymbol{\beta}}}-\mathbf{X}{\boldsymbol{\beta}})]^{\mathsf{T}}[(\mathbf{y}-\mathbf{X}{\hat{\boldsymbol{\be.분명}}})+(\mathbf{X}{\hat{\boldsymbol{\beta}}}-\mathbf{X}{\boldsymbol{\beta}})해결 \\&, =(\mathbf{y}-\mathbf{X}{{\boldsymbol{\beta}}\hat})^{\mathsf{T}}(\mathbf{y}-\mathbf{X}{{\boldsymbol{\beta}}\hat})+({\boldsymbol{\beta}}-{\hat{\boldsymbol{\beta}}})^{\mathsf{T}}(\mathbf{X}^{\mathsf{T}}\mathbf{X})({\boldsymbol{\beta}}-.{\haT{\boldsymbol{\beta}}})+\underbrace{2(\mathbf{X}{\hat{\boldsymbol{\beta}}}-\mathbf{X}{\boldsymbol{\beta}})^{\mathsf{T}}(\mathbf{y}-\mathbf{X}{{\boldsymbol{\beta}}\hat})}_{=\ 0}\\&, =(\mathbf{y}-\mathbf{X}{{\boldsymbol{\beta}}\hat})^{\mathsf{T}}(\mathbf{y}-\mathbf{X}{{\boldsymbol{\beta}}\hat})+({\boldsymbol{\b.에타}-{\hat {\boldsymbol {beta }}^{\mathsf {X} ^{\mathsf {T}}\mathbf {X}}({\boldsymbol {beta}}})-{\hat {\boldsymboldsymbol {beta}}}}},\end { aligned}}

현재 가능성은 다음과 같이 재작성됩니다.

\displaystyle \rho (\mathbf {y} \mathbf {X} , {\boldsymbol {beta } , \sigma ^{2} ) \propto ( \ sigma ^{2} ) } \ exp \ left ( - { \ frac { vs ^ {2} } { 2 } { 2 } { \ sigma } } } } } } } {\ sigma } right } } } } } }({\boldsymbol\hat\boldsymbol\right}) ({\boldsymbol\hat\hat\holdsymbol\right})}

어디에

{\displaystyle vs^2}=(\mathbf {y} -\mathbf {X}) {{hat} {\mathbf {y} -\mathbf {X}} {\hat {\boldsymbol {y}}} \mathbf {Text}},

k

서 k

\displaystyle

k는

k

회귀 계수의 수입니다.

이는 앞의 형식을 제안합니다.

\displaystyle \rho({\boldsymbol {},\symbol ^{2})=\rho(\boldsymbol {{2}}\mid \symbol ^{2}),}

\rho (\sigma ^{2})

서

\rho (\sigma ^{2})

(

\rho (\sigma ^{2})

2

){

displaystyle \

rho

( \

display

style ^ {

2

} )는

\rho (\sigma ^{2})

역수 분포입니다.

\rho (\displaystyle ^{2})\propto (\displaystyle ^{2})^{-{\frac {v_{0}{2}}\exp \frac {v_{0}s_{0}{2}}{2\right ^{\f}}.

역감마 분포 기사에서 소개된 표기법에서 이것은 ${\text{Inv-Gamma}}(a_{0},b_{0})$ ( ${\text{Inv-Gamma}}(a_{0},b_{0})$ 0 ${\text{Inv-Gamma}}(a_{0},b_{0})$ ${\text{Inv-Gamma}}(a_{0},b_{0})$ 0 $)$ 의 밀도입니다.\ $display$ style { $text$ } $Inv-Gamma}}(a_{0},$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ ${0})$ 0 $a_{0}={\tfrac {v_{0}}{2}}$ $a_{0}={\tfrac {v_{0}}{2}}$ 2 { $displaystyle a_{0}$ = $vtfrac$ { $v_$ ${$ 0} ${2$ } = $v_{0}$ { $displaystyle b_{0}$ } {{0} $}$ } $v_{0}$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ = v0 $2$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ $v_{0}$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ v2 inv 0 $b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}$ 0 = $vfrtfreclash$ tfrfreclash {0} {0} {0} {0} {0} {0} { 0 } } $각각$ \ $displaystyle$ v $\$ $s^{2}$ \ $displaystyle s^{2$ $마찬가지$ 로 스케일 역 카이 제곱 분포인 ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ ( ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ v ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ , ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ 0 ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ ) . ${\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).$ { $displaystyle$ { \ text { Scale - $inv$ - } \ $chi ^{2$ } ( v _ ${0$ , $s$ _ { 0 }^{ $2$ } )로도 설명할 수 있습니다. $}$

또한 조건부 $\rho ({\boldsymbol {\beta }}|\sigma ^{2})$ $\rho ({\boldsymbol {\beta }}|\sigma ^{2})$ 2) $\rho ({\boldsymbol {\beta }}|\sigma ^{2})$ { $displaystyle \rho({\boldsymbol {beta }}$ \ $sigma$ ^{ $2}})$ 는 $\rho(\boldsymbol\beta|\sigma^{2})$ 정규 분포이다.

(\displaystyle \rho (\boldsymbol {beta }}\mid \sigma ^{2}\propto (\sigma ^{2})\exp \left (-{\frac {1}{2\sigma }}) ({\boldsymbol {\beta }})}

정규 분포 표기법에서 조건부 사전 분포는 N ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ 0 ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ 2 ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ 0 ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ - ${\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).$ )입니다 $.\displaystyle$ {\ $mathcal$ { $N}}\left({\boldsymbol {mu }}_{0},\sigma$ ^ $2}{\boldsymbda }}_{0^{-1$ } $오른쪽).$ $}$

후방 분포

이전을 지정하면, 후방 분포는 다음과 같이 표현될 수 있다.

{\displaystyle{\begin{정렬}\rho({\boldsymbol{\beta}},\sigma ^{2}\mid\mathbf{y},\mathbf{X})&, \propto\rho(\mathbf{y}\mid \mathbf{X},{\boldsymbol{\beta}},\sigma ^{2})\rho({\boldsymbol{\beta}}\mid\sigma ^{2})\rho(\sigma ^{2})\\&,\propto(\sigma ^{2})^{-n/2}\exp \left(-{\frac{1}{2{\sigma}^{2}}}(\mathbf{y}-\mathbf{X}{.\boldsymbol {\mathbf {T}{\mathbf {y} - \mathbf {X} {\boldsymbol {Beta}}\오른쪽) (시그마 ^{2}\exp \left(-{\frac {1}{2\sigma ^{2}}}}}) ({\boldsymbol {\b})2)}}\right)\end {aligned}}

몇몇 re-arrangement,[3]β{\displaystyle{\boldsymbol{\beta}}}은 최소한의 조건에서 평가자β ^{\displaystyle{\hat{\boldsymbol{\beta}}}사각형 틀을 표현할 수 있도록 posterior}매개 변수 벡터의μ n{\displaystyle{\boldsymbol{\mu}}_{n}말은 posterior}과 다시 씌여 찔 수 있다.pr ${\boldsymbol {\mu }}_{0}$ , ${\boldsymbol {\mu }}_{0}$ 0 $($ 정밀도 매트릭스 ${\boldsymbol {\Lambda }}_{0}$ 0 $($ 스타일 {\ $boldsymbol {mu}})_{0})$ 으로 표시된 앞의 강도를 의미합니다.

{\mathbf {X} =(\mathbf {T} ^{\mathbf {X} + {\boldsymbol {Lambda}}}_{0})^{-1}(\mathbf {X} ^{\mathbf {T} } } =\mathbold hat {X}

${\boldsymbol {\mu }}_{n}$ { $displaystyle$ {\ $boldsymbol {mu}}_{n$ }}이 $\boldsymbol\mu_n$ 실제로 후방 평균임을 정당화하기 위해 지수의 2차 항을 ${\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}$ β - ${\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}$ {\ $displaystyle$ {\ $boldsymbol {beta}}-{\boldsymong}_{n$ ^[4]의 2차 형식으로 정렬할 수 있습니다.

(\displaystyle(\mathbf {y} -\mathbf {X})^{\mathsf {T}}(\mathbf {y} -\mathbf {X})+({\boldsymbol {y}-{\boldsymu}}) {0SF^{\mathbf})thsf {T}}\mathbf {X} +{\boldsymbol {Lambda}}_{0}}({\boldsymbol {beta}}}-{\boldsymbol {mu}}_{n})+\mathbf {y} ^{\mathbf {y} - {y}{{mu}}_{0}.}

이제 후부는 정규 분포 x 역감마 분포로 표현될 수 있습니다.

\displaystyle \rho({\boldsymbol {beta },\sigma ^{2},\mathbf {X})\propto(\sigma ^{2})\exp \left(-{\frac {1}{2\sigma }){2}}{\boldsymbol }{-{\frac {n+2a_{0}}{2}\exp \left(-{\frac {2b_{0}+\mathbf {y})^{\mathbf {y}-{\boldsymbol {mu }_{n}^{mathbf})}

따라서 후분포는 다음과 같이 모수화할 수 있다.

\displaystyle \rho({\boldsymbol {beta },\sigma ^{2},\mathbf {X})\propto \rho({\boldsymbol {beta }}},\mathbf {X})\rho ^2\rigmato(s)

여기서 두 인자는 N

{\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,

n

{\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,

{\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,

2

{\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,

n - 1

{\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,

의 밀도에 대응합니다

style {mathcal {N}\left({\boldsymbol {mu }}_{

n}},\

sigma ^{2

}{\

boldsymbdsymbda }},

{{-

1},\},\})

및

{\text{Inv-Gamma}}\left(a_{n},b_{n}\right)

오른쪽

)

의

{\text{Inv-Gamma}}\left(a_{n},b_{n}\right)

에

\mathcal{N}\left( \boldsymbol\mu_n, \sigma^2\boldsymbol\Lambda_n^{-1} \right)\,

대응합니다.

Inv-Gamma}}\left(a_{n},b_{n}\right)}

개의

{\text{Inv-Gamma}}\left(a_{n},b_{n}\right)

분포와 이들 파라미터는 다음과 같습니다.

({displaystyle {\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {Lambda} _{0}),\boldsymbol {mu }_{n}_boldsymbda } ={n} } ^{\mathbda} )

\displaystyle a_{n}=a_{0}+{\frac {n}+{\frac {0}+{{1}{2}(\mathbf {Y}^{\mathbf {T}}\mathbf {y} +{\boldmol {mu}_0}{0}}{{math}}}{{{mathb}}}}}}}{{{{mathf}}}}}}}}}}}{{{{{{{math}}}}}}}}}}}}}}}}

이는 다음 방정식에 따라 매개변수가 업데이트되는 베이지안 학습으로 해석될 수 있습니다.

{\mathbf {X} =\left(\mathbf {X}) ^{\mathbf {X} +{\boldsymbol {Lambda}}}_{-1}\left\boldsymbol {Lambda} } } {0

(\displaystyle {\boldsymbol {Lambda }}_{n}=(\mathbf {X} ^{\mathsf {T}}}\mathbf {X} +{\boldsymbol {Lambda }}}}_{0})

a_{n}=a_{0}+{\frac {n}{2}},

b_{n}=b_{1}+{\frac {2}}(mathbf {y}^{\mathsf {T}}\mathbf {y}) + {\boldsymbol {\mu}{{0}{\mathsf {T}}}}{\boldsymbol }

모델 증거

모델 $p(\mathbf {y} \mid m)$ p $p(\mathbf {y} \mid m)$ $p(\mathbf {y} \mid m)$ m $p(\mathbf {y} \mid m)$ )(\ $displaystyle$ p $(\mathbf {y}$ \ $mid$ m $))$ 는 $p(\mathbf {y} \mid m)$ $모델$ m(\ $displaystyle$ m $m$ 에 주어진 데이터의 확률이다.한계 우도 및 사전 예측 밀도라고도 합니다.여기서 모델은 $p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )$ p $p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )$ $p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )$ β, $)$ { $displaystyle$ p $(\mathbf {y}$ \ $mid \mathbf {X},$ {\ $boldsymbol {beta},\sigma})$ $및$ 모수( $)$ 의 이전 $분포$ 에 의해 정의됩니다 $.$ 모형 증거는 이러한 모형이 관측치를 얼마나 잘 설명하는지 단일 번호로 포착합니다.이 절에서 제시된 베이지안 선형 회귀 모델의 모델 증거는 베이지안 모델 비교에 의해 경쟁하는 선형 모델을 비교하는 데 사용될 수 있다.이러한 모형은 예측 변수의 수와 값뿐만 아니라 모형 모수에 대한 우선 순위도 다를 수 있습니다.모델 복잡도는 모델 증거에 의해 이미 고려되고 있다. 왜냐하면 모델 복잡도는 ${\boldsymbol {\beta }}$ β의 ${\boldsymbol {\beta }}$ 가능한 값에 대해 p $p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )$ β, $p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )$ β X $)\displaystyle$ p(\ $mathbf$ {y $},$ {\ $boldsymbol {X$ $}),\$ $sigma \mad \mathbf {X$ $}$ 를 $p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )$ ${\boldsymbol {\beta }}$ $p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )$ 으로써 $파라미터를 배제$ 하기 때문이다 $.$ $시그마$ $\sigma$ 입니다.

\displaystyle p(\mathbf {y} m)=\int p(\mathbf {y} \mid \mathbf {X} , {\boldsymbol {\boldsymbol {} ,\boldsymbol {} ,\boldsymbol {\} ,\bold},\boldsymbol }, d\symboldsymbol

이 적분은 해석적으로 계산할 수 있으며, 해답은 다음 ^[5]방정식으로 제공됩니다.

p(\mathbf {y} \mid m)=parc frac {1}{(2\pi)^{n/2}}{\cdrt {\frac {\deta }} {\boldsymbol {\Lambda }} {{0}}}}}}}}\cdot {{{{{{brcdefrcdef}

여기서 $\Gamma$ (\ $displaystyle \Gamma)$ 는 $\Gamma$ 감마 함수를 나타냅니다.먼저 켤레를 선택했으므로, β $(\$ 와 ${\boldsymbol {\beta }}$ $\sigma$ (\ $displaystyle\sigma$ 의 ${\boldsymbol {\beta }}$ 의 값에 대해 다음과 같은 동등성을 평가하여 한계우도를 쉽게 계산할 수 있습니다.

p(\mathbf {y} \mid m)=bladfrac {p4\boldsymbol {p},p(\mathbf {y},{\mathbf {X},{\boldsy},\midmathbf},\mad flac {p},\mathbf},\mathbf

이 방정식은 베이즈 정리를 다시 배열하는 것에 불과하다는 것을 유념하십시오.선행, 우도, 후방에 대한 공식을 삽입하고 결과 표현을 단순화하면 위에 제시된 분석 표현으로 이어집니다.

기타 케이스

일반적으로 후방 분포를 분석적으로 도출하는 것이 불가능하거나 비실용적일 수 있다.그러나 몬테카를로^[6] 샘플링 또는 변동 베이즈와 같은 근사 베이지안 추론 방법에 의해 후방을 근사할 수 있다.

특수 ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ 0 ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ 0 ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ 0 $=$ ${\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I}$ {\ $displaystyle$ {\ $boldsymbol {mu }}_$ {0 $},\mathbda$ } $_{0$ }= $c\mathbf {I}}$ 를 $\boldsymbol\mu_0=0, \mathbf{\Lambda}_0 = c\mathbf{I}$ 능선 회귀라고 합니다.

다변량 회귀 분석의 일반적인 경우 유사한 분석을 수행할 수 있으며, 이 분석의 일부는 공분산 행렬의 베이지안 추정을 제공합니다. 베이지안 다변량 선형 회귀를 참조하십시오.

「」를 참조해 주세요.

메모들

^ 잭맨(2009), 페이지 101 참조.
^ Gelman et al. (2013), 페이지 354를 참조한다.
^ 이 계산의 중간 단계는 선형 모델에 대한 장 첫머리의 O'Hagan(1994)에서 찾을 수 있다.
^ 중간 단계는 Fahrmeir 등입니다.(2009년) (188페이지.
^ 이 계산의 중간 단계는 257페이지의 O'Hagan(1994)에서 찾을 수 있다.
^ 칼린과 루이스(2008)와 겔만 등.(2003)는 베이지안 선형 회귀를 위한 샘플링 방법을 설명한다.

레퍼런스

Box, G. E. P.; Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis. Wiley. ISBN 0-471-57428-7.
Carlin, Bradley P.; Louis, Thomas A. (2008). Bayesian Methods for Data Analysis (Third ed.). Boca Raton, FL: Chapman and Hall/CRC. ISBN 1-58488-697-8.
Fahrmeir, L.; Kneib, T.; Lang, S. (2009). Regression. Modelle, Methoden und Anwendungen (Second ed.). Heidelberg: Springer. doi:10.1007/978-3-642-01837-4. ISBN 978-3-642-01836-7.
Gelman, Andrew; et al. (2013). "Introduction to regression models". Bayesian Data Analysis (Third ed.). Boca Raton, FL: Chapman and Hall/CRC. pp. 353–380. ISBN 978-1-4398-4095-5.
Jackman, Simon (2009). "Regression models". Bayesian Analysis for the Social Sciences. Wiley. pp. 99–124. ISBN 978-0-470-01154-6.
Rossi, Peter E.; Allenby, Greg M.; McCulloch, Robert (2006). Bayesian Statistics and Marketing. John Wiley & Sons. ISBN 0470863676.
O'Hagan, Anthony (1994). Bayesian Inference. Kendall's Advanced Theory of Statistics. Vol. 2B (First ed.). Halsted. ISBN 0-340-52922-9.

외부 링크

선형 모델의 베이지안 추정(R 프로그래밍 위키북).R에서 구현된 베이지안 선형 회귀.

[1] 잭맨(2009), 페이지 101 참조.

[2] Gelman et al. (2013), 페이지 354를 참조한다.

[3] 이 계산의 중간 단계는 선형 모델에 대한 장 첫머리의 O'Hagan(1994)에서 찾을 수 있다.

[4] 중간 단계는 Fahrmeir 등입니다.(2009년) (188페이지.

[5] 이 계산의 중간 단계는 257페이지의 O'Hagan(1994)에서 찾을 수 있다.

[6] 칼린과 루이스(2008)와 겔만 등.(2003)는 베이지안 선형 회귀를 위한 샘플링 방법을 설명한다.

[1]

[2]

[4]

[5]

[6]

Search

베이지안 선형 회귀

네임스페이스

더

목차

모델 셋업