위시아트 분포

위시아트

표기법	X ~ Wp(V, n)
매개변수	p - 1 자유도(실제) 0 척도 행렬(p × ppos. def)
지지하다	X(pxp) 정의 행렬
PDF	$\displaystyle f_{\mathbf {X}(\mathbf {X})=displayfrac {\mathbf {x}^{(n-p-1)/2}e^{-\operatorname {tr}(\mathbf {V}^{-1}\mathbf {np})/2}{{{\gam}}{{}}{frac}{{{{{{{\fac}}{{\gam}}}{{}{{}}}}{{{{}}{fac}$ Δ는p 다변량 감마 함수입니다. tr은 추적 함수입니다.
의미하다	${\displaystyle \operator name {E} [X]=n{\mathbf {V}} 표시$
모드	(n - p - 1)n µp + 1의 경우 V
분산	$\operatorname {Var}(\mathbf {X}_{ij})=n\left(v_{ij}^{2}+v_{ii}v_{jj}\right)$
엔트로피	아래 참조
CF	$\Theta \mapsto \left \mathbf {I}-2i\,{\mathbf {\mathbf세타 }}{\mathbf {V}}\right ^{-{\frac {n}{2}}}$

통계학에서 Wishart 분포는 감마 분포의 다중 차원에 대한 일반화입니다.그것은 ^[1]1928년에 처음으로 분포를 공식화한 존 위샤르트의 이름을 따서 명명되었습니다.다른 이름으로는 위샤르트 앙상블(랜덤 행렬 이론에서 행렬에 대한 확률 분포를 일반적으로 "앙상블"이라고 함), 위샤르트-라게르 앙상블(고유값 분포가 라게르 다항식을 포함하기 때문에), 또는 LOE, LUE, LSE(GOE, GUE,^[2] GSE와 유사함)가 있습니다.

대칭적인 양의 정의 랜덤 행렬(즉, 행렬 값 랜덤 변수)에 대해 정의된 확률 분포의 집합입니다.이러한 분포는 다변량 통계량의 공분산 행렬을 추정하는 데 매우 중요합니다.베이지안 통계에서 Wishart 분포는 다변량 정규 랜덤 ^[3]벡터의 역 공분산 행렬 이전의 공역입니다.

정의.

G가 p × n 행렬이며, 각 열은 평균이 0인 p-변수 정규 분포로부터 독립적으로 그려졌다고 가정합니다.

${\displaystyle G_{i}=(g_{i}^{1},\dots,g_{i}^{p}}^{T}\sim{{mathcal{N}}_{p}(0,V)}$

그렇다면 Wishart 분포는 p × p 랜덤 행렬의 확률 분포입니다.

${\displaystyle S=GG^{T}=\sum _{i=1}^{n}G_{i}^{T}}$

산란 행렬로 알려져 있습니다.하나는 S가 쓰기에 의한 확률 분포를 가지고 있다는 것을 나타냅니다.

$S\sim W_{p}(V,n).$

양의 정수 n은 자유도입니다.때때로 이것은 W(V, p, n)로 쓰여집니다.n µp의 경우 V가 가역적이면 행렬 S가 확률 1로 가역적입니다.

p = V = 1이면 이 분포는 n개의 자유도를 갖는 카이-기울 분포입니다.

발생

Wishart 분포는 다변량 정규 분포의 표본에 대한 표본 공분산 행렬의 분포로 나타납니다.다변량 통계 분석의 우도 비율 검정에서 자주 발생합니다.무작위 행렬의 스펙트럼^{[citation needed]} 이론과 다차원 베이지안 분석에서도 발생합니다.^[5]레일리 페이딩 MIMO 무선 ^[6]채널의 성능을 분석하는 동안 무선 통신에서도 발생합니다.

확률밀도함수

Wishart 분포는 다음과 같은 확률 밀도 함수로 특징지을 수 있습니다.

X가 양의 반정형인 랜덤 변수의 p x p 대칭 행렬이라고 합니다.V를 p × p 크기의 (고정된) 대칭 양의 확정 행렬이라고 합니다.

그렇다면, n µp인 경우, X는 확률 밀도 함수를 갖는 n개의 자유도를 갖는 Wishart 분포를 갖습니다.

$\displaystyle f_{\mathbf {X}(\mathbf {X})=displayfrac {1}{2^{np/2}\left{{\mathbf{V}\right^{n/2}\Gamma_{p}\left\frac{n}}}{\mathbfrac {{2}}}}{\mathbfrac{{{1}{{\f}}{\mathbf}{{\f}}{\f}}}{{\f}{\f}{$

$여기서\mathbf{}$X \$left \mathbf {X}\right$는$$X \$mathbf {X}$의 $결정\mathbf{}$ 인자이고 Δ는_p 다음과 같이 정의된 다변량 감마 함수입니다.

${\displaystyle \Gamma _{p}\leftp\frac {n}{2}}\right)=\pi^{p(p-1)/4}\gamma \leftp\frac {n}{2}-{\frac {j-1}{2}\right}}.$

위의 밀도는 임의의 행렬 X의 모든 p2 p^{2} 요소의 결합 밀도가 아니다(예: p2 p^{2}-차원 밀도는 대칭 제약 때문에 존재하지 않는다 Xij = Xj ({style X_{ij}=X_{ji})), 그것은 오히려 i≤ j[, 페이지 38]에 대한 p (p + 1 ) / 2p (p + 1/2 Xij {j}의 결합 밀도이다.또한 위의 밀도 공식은 양의 $한정$된 행렬 x${\displaystyle }$;${\displaystyle \mathbf${$x}}$에만 적용됩니다.

스펙트럼 밀도

임의 $행렬{\displaystyle \mathbf{}}$X ~ ${\displaystyle {Wp}_{}}$(${\displaystyle I,}$n ) $\\displaystyle \mathbf$ {$X}$ \$sim$ W_${p}$ \$sim$ W_${p}(\$${\displaystyle {mathbf}_{}}$ {I$}, n)$의 고유값에 대한 합동 고유값 ${\displaystyle \mathrm{밀도}}$는$,$^[8][9]

${\displaystyle c_{n,p}e^{-{\frac {1}{2}}\sum _{i}\displaystyle \displays _{i}\displaystyle _{i}\displaystyle _{i}\displaystyle _{i}\displaystyle _{i}\displaysty}\display_{i}\displaysty}^{i}\displaysty}\displaysum_{i}\display_{i$

$여기$서 ${\displaystyle {cn,}_{}}$ ${$는 상수입니다.

실제로 위의 정의는 n > p - 1로 확장될 수 있습니다. n ≤ p - 1이면 Wishart는 더 이상 밀도를 갖지 않습니다. 대신 p × p ^[10]행렬의 공간의 저차원 부분 공간에서 값을 취하는 단일 분포를 나타냅니다.

베이지안 통계량에 사용

베이지안 통계에서 다변량 정규 분포의 맥락에서 Wishart 분포는 정밀 행렬 Δ = Δ⁻¹ 이전의 공변량입니다. 여기서 Δ는 공분산 ^{[11]: 135} 행렬입니다.

매개변수 선택

n = ^{[citation needed]}p를 설정하면 가장 정보가 적은 적절한 Wishart 사전을 얻을 수 있습니다.

W(V, n)의_p 이전 평균은 nV이며, 이는 V에 대한 합리적인 선택이 ⁻¹₀⁻¹Nσ일₀ 것임을 암시합니다. 여기서 Δ는 공분산 행렬에 대한 사전 추측입니다.

특성.

로그 기대

다음 공식은 Wishart ^{[11]: 693} 분포를 포함하는 베이즈 네트워크에 대한 다양한 베이즈 파생에서 역할을 합니다.

$\"표시 스타일 \operatorname {E} [\,\displaystyle \left \mathbf {X} \right \,]=\psi _{p}\left\frac {n}{2}}+p\,\displaystyle(2)+\mathbf {V} }$

여기서 ${\gamma }_{}$p \$psi_{p}$는 다변량 디감마 함수(다변량 감마 함수의 로그 도함수)입니다.

로그 분산

다음 분산 계산은 베이지안 통계에 도움이 될 수 있습니다.

${\displaystyle \operatorname {Var} \left[\,\displaystyle \left \mathbf {X} \right \,\right]=\sum _{i=1}^{p}\psi_{1}\leftp\frac {n+1-i}{2}\right)}$

여기서 ${\psi \mathrm{}}_{}$ 1${}_{}$\$psi_{1}$은 삼각 함수입니다.이것은 Wishart 랜덤 변수의 Fisher 정보를 계산할 때 발생합니다.

엔트로피

분포의 정보 엔트로피는 다음 공식을 갖습니다.^{[11]: 693}

$\displaystyle \operatorname {H} \left[\,\mathbf {X} \,\right]=-\frac \left(B(\mathbf {V},n)\right)-{\frac {n-p-1}{2}\left[\,\frac \mathbfraft \mathbf{X} \right}+{np{2}}\frac {np}}$

여기서 B(V, n)는 분포의 정규화 상수입니다.

$\"표시 스타일 B(\mathbf {V},n)=displayfrac{1}{\left \mathbf {V} \right ^{n/2}2^{np/2}\Gamma_{p}\leftp\frac{n}{2}}\right}}}}}.$

다음과 같이 확장할 수 있습니다.

$\display{style{aligned}\operatorname{H} \left[\,\mathbf{X} \,\right]&=sysfrac{n}{2}}\timefrac{V} \right+\gamma_{p}\frac{np}\frac{{2}\right)-{\frac{n-1}\mathbfrac{{{\right} \mathbf}\right} \opername\math} \mathbf}\bf}\right} \\right]+{\frac {np}{2}\\[8pt]&=nfrac {n}{2}}\colon \left \mathbf {V} \right +{\frac {np}{2}\colon 2+\colon \Gamma_{p}\frac {2}\right)-{\frac {nfrac}\right}\right}\frac {\right}\right}\frac {\right}\right}\right}\bfac} \bfma _{p}\왼쪽(\frac{n}{2}}\right)-{\frac{n-p-1}{2}}\psi_{p}\left\frac{n-p-1}{2}}-{\frac{n-p-1}{2}}\left(p\frac2+\frac\mathbfrac{V}\right)-{\frac{{{n\frac{2}\frac{\frac{\frac}\frac{\frac{\frac}\frac{\frac}\frac{p} {n}{2}}\right)+{\frac{np}{2}}\end{aligned}}$

교차 엔트로피

$매개{}_{}$ 변수 ${n0\mathrm{}}_{}$ ${V0\mathrm{}}_{}$ $n_$ 및$$ $매개{}_{}$ $변수{}_{}$ ${n1\mathrm{}}_{}$ ${V1\mathrm{}}_{}$ $n_$인 ${p1\mathrm{}}_{}$ $p_{1}$인 두 Wishart $분포{}_{}$ ${p0\mathrm{}}_{}$ $p_{0}$의 교차 엔트로피는 다음과 같습니다.

$스타일 표시({{aligned})H(p_{0},p_{1})&=\operatorname{E}_{p_{0}}[\,-\log p_{1}\,]\[8pt]&=\operatorname{E}_{p_{0}}\left[\,-log \fracleft \mathbf{X} \right^{(n_{1}-p_1}-1}-1}){t}{{\operatorname}{t}{t}{t}{t}{{{{{\}}}}{{\[8pt]&=nbtfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}\log \mathbf {V}_{1}\right +\log \Gamma_{1}}({\tfrac {n_1}-p_{1}}})-{\tfrac {left}\math}\log \mathbf}{{{{{\}\log \math}{{\}\}\log \\}\log \\log \\,\right)\,\right]\\[8pt]&=nbtfrac {n_{1}p_{1}}{2}}\log 2+{\tfrac {n_{1}}\log \left \mathbf {V}_{1}\right +\log \Gamma _{1}}}({\tfrac {n1}-p_{1}}}}}{{{\tfrac {0_{p_{np_{np_{p_{p_{p}}}}}}}}}}}}}{p_{p_{,\오른쪽)\\[8pt]&=-{\tfrac {n_{1}}{2}}\log \left \,\mathbf {V}_{1}^{-1}\mathbf {V}_{0}\log \left \mathbf {V}_{0}\right +{\tfrac {n_0}}{2}\opername\tright\tfrac{t}\t}\mathbfornameta{t{t}\t{t}\t}\t}\t{t{t}\t\mathbf {V}_{1}^{-1}\mathbf {V}_{0}\right)+\log \Gamma_{p_{1}}\right({\tfrac {n_{1}}}-{2})-{\tfrac {n_{1}-1}-{2}}\psi_{{n_{1}}{p_{tfrac}{1}{frac}{{p_{1}{p_{p_{1}{1}{1}{p_{tac}{p}}\log 2\end{aligned}}}$

${p\mathrm{}}_{}$ 0${}_{}$${\displaystyle {}_{}}$ ${p\mathrm{}}_{}$ 1 $p_$}=$p_{1}$ 및$$ ${\displaystyle {n\mathrm{}}_{}}$ 0 = ${\displaystyle {}_{}}$ {{$displaystyle n_{0$}=$n_{1}}$일 때 엔트로피를 복구합니다.

KL 발산

${p0\mathrm{}}_{}$ $p_{0}$에서 ${p1\mathrm{}}_{}$ $p_{1}$의 쿨백-라이블러 발산은

$표시({stylebegin{aligned}D_{KL}(p_{0}\p_{1})&=H(p_{0},p_{1})-H(p_{0})-H(p_{0})\[6pt]&=-{\frac{n_{1}}}{2}\log \mathbfrak{1}{1}{{{n}{1}{1}{t}{{\mathbfrac}{{{{{\}}{{{\}}{{{\}{}}+{\tfrac {n_{0}-{1}}{2}}\psi_{p}\left\frac {n_{0}}{2}}\right)\end{aligned}}}$

특성함수

Wishart 분포의 특징적인 기능은 다음과 같습니다.

$표시 스타일 \Theta \mapsto \operatorname {E} \left[\,\exp \left(\,i\operatorname {tr} \left(\,\mathbf {X} \mathbf세타 }\,\right)\,\right)\,\right]=\left \,1-2i\,{\mathbf세타 }}\,{\mathbf {V}}\,\right ^{-n/2}}$

여기서 E[⋅]는 기대를 나타냅니다.(여기서 Δ는 V와 같은 차원의 행렬이고, 1은 항등식 행렬, i는 ^[9]-1의 제곱근입니다.)이 공식을 올바르게 해석하려면 정수가 아닌 복잡한 검정력이 다중값이므로 약간의 주의가 필요합니다. n이 정수가 아닌 경우에는 분석 ^[12]연속성을 통해 올바른 분기를 결정해야 합니다.

정리

만약 p × p 랜덤 행렬 X가 m 자유도와 분산 행렬 V인 Wishart 분포를 가지고 있다면 - $X\mathbf{}$~ ${Wp}_{}$($V,m$) \$mathbf {X}$ \$sim${{\$mathcal {W}}_{p}({\mathbf {V}$}, $m)$ - 그리고 C는 q의 q × p 행렬입니다.

$\mathbf {C} \mathbf {X} \mathbf {C}^{T}\sim {{mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {C} }^{T},m\right).$

결과적으로 1

z가 0이 아닌 p x 1 상수 벡터이면 ^[13]다음과 같습니다.

${\displaystyle \sigma _{z}^{-2}\,{\mathbf {z}^{T}\mathbf {X}\sim \chi _{m}^{2}}.$

이 경우, ${\gamma }_{}^{}$ ${}_{}^{}$\$chi$ _${m}^{2}$는 카이-벡터 분포이고 ${\mathrm{}}_{}^{}$ z $=$ $z^{}$ $TV\mathbf{}$z \$colon_{z}^{z}$ = $γmathbf {$z$}$ ^{$T$$}{\mathbf {V}$}{\$mathbf${$z}$$$}($$v2$}$는 일정합니다. V가 확실하기 때문에 양수입니다.

필연적으로 2

z^T = (0, ..., 0, 1, 0, 0, ..., 0) (즉, j번째 요소는 1이고 나머지 요소는 모두 0입니다.그러면 위의 1은 다음을 보여줍니다.

${\displaystyle \displaystyle _{jj}^{-1}\,w_{jj}\sim \chi _{m}^{2}}$

행렬의 대각선에 있는 각 요소의 주변 분포를 제공합니다.

George Seber는 Wishart 분포가 "다변수 카이-제곱 분포"라고 하지 않는다고 지적합니다. 왜냐하면 오프-대각 요소의 한계 분포는 카이-제곱 분포가 아니기 때문입니다.Seber는 모든 일변량 한계가 ^[14]동일한 군에 속하는 경우에 대해 다변량 항을 예약하는 것을 선호합니다.

다변량 정규 분포 추정기

Wishart 분포는 다변량 정규 ^[15]분포의 공분산 행렬에 대한 최대우도 추정기(MLE)의 표본 분포입니다.MLE의 파생은 스펙트럼 정리를 사용합니다.

바틀렛 분해

척도 행렬 V와 n개의 자유도를 갖는 p-변수 Wishart 분포로부터 행렬 X의 바틀렛 분해는 인수 분해입니다.

$\mathbf {X} = textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T},$

여기서 L은 V의 콜레스키 계수이며, 다음과 같습니다.

$\mathbf {A} = begin{\{pmatrix}c_{1}&0&\cdots &0\n_{21}&0&\cdots &0\n_{32}&c_{3}&0\vdots &\vdots &\vdots &\n_{p1}{p_{cdots}\n\cdots {cdots}{p}$

$여기$서 ${}_{}^{}$2 ~ ${\chi }_{}^{}$n -$i_{}^{}$ + ${\mathrm{}}_{}^{}$ $c_$ _${n-i+1}^{2$$}$ 및_ij n ~ N(0,1)은 독립적으로.^[16]이것은 Wishart ^[17]분포에서 랜덤 표본을 얻는 데 유용한 방법을 제공합니다.

행렬 요소의 한계 분포

V가 상관 계수 -1 < ρ < 1과 L의 하위 콜레스키 인자로 특징지어지는 2 × 2 분산 행렬이라고 가정합니다.

$\mathbf {V} = 【{1}^{2}&\rho \continue _{1}\rho \continue _{2}\rho \continue _{2}^{2}\end{pmatrix},\qqqqad \mathbf {L} = 【{pmatrix}\rho}{rho}{rho}{rt}{rt}{rt}.$

위의 바틀렛 분해를 곱하면, 우리는 2 × 2 Wishart 분포의 무작위 표본이 다음과 같다는 것을 발견합니다.

$\mathbf {X} =접미사 {pmatrix}\transmit_{1}^{2}c_{1}c_{1}\transmit_{2}\left(\rho_{1}^{2}+{\sqrt {1-\rho^{2}}}c_{1}n{21}\right)\\sql _{1}\colon _{2}\left(\rho_1}^{2}}+{\sqrt {1-\rho ^{2}}c_{1}n_{21}\right)&\rho ^{2}\right(1-\rho ^{2}\right)c(\right(\right)\right(1)\right(\right(\right(1)\right(1)\right(1)\right(1)\right($

첫 번째 요소에서 대각선 요소는 예상대로 n개의 자유도(θ로² 축척)를 갖는 θ² 분포를 따릅니다.엇각형 원소는 덜 친숙하지만 혼합 밀도가 π² 분포인 정규 분산 평균 혼합물로 식별할 수 있습니다.따라서 엇각형 요소에 대한 해당 주변 확률 밀도는 분산-감마 분포입니다.

$f(x_{12})=sqfrac{{\frac{n-1}{2}}{\Gamma \left\frac{n}{2}}{\right}{\sqrt{2^{n-1}\pi \left(1-\rho ^{2}\right)\left(\cd_{1}\right}){{nac}}{{nfrac{n1}}}\right}\cdot{frac{nfrac{n1}\frac{{{nac}}{n\rho ^{2}}}\right)}$

여기서_ν K(z)는 두 번째 ^[18]종류의 수정된 베셀 함수입니다.더 높은 차원에서도 유사한 결과를 찾을 수 있지만, 엇각형 상관 관계의 상호 의존성은 점점 더 복잡해집니다.확률 밀도가 베셀 함수의 무한 합이 되더라도 비중심적인 경우(본질적으로 크레이그(^[19]1936) 방정식 10의 n번째 거듭제곱)에서도 모멘트 생성 함수를 기록하는 것이 가능합니다.

형상 모수의 범위

형상 모수 n이 집합에 속할 경우에만 Wishart 분포를 정의할 수 있음을 알 수 있습니다.

${\displaystyle \Lambda _{p} 표시:=\{0,\ldots,p-1\}\cup \left(p-1,\infty \right)}$

이 집합은 1970년대 균질 원뿔의 감마 분포의 맥락에서 도입된^[21] 긴디킨의 이름을 따서 명명되었습니다.그러나, 긴디킨 앙상블의 이산 스펙트럼에 있는 새로운 매개변수의 경우, 즉,

${\displaystyle \Lambda _{p}^{*}:=\{0,\ldots,p-1\},}$

해당 Wishart 분포에 Lebegue 밀도가 없습니다.

다른 분포와의 관계

• Wishart 분포는 ${다음}_{}^{}$과 같이$Wp$- 1 W_{$p}^{-1$로 표시되는 역 Wishart 분포와 관련이 있습니다.X ~ W_p(V, n)이고 변수 C = X의⁻¹ 변화를 수행하면 $C\mathbf{}$~ $W_{}^{}$p -${}_{}^{}{1}_{}^{}$ (${}^{}$- $1^{}n$) \$mathbf {C}$ \$sim$ W_${p}^{-1}(\mathbf {V}^{-1}, n$이 관계는 변수의 변화에 대한 야코비안 행렬식의 절대값이 C라는 점에 주목하여 도출될 수 있습니다.^[22] 예를 들어 식 (15.15)을 참조하십시오.
• 베이지안 통계에서 Wishart 분포는 ^[11]평균 모수가 알려진 경우 다변량 정규 분포의 정밀 모수에 대한 사전 공역입니다.
• 일반화는 다변량 감마 분포입니다.
• 일반화의 다른 유형은 정규-위샤트 분포이며, 기본적으로 위샤트 분포를 갖는 다변량 정규 분포의 곱입니다.

참고 항목

레퍼런스

외부 링크

• 랜덤 행렬 생성기를 위한 C++ 라이브러리