복합 확률 분포

확률과 통계에서 복합 확률 분포(혼합 분포 또는 전염성 분포라고도 함)는 랜덤 변수가 일부 모수 분포에 따라 분포된다고 가정했을 때 발생하는 확률 분포로서, 해당 분포 자체의 모수는 (일부) 랜덤 분포가 된다.변수들모수가 척도 모수인 경우 결과 혼합물을 척도 혼합물이라고도 한다.

복합 분포("조건 없는 분포")는 모수 분포("조건 분포")의 모수를 나타내는 잠재 랜덤 변수에 대해 한계화(통합화)한 결과물이다.

정의

복합 확률 분포는 다른 분포에 따라 다시 분포하는 $\theta$ 알 수 없는 $\theta$ 변수 ${\displaystyle \theta$ }을 $F$ (를 $)$ 가진 모수화된 분포 $F$ $F$ 에 따라 랜덤 변수 $X$ $X$ 이(가) 분포한다고 $X$ 가정했을 때 발생하는 확률 분포다.ution $G$ ${\displaystyle G$ 결과 $분포$ H ${\$ $displaystyle$ $H$ $}$ 은 $H$ (는) $F$ $F$ 과 $F$ (와) G $G$ 을(를) 혼합 분포 $또는$ 잠복 분포라고도 한다 $G$ $G$ 기술적으로 무조건적인 $분포$ H{\ $displaystyle$ H}은 $H$ (는) G{\ $displaystyle G},$ 즉, 알 수 없는 매개변수 $\theta$ {\ $displaystyle \theta}$ 을(를) 통합하는 데서 비롯된다 $\theta$ 그 확률 밀도 함수는 다음과 같다.

p_{H}(x)={\displaystyle \int \limits p_{F}(x \theta )\,p_{G}(\teta )\operatorname {d} \!\teta }}}}}}}

변수의 일부 또는 전부가 벡터인 경우에도 동일한 공식이 유사하게 적용된다.

위의 공식에서 복합 분포는 본질적으로 한계 분포의 특별한 경우임을 알 수 있다.The joint distribution of $x$ and $\theta$ is given by $p(x,\theta )=p(x \theta )p(\theta )$ , and the compound results as its marginal distribution: ${\displaystyle {\textstyle p(x)=\int p(x,\theta )\ope$ $ratorname {d} \!\theta }}.$ $\theta$ $\theta$ 의 도메인이 별개라면 $\theta$ 그 분포는 다시 혼합물 분포의 특수한 경우다.

특성.

복합 분포 $H$ $H$ 은(는) 생성했던 $F$ 원래 분포 $F$ $F$ 과 $H$ (와) 여러 면에서 유사하지만, 일반적으로 분산이 크고 종종 두꺼운 꼬리도 있다. $H$ $H$ 의 지원은 $F$ ${\displaystyle F$ 의 지원과 같으며 $H$ , 모양도 대체로 비슷하다. $H$ $H$ 의 매개 변수에는 $G$ $G$ 또는 $G$ $F$ $F$ 의 매개 변수가 모두 포함되며 $H$ 이러한 $F$ 매개 변수는 제외되지 않는다.

복합 분포의 처음 두 순간은

\operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl[}\operatorname {E} _{F}[X \theta ]{\bigr ]}}}}}

그리고

\operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X \theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X \theta ]{\bigr )}

(총분산의 법칙).

적용들

테스트

공통 검정 통계량의 분포는 귀무 가설에서 복합 분포로 나타난다. 예를 들어, 학생의 t-검정(시험 통계량이 정규 및 카이-제곱 랜덤 변수의 비율로 나타나는 경우) 또는 F-검정(검정 통계량이 두 카이-제곱 랜덤 변수의 비율인 경우).

과대산포 모델링

복합 분포는 과대산포를 나타내는 결과, 즉 특정 모델에서 예상할 수 있는 것보다 더 많은 양의 변동성을 나타내는 결과를 모델링하는 데 유용하다.예를 들어, 카운트 데이터는 분산이 평균과 동일한 포아송 분포를 사용하여 일반적으로 모델링된다.감마 분포를 통해 구현되는 속도 모수의 변동성을 허용하여 분포가 일반화될 수 있으며, 이는 한계 음이항 분포를 초래한다.이 분포는 포아송 분포와 모양이 비슷하지만 분산이 더 클 수 있다.마찬가지로 이항 분포는 성공 확률 모수에 대한 베타 분포와 혼합하여 추가적인 변동을 허용하기 위해 일반화될 수 있으며, 이는 베타 이항 분포를 초래한다.

베이시안 추론

복합분포의 특별한 사례로 볼 수 있는 유비쿼터스 한계분포 외에도, 베이시안 추론에서 복합분포는 위의 표기법에서 F가 미래 관측치의 분포를 나타내고 G는 관측된 데이터 집합의 정보를 감안할 때 F 매개변수의 후방분포일 때 발생한다.이것은 후방 예측 분포를 제공한다.이에 상응하여 사전 예측 분포의 경우 F는 새로운 데이터 포인트의 분포인 반면 G는 모수의 사전 분포인 것이다.

콘볼루션

확률 분포의 수렴(임의 변수 합계의 확률 분포를 도출하기 위한)도 복합화의 특별한 사례로 볼 수 있다. 여기서 합계의 분포는 기본적으로 하나의 합계를 다른 합계에 대한 랜덤 위치 모수로 고려하는 것에서 비롯된다.^[1]

연산

지수 분포에서 도출된 복합 분포는 닫힌 형태를 갖는 경우가 많다.해석적 통합이 불가능할 경우 수치적 방법이 필요할 수 있다.

복합 분포는 몬테카를로(Monte Carlo) 방법을 사용하여, 즉 랜덤 표본을 생성하여 비교적 쉽게 조사할 수 있다.종종 $p(x|\theta )$ $p(\theta )$ ( $p(\theta )$ $p(x)$ $p(\theta )$ ) ${\displaystyle$ p $(\theta )}$ 와 $p(\theta )$ p $p(x|\theta )$ ( x $p(x|\theta )$ ) ${\displaystyle$ p $(x \theta )$ 에서 무작위 번호를 생성하여 $p(x|\theta )$ $p(x)$ ( x $p(x)$ ) ${\displaystyp p(x)}$ 에서 표본을 생성하기 위해 축소된 Gibbs 샘플링을 수행하는 데 사용하는 것이 쉽다 $p(x)$

또한 혼합물 분포는 한정된 수의 혼합물 성분을 사용한 혼합물 분포에 의해 충분한 정도로 추정될 수 있으며, 이를 통해 대략적인 밀도, 분포 함수 등을 도출할 수 있다.^[1]

복합 분포 모델 내의 모수 추정(최대 우도 또는 최대 a-postioi 추정)은 전자파 알고리즘을 활용하여 단순화할 수 있다.^[2]

예

가우스 척도 혼합물:^[3]
- 역 감마 분포에 따라 분산이 분포된 정규 분포를 혼합하면(또는 감마 분포로 정규 분포를 동등하게 분포) 비표준화된 학생의 t-분포를 산출한다.^[4]이 분포는 중심점이 같은 정규 분포와 대칭 모양은 같지만 분산이 크고 꼬리가 무겁다.
- 지수 분포에 따른 분산(또는 Rayleigh 분포에 따른 표준 편차)으로 가우스 분포를 합성하면 라플라스 분포를 얻을 수 있다.
- 속도 모수가 감마 분포에 따라 분포하는 지수 분포에 따라 분포된 분산을 가우스 분포로 혼합하면 정규-외부 감마 분포가 발생한다.(이것은 두 개의 복합 단계를 포함한다.그런 다음 분산 자체는 로맥스 분포를 따른다. 아래를 참조하십시오.)
- 가우스 분포를 (표준) 역 균일 분포에 따라 표준 편차로 혼합하면 슬래시 분포를 얻을 수 있다.
기타 가우스 혼합물:
- 가우스 분포를 다른 가우스 분포에 따라 평균 분포로 혼합하면 가우스 분포를 산출(again)한다.
- 이동된 지수 분포에 따라 평균 분포로 가우스 분포를 합성하면 기하급수적으로 수정된 가우스 분포를 얻을 수 있다.

정의된 기대값을 갖는 분포 $X$ $X$ $X$ 에 따라 $p$ 된 $p$ 성공 확률 p ${\displaystyle$ X $}$ 과(와) 혼합된 베르누이 분포는 성공 확률 $E[X]$ [ $E[X]$ $E[X]$ ${\displaystyle E[X]}.$ $X$ 로운 결과는 X의 분산이다 $E[X]$ $X$ 은(는) 결과 복합 분포의 산포에 영향을 주지 않는다 $X$ .
베타 분포에 따라 분포된 성공 확률로 이항 분포를 혼합하면 베타 이항 분포를 얻을 수 있다.이항 분포의 파라미터 $n$ ${\displaystyle n}($ 샘플 수)과 $\alpha$ 베타 분포의 $\beta$ $\alpha$ ${\displaystyle \alpha },$ $\beta$ $\beta$ 등 세 개의 파라미터를 가지고 있다.^[5]^[6]
다항 분포를 Dirichlet 분포에 따라 분포된 확률 벡터로 복합하면 Dirichlet-다항 분포를 얻을 수 있다.
감마 분포에 따라 분포된 비율 모수와 포아송 분포를 혼합하면 음의 이항 분포를 얻을 수 있다.^[7]^[8]
감마 분포에 따라 분포된 비율 모수와 지수 분포를 혼합하면 로맥스 분포가 생성된다.^[9]
다른 감마 분포에 따라 분포된 역 척도 모수를 사용하여 감마 분포를 혼합하면 3-모수 베타 프라임 분포를 얻을 수 있다.^[10]
Rayleigh 분포에 따라 분포된 척도 모수를 사용하여 반 정규 분포를 혼합하면 지수 분포를 얻을 수 있다.이는 정규 척도 혼합물로 인한 라플라스 분포에서 즉시 나타난다. 위 내용을 참조하십시오.조건부 분포와 혼합 분포의 역할도 여기서 교환할 수 있다. 따라서 레일리 분포와 반 정규 분포에 따라 분포된 척도 모수를 혼합하면 지수 분포도 산출된다.
척도 모수 θ이 다시 균일하게 분포된 감마(k=2,34) - 분포 랜덤 변수는 지수 분포를 산출한다.

유사 용어

복합 포아송 분포 또는 복합 포아송 분포의 정의에서 사용되는 "복합 분포"의 개념은 이 글에서 찾을 수 있는 정의와 다르다.이 글의 의미는 예에서 사용되는 것과 일치한다.베이지안 계층 구조 모델링.

참고 항목

참조

^ ^a ^b Röver, C.; Friede, T. (2017). "Discrete approximation of a mixture distribution via restricted divergence". Journal of Computational and Graphical Statistics. 26 (1): 217–222. arXiv:1602.04060. doi:10.1080/10618600.2016.1276840.
^ Gelman, A.; Carlin, J. B.; Stern, H.; Rubin, D. B. (1997). "9.5 Finding marginal posterior modes using EM and related algorithms". Bayesian Data Analysis (1st ed.). Boca Raton: Chapman & Hall / CRC. p. 276.
^ Gneiting, T. (1997). "Normal scale mixtures and dual probability densities". Journal of Statistical Computation and Simulation. 59 (4): 375–384. doi:10.1080/00949659708811867.
^ Mood, A. M.; Graybill, F. A.; Boes, D. C. (1974). Introduction to the theory of statistics (3rd ed.). New York: McGraw-Hill.
^ Johnson, N. L.; Kemp, A. W.; Kotz, S. (2005). "6.2.2". Univariate discrete distributions (3rd ed.). New York: Wiley. p. 253.
^ Gelman, A.; Carlin, J. B.; Stern, H.; Dunson, D. B.; Vehtari, A.; Rubin, D. B. (2014). Bayesian Data Analysis (3rd ed.). Boca Raton: Chapman & Hall / CRC.
^ Lawless, J.F. (1987). "Negative binomial and mixed Poisson regression". The Canadian Journal of Statistics. 15 (3): 209–225. doi:10.2307/3314912. JSTOR 3314912.
^ Teich, M. C.; Diament, P. (1989). "Multiply stochastic representations for K distributions and their Poisson transforms". Journal of the Optical Society of America A. 6 (1): 80–91. Bibcode:1989JOSAA...6...80T. CiteSeerX 10.1.1.64.596. doi:10.1364/JOSAA.6.000080.
^ Johnson, N. L.; Kotz, S.; Balakrishnan, N. (1994). "20 Pareto distributions". Continuous univariate distributions. Vol. 1 (2nd ed.). New York: Wiley. p. 573.
^ Dubey, S. D. (1970). "Compound gamma, beta and F distributions". Metrika. 16: 27–31. doi:10.1007/BF02613934.

추가 읽기

Lindsay, B. G. (1995), Mixture models: theory, geometry and applications, NSF-CBMS Regional Conference Series in Probability and Statistics, vol. 5, Hayward, CA, USA: Institute of Mathematical Statistics, pp. i–163, ISBN 978-0-940600-32-4, JSTOR 4153184
Seidel, W. (2010), "Mixture models", in Lovric, M. (ed.), International Encyclopedia of Statistical Science, Heidelberg: Springer, pp. 827–829, doi:10.1007/978-3-642-04898-2_368, ISBN 978-3-642-04898-2
Mood, A. M.; Graybill, F. A.; Boes, D. C. (1974), "III.4.3 Contagious distributions and truncated distributions", Introduction to the theory of statistics (3rd ed.), New York: McGraw-Hill, ISBN 978-0-07-042864-5
Johnson, N. L.; Kemp, A. W.; Kotz, S. (2005), "8 Mixture distributions", Univariate discrete distributions, New York: Wiley, ISBN 978-0-471-27246-5

[RoeverFriede2017-1] Röver, C.; Friede, T. (2017). "Discrete approximation of a mixture distribution via restricted divergence". Journal of Computational and Graphical Statistics. 26 (1): 217–222. arXiv:1602.04060. doi:10.1080/10618600.2016.1276840.

[2] Gelman, A.; Carlin, J. B.; Stern, H.; Rubin, D. B. (1997). "9.5 Finding marginal posterior modes using EM and related algorithms". Bayesian Data Analysis (1st ed.). Boca Raton: Chapman & Hall / CRC. p. 276.

[Gneiting1997-3] Gneiting, T. (1997). "Normal scale mixtures and dual probability densities". Journal of Statistical Computation and Simulation. 59 (4): 375–384. doi:10.1080/00949659708811867.

[4] Mood, A. M.; Graybill, F. A.; Boes, D. C. (1974). Introduction to the theory of statistics (3rd ed.). New York: McGraw-Hill.

[5] Johnson, N. L.; Kemp, A. W.; Kotz, S. (2005). "6.2.2". Univariate discrete distributions (3rd ed.). New York: Wiley. p. 253.

[6] Gelman, A.; Carlin, J. B.; Stern, H.; Dunson, D. B.; Vehtari, A.; Rubin, D. B. (2014). Bayesian Data Analysis (3rd ed.). Boca Raton: Chapman & Hall / CRC.

[7] Lawless, J.F. (1987). "Negative binomial and mixed Poisson regression". The Canadian Journal of Statistics. 15 (3): 209–225. doi:10.2307/3314912. JSTOR 3314912.

[8] Teich, M. C.; Diament, P. (1989). "Multiply stochastic representations for K distributions and their Poisson transforms". Journal of the Optical Society of America A. 6 (1): 80–91. Bibcode:1989JOSAA...6...80T. CiteSeerX 10.1.1.64.596. doi:10.1364/JOSAA.6.000080.

[9] Johnson, N. L.; Kotz, S.; Balakrishnan, N. (1994). "20 Pareto distributions". Continuous univariate distributions. Vol. 1 (2nd ed.). New York: Wiley. p. 573.

[10] Dubey, S. D. (1970). "Compound gamma, beta and F distributions". Metrika. 16: 27–31. doi:10.1007/BF02613934.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

Search