베이즈 계수

베이즈 인수는 한계우도로 표현되는 두 경쟁 통계 모델의 비율이며, 한 모델에 대한 지지를 다른 모델에 ^[1]비해 정량화하는 데 사용된다.문제의 모델은 귀무 가설 및 대안과 같은 공통 매개변수 집합을 가질 수 있지만, 이는 필요하지 않습니다. 예를 들어 선형 근사와 비교한 비선형 모델일 수도 있습니다.베이즈 인수는 우도비 검정과 유사한 베이지안 인수로 생각할 수 있지만, 최대 우도 대신 (적립된) 한계 우도를 사용하기 때문에 두 검정은 단순한 가설(예: 두 개의 특정 매개변수 값)^[2]에서만 일치한다.또한 귀무 가설 유의성 검정과 대조적으로, Bayes 인자는 귀무 가설이 기각되거나 ^[3]기각되지 않도록 하는 대신 귀무 가설에 유리한 증거의 평가를 지원합니다.

개념적으로는 간단하지만 모델 및 ^[4]가설의 복잡성에 따라 베이즈 인수의 계산이 어려울 수 있습니다.한계우도의 폐쇄형 표현은 일반적으로 사용할 수 없기 때문에 MCMC 표본에 기초한 수치 근사치가 ^[5]제안되었다.특정 특수한 경우, 단순화된 대수식을 도출할 수 있다. 예를 들어, 제한되지 않은 ^[6]대안에 대한 정확한 (균등성 제약) 가설의 경우 새비지-디키 밀도 비율이다.통합 우도에 라플라스 방법을 적용하여 도출된 또 다른 근사치는 베이지안 정보 기준(BIC)^[7]으로 알려져 있다. 대규모 데이터 집합에서 Bayes 인수는 이전 항목의 영향이 줄어들면서 BIC에 접근한다.소규모 데이터 집합에서는 일반적으로 우선 순위가 중요하며 비율의 두 적분 중 하나가 유한하지 않으면 베이즈 계수가 정의되지 않기 때문에 적절하지 않을 수 있습니다.

정의.

베이즈 인수는 두 가지 한계 우도의 비율이다. 즉,^[8] 파라미터의 이전 확률에 걸쳐 통합된 두 통계 모델의 우도이다.

주어진 데이터 D의 모델 M의 후방 $\Pr(M|D)$ Pr ( $\Pr(M|D)$ ) \ $displaystyle \ Pr$ ( M D $)$ 는 $\Pr(M|D)$ 베이즈 정리에 의해 주어진다.

(\displaystyle \Pr(MD)=parc {Pr(DM)\Pr(M)}{\Pr(D)})}

핵심 데이터 의존 $\Pr(D|M)$ Pr $\Pr(D|M)$ $\Pr(D|M)$ ) \ $displaystyle \ Pr$ ( D $M$ )는 $\Pr(D|M)$ 모델 M의 가정 하에 일부 데이터가 생성될 확률을 나타내며, 이를 올바르게 평가하는 것이 베이지안 모델 비교의 핵심이다.

관찰된 데이터 D에 기초하여 두 모델 중 하나를 선택하고자 하는 모델 선택 문제를 고려할 때 모델 매개 변수 $\theta _{1}$ ${\$ 1 $(\displaystyle \theta _$ ${$ 1 $\theta _{1}$ }) 및 $\theta _{2}$ {\ $2(\displaystyle$ \ $theta _{$ 2 $\theta _{2}$ 에 의해 파라미터화된 두 가지 다른 모델₁ M과₂ M의 신뢰성은 다음과 같은 Bayes 계수 K에 의해 평가된다.

K=parfrac {Pr(D M_{1})}{\Pr(D M_{2}}}=parfrac {int\Pr(\theta _{1}M_{1})\Pr(D \theta _{1}, M_{1}, d\ta _{1}, d\Pr(D_Pr(D M_Pr)\Pr(D_Pr(D)\Pr)\Pr(D_Pr)\Pr)})}}.

두 모델이 동일한 사전 확률을 가지므로 $\Pr(M_{1})=\Pr(M_{2})$ ( M $\Pr(M_{1})=\Pr(M_{2})$ ) $\Pr(M_{1})=\Pr(M_{2})$ ( $\Pr(M_{1})=\Pr(M_{2})$ 2) $\Pr(M_{1})=\Pr(M_{2})$ { $displaystyle \Pr (M_{1$ }) = \ $Pr (M_{2$ $\Pr(M_{1})=\Pr(M_{2})$ 는 M과₂ M의 후방₁ 확률의 비율과 같다.Bayes 요인 적분 대신 각 통계 모형에 대한 모수의 최대우도 추정치에 해당하는 우도가 사용되는 경우 검정은 전형적인 우도비 검정이 됩니다.우도비 검정과 달리, 이 베이지안 모델 비교는 각 모델의 모든 매개변수에 통합되므로 단일 매개변수 집합에 의존하지 않는다.그러나 Bayes 팩터를 사용하면 모델 ^[9]구조를 너무 많이 포함하면 자동으로 패널티가 발생한다는 장점이 있습니다.따라서 과적합이 방지됩니다.우도의 명시적 버전을 사용할 수 없거나 수치적으로 평가하기에는 비용이 너무 많이 드는 모델의 경우, 베이즈 ^[10]인자의 근사 베이지안 추정치가 종종 ^[11]편향된다는 경고와 함께 베이지안 프레임워크의 모델 선택에 대략적인 베이지안 연산을 사용할 수 있다.

기타 접근법은 다음과 같습니다.

모델 비교를 의사결정 문제로 취급하여 각 모델 선택의 기대치 또는 비용 계산
최소 메시지 길이(MML)를 사용합니다.
minimum description length(MDL; 최소 기술 길이)를 사용합니다.

해석

K > 1의 값은 M보다 M이₂ 고려 대상 데이터에 의해 더 강하게 지원되고 있음을 의미합니다₁.고전적 가설 검정에서는 하나의 가설(또는 모형) 선호 상태('귀무 가설')를 제공하고 이에 대한 증거만 고려합니다.Harold Jeffreys는 K:^[12]에 대한 해석 척도를 제시하였다.

K	dHart	비트	증거의 강도
10⁰ 미만	0 미만	0 미만	네거티브(M₂ 지원)
10⁰ ~ 10^1/2	0 ~ 5	0 ~ 1.6	언급할 가치가 거의 없다
10^1/2 ~ 10¹	5~10	1.6~3.3	실속 있는
10¹ ~ 10^3/2	10 ~ 15	3.3 ~ 5.0	강한.
10^3/2 ~ 10²	15 ~ 20	5.0 ~ 6.6	매우 강하다
10² 이상	20 이상	6.6 이상	결정적인

두 번째 열은 해당하는 증거 가중치를 데시하트리(데시반이라고도 함)로 나타냅니다. 비트는 명확성을 위해 세 번째 열에 추가됩니다.I. J. Good에 따르면, 1 데시반 또는 1/3 비트의 증거 무게 변화(즉, 승산비의 변화)는 인간이 일상생활에서 가설에 대한 믿음을 ^[13]합리적으로 인식할 수 있는 정도만큼 미세하다.

Kass and Raftery(1995년)^[9]에 의해 널리 인용된 대체 표가 제공된다.

로그₁₀ K	K	증거의 강도
0 ~ 1/2	1 ~ 3.2	한마디의 언급보다 가치가 없다
1/2 ~ 1	3.2 ~ 10	실속 있는
1 ~ 2	10 ~ 100	강한.
> 2	100 이상	결정적인

예

성공 또는 실패를 생성하는 랜덤 변수가 있다고 가정합니다.성공 확률이 =인 모델₁ M을 비교하려고 합니다.1⁄2, 그리고 q가 불분명하고 [0,1]에서 균일한 q에 대한 사전 분포를 취하는 또 다른 모델₂ M.200개의 표본을 추출하여 115개의 성공과 85개의 실패를 발견했습니다.우도는 이항 분포에 따라 계산할 수 있습니다.

{{displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}

이렇게 해서 M이 있습니다₁.

P(X=115\mid M_{1})={200 \choose 115\left 11 \over 2 } \ right^{200}\약 0.006

반면 M에는₂

({displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^85}dq={1 \over 201}\약 0.005}

그 비율은 1.2로, 매우 약간 M을₁ 가리켜도 "거의 언급할 가치가 없다".

M에 대한₁ 빈도론 가설 검정(여기서는 귀무 가설로 간주됨)은 매우 다른 결과를 생성했을 것입니다.이러한 검정에서는 q = 1⁄2일 때 표본 200에서 115개 이상의 성공을 얻을 확률은 0.02이고 115개 이상의 극단값을 얻을 수 있는 양 꼬리 검정은 0.04이므로 M은 5% 유의 수준에서 기각되어야 한다고 말합니다₁.115는 100에서 표준 편차가 두 개 이상 떨어진다는 점에 유의하십시오.따라서 빈도론 가설 검정은 유의 수준인 5%에서 유의한 결과를 나타내지만 Bayes 인자는 이를 극단적인 결과로 간주하지 않습니다.그러나 비균일 사전(예: 성공과 실패의 수가 같은 크기 순서일 것으로 예상하는 사실을 반영하는 요인)은 빈도론 가설 검정과 더 일치하는 Bayes 요인이 될 수 있습니다.

전통적인 우도-추정 검정을 통해 q에 대한 최대우도 추정치, 즉 ₂₀₀θ = 0.575,

\displaystyle P(X=115\mid M_{2})=420200 \choose 115 q ^{115} (1-q)^{85} \약 0.06

(가능한 모든 q에 대해 평균을 내는 것이 아니라)그러면 우도비가 0.1이고 M에 대한₂ 점이 나옵니다.

M은₂ 데이터를 보다 가깝게 모형화할 수 있는 자유 모수가 있기 때문에 M보다₁ 더 복잡한 모형입니다.베이즈 요인이 이를 고려하는 능력은 베이지안 추론이 Occam의 면도칼에 대한 이론적 정당성과 일반화로 제시되어 유형 I ^[14]오류를 줄이는 이유이다.

반면, 현대의 상대우도 방법은 기존의 우도비와는 달리 모형의 자유 모수의 수를 고려합니다.상대우도법은 다음과 같이 적용할 수 있다.모델₁ M은 파라미터가 0이므로 AIC 값은 2·0 - 2·ln(0.005956) = 10.2467입니다.모델₂ M은 파라미터가 1개이므로 AIC 값은 2·1 - 2·ln(0.056991) = 7.7297입니다.따라서₁ M은 정보 손실을 최소화하기 위해 M의₂ 약 0.284배인 exp((7.7297 - 10.2467)/2) = 확률이다.따라서₂ M이 약간 선호되지만₁ M은 제외될 수 없습니다.

「」를 참조해 주세요.

통계 비율

레퍼런스

^ Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). "The philosophy of Bayes factors and the quantification of statistical evidence". Journal of Mathematical Psychology. 72: 6–18. doi:10.1016/j.jmp.2015.11.001.
^ Lesaffre, Emmanuel; Lawson, Andrew B. (2012). "Bayesian hypothesis testing". Bayesian Biostatistics. Somerset: John Wiley & Sons. pp. 72–78. doi:10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.
^ Ly, Alexander; et al. (2020). "The Bayesian Methodology of Sir Harold Jeffreys as a Practical Alternative to the P Value Hypothesis Test". Computational Brain & Behavior. 3: 153–161. doi:10.1007/s42113-019-00070-x.
^ Llorente, Fernando; et al. (2022). "Marginal likelihood computation for model selection and hypothesis testing: an extensive review". SIAM Review. to appear. arXiv:2005.08334.
^ Congdon, Peter (2014). "Estimating model probabilities or marginal likelihoods in practice". Applied Bayesian Modelling (2nd ed.). Wiley. pp. 38–40. ISBN 978-1-119-95151-3.
^ Koop, Gary (2003). "Model Comparison: The Savage–Dickey Density Ratio". Bayesian Econometrics. Somerset: John Wiley & Sons. pp. 69–71. ISBN 0-470-84567-8.
^ Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). "Bayesian Information Criterion". Bayesian Survival Analysis. New York: Springer. pp. 246–254. doi:10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.
^ Gill, Jeff (2002). "Bayesian Hypothesis Testing and the Bayes Factor". Bayesian Methods : A Social and Behavioral Sciences Approach. Chapman & Hall. pp. 199–237. ISBN 1-58488-288-3.
^ ^a ^b Robert E. Kass & Adrian E. Raftery (1995). "Bayes Factors" (PDF). Journal of the American Statistical Association. 90 (430): 791. doi:10.2307/2291091. JSTOR 2291091.
^ Toni, T.; Stumpf, M.P.H. (2009). "Simulation-based model selection for dynamical systems in systems and population biology". Bioinformatics. 26 (1): 104–10. arXiv:0911.1705. doi:10.1093/bioinformatics/btp619. PMC 2796821. PMID 19880371.
^ Robert, C.P.; J. Cornuet; J. Marin & N.S. Pillai (2011). "Lack of confidence in approximate Bayesian computation model choice". Proceedings of the National Academy of Sciences. 108 (37): 15112–15117. Bibcode:2011PNAS..10815112R. doi:10.1073/pnas.1102900108. PMC 3174657. PMID 21876135.
^ Jeffreys, Harold (1998) [1961]. The Theory of Probability (3rd ed.). Oxford, England. p. 432. ISBN 9780191589676.
^ Good, I.J. (1979). "Studies in the History of Probability and Statistics. XXXVII A. M. Turing's statistical work in World War II". Biometrika. 66 (2): 393–396. doi:10.1093/biomet/66.2.393. MR 0548210.
^ 베이지안 스트롭에 오캄의 면도칼 갈기

추가 정보

Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4.
Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9.
Dienes, Z. (2019).내 이론이 무엇을 예측하는지 어떻게 알 수 있습니까?심리과학 doi의 방법과 실천의 진보: 10.1177/2515245919876960
Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Section 9.6.5". Pattern classification (2nd ed.). Wiley. pp. 487–489. ISBN 0-471-05669-3.
Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Bayesian Data Analysis. London: Chapman & Hall. ISBN 0-412-03991-5.
Jaynes, E. T. (1994), 확률론: 과학의 논리, 24장.
Kadane, Joseph B.; Dickey, James M. (1980). "Bayesian Decision Theory and the Simplification of Models". In Kmenta, Jan; Ramsey, James B. (eds.). Evaluation of Econometric Models. New York: Academic Press. pp. 245–268. ISBN 0-12-416550-8.
Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573.
Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 0-9647938-4-9.

외부 링크

Bayes Factor - 공통 연구 설계에서 Bayes 요소를 계산하는 R 패키지
베이즈 계수 계산기 - 베이즈 계수 정보를 제공하는 온라인 계산기
Bayes Factor Calculators : 대부분의 Bayes Factor 패키지의 웹 기반 버전

[1] Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). "The philosophy of Bayes factors and the quantification of statistical evidence". Journal of Mathematical Psychology. 72: 6–18. doi:10.1016/j.jmp.2015.11.001.

[2] Lesaffre, Emmanuel; Lawson, Andrew B. (2012). "Bayesian hypothesis testing". Bayesian Biostatistics. Somerset: John Wiley & Sons. pp. 72–78. doi:10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.

[3] Ly, Alexander; et al. (2020). "The Bayesian Methodology of Sir Harold Jeffreys as a Practical Alternative to the P Value Hypothesis Test". Computational Brain & Behavior. 3: 153–161. doi:10.1007/s42113-019-00070-x.

[4] Llorente, Fernando; et al. (2022). "Marginal likelihood computation for model selection and hypothesis testing: an extensive review". SIAM Review. to appear. arXiv:2005.08334.

[5] Congdon, Peter (2014). "Estimating model probabilities or marginal likelihoods in practice". Applied Bayesian Modelling (2nd ed.). Wiley. pp. 38–40. ISBN 978-1-119-95151-3.

[6] Koop, Gary (2003). "Model Comparison: The Savage–Dickey Density Ratio". Bayesian Econometrics. Somerset: John Wiley & Sons. pp. 69–71. ISBN 0-470-84567-8.

[7] Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). "Bayesian Information Criterion". Bayesian Survival Analysis. New York: Springer. pp. 246–254. doi:10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.

[8] Gill, Jeff (2002). "Bayesian Hypothesis Testing and the Bayes Factor". Bayesian Methods : A Social and Behavioral Sciences Approach. Chapman & Hall. pp. 199–237. ISBN 1-58488-288-3.

[kassraftery1995-9] Robert E. Kass & Adrian E. Raftery (1995). "Bayes Factors" (PDF). Journal of the American Statistical Association. 90 (430): 791. doi:10.2307/2291091. JSTOR 2291091.

[Toni2009b-10] Toni, T.; Stumpf, M.P.H. (2009). "Simulation-based model selection for dynamical systems in systems and population biology". Bioinformatics. 26 (1): 104–10. arXiv:0911.1705. doi:10.1093/bioinformatics/btp619. PMC 2796821. PMID 19880371.

[Robert2011-11] Robert, C.P.; J. Cornuet; J. Marin & N.S. Pillai (2011). "Lack of confidence in approximate Bayesian computation model choice". Proceedings of the National Academy of Sciences. 108 (37): 15112–15117. Bibcode:2011PNAS..10815112R. doi:10.1073/pnas.1102900108. PMC 3174657. PMID 21876135.

[12] Jeffreys, Harold (1998) [1961]. The Theory of Probability (3rd ed.). Oxford, England. p. 432. ISBN 9780191589676.

[13] Good, I.J. (1979). "Studies in the History of Probability and Statistics. XXXVII A. M. Turing's statistical work in World War II". Biometrika. 66 (2): 393–396. doi:10.1093/biomet/66.2.393. MR 0548210.

[14] 베이지안 스트롭에 오캄의 면도칼 갈기

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

Search

베이즈 계수

네임스페이스

더

목차

정의.

해석

예

「」를 참조해 주세요.

레퍼런스

추가 정보

외부 링크

Search

베이즈 계수

정의.

해석

예

「 」를 참조해 주세요.

레퍼런스

추가 정보

외부 링크

「」를 참조해 주세요.