베이즈 계수
Bayes factor시리즈의 일부 |
베이지안 통계 |
---|
![]() |
이론. |
기술 |
베이즈 인수는 한계우도로 표현되는 두 경쟁 통계 모델의 비율이며, 한 모델에 대한 지지를 다른 모델에 [1]비해 정량화하는 데 사용된다.문제의 모델은 귀무 가설 및 대안과 같은 공통 매개변수 집합을 가질 수 있지만, 이는 필요하지 않습니다. 예를 들어 선형 근사와 비교한 비선형 모델일 수도 있습니다.베이즈 인수는 우도비 검정과 유사한 베이지안 인수로 생각할 수 있지만, 최대 우도 대신 (적립된) 한계 우도를 사용하기 때문에 두 검정은 단순한 가설(예: 두 개의 특정 매개변수 값)[2]에서만 일치한다.또한 귀무 가설 유의성 검정과 대조적으로, Bayes 인자는 귀무 가설이 기각되거나 [3]기각되지 않도록 하는 대신 귀무 가설에 유리한 증거의 평가를 지원합니다.
개념적으로는 간단하지만 모델 및 [4]가설의 복잡성에 따라 베이즈 인수의 계산이 어려울 수 있습니다.한계우도의 폐쇄형 표현은 일반적으로 사용할 수 없기 때문에 MCMC 표본에 기초한 수치 근사치가 [5]제안되었다.특정 특수한 경우, 단순화된 대수식을 도출할 수 있다. 예를 들어, 제한되지 않은 [6]대안에 대한 정확한 (균등성 제약) 가설의 경우 새비지-디키 밀도 비율이다.통합 우도에 라플라스 방법을 적용하여 도출된 또 다른 근사치는 베이지안 정보 기준(BIC)[7]으로 알려져 있다. 대규모 데이터 집합에서 Bayes 인수는 이전 항목의 영향이 줄어들면서 BIC에 접근한다.소규모 데이터 집합에서는 일반적으로 우선 순위가 중요하며 비율의 두 적분 중 하나가 유한하지 않으면 베이즈 계수가 정의되지 않기 때문에 적절하지 않을 수 있습니다.
정의.
베이즈 인수는 두 가지 한계 우도의 비율이다. 즉,[8] 파라미터의 이전 확률에 걸쳐 통합된 두 통계 모델의 우도이다.
주어진 데이터 D의 모델 M의 후방 Pr ( ) \ ( M D는 베이즈 정리에 의해 주어진다.
핵심 데이터 의존 Pr ) \ ( D)는 모델 M의 가정 하에 일부 데이터가 생성될 확률을 나타내며, 이를 올바르게 평가하는 것이 베이지안 모델 비교의 핵심이다.
관찰된 데이터 D에 기초하여 두 모델 중 하나를 선택하고자 하는 모델 선택 문제를 고려할 때 모델 매개 변수 11}) 및{\ \2에 의해 파라미터화된 두 가지 다른 모델1 M과2 M의 신뢰성은 다음과 같은 Bayes 계수 K에 의해 평가된다.
두 모델이 동일한 사전 확률을 가지므로 ( M) ( 2){}) = \ 는 M과2 M의 후방1 확률의 비율과 같다.Bayes 요인 적분 대신 각 통계 모형에 대한 모수의 최대우도 추정치에 해당하는 우도가 사용되는 경우 검정은 전형적인 우도비 검정이 됩니다.우도비 검정과 달리, 이 베이지안 모델 비교는 각 모델의 모든 매개변수에 통합되므로 단일 매개변수 집합에 의존하지 않는다.그러나 Bayes 팩터를 사용하면 모델 [9]구조를 너무 많이 포함하면 자동으로 패널티가 발생한다는 장점이 있습니다.따라서 과적합이 방지됩니다.우도의 명시적 버전을 사용할 수 없거나 수치적으로 평가하기에는 비용이 너무 많이 드는 모델의 경우, 베이즈 [10]인자의 근사 베이지안 추정치가 종종 [11]편향된다는 경고와 함께 베이지안 프레임워크의 모델 선택에 대략적인 베이지안 연산을 사용할 수 있다.
기타 접근법은 다음과 같습니다.
- 모델 비교를 의사결정 문제로 취급하여 각 모델 선택의 기대치 또는 비용 계산
- 최소 메시지 길이(MML)를 사용합니다.
- minimum description length(MDL; 최소 기술 길이)를 사용합니다.
해석
K > 1의 값은 M보다 M이2 고려 대상 데이터에 의해 더 강하게 지원되고 있음을 의미합니다1.고전적 가설 검정에서는 하나의 가설(또는 모형) 선호 상태('귀무 가설')를 제공하고 이에 대한 증거만 고려합니다.Harold Jeffreys는 K:[12]에 대한 해석 척도를 제시하였다.
K | dHart | 비트 | 증거의 강도 |
---|---|---|---|
100 미만 | 0 미만 | 0 미만 | 네거티브(M2 지원) |
100 ~ 101/2 | 0 ~ 5 | 0 ~ 1.6 | 언급할 가치가 거의 없다 |
101/2 ~ 101 | 5~10 | 1.6~3.3 | 실속 있는 |
101 ~ 103/2 | 10 ~ 15 | 3.3 ~ 5.0 | 강한. |
103/2 ~ 102 | 15 ~ 20 | 5.0 ~ 6.6 | 매우 강하다 |
102 이상 | 20 이상 | 6.6 이상 | 결정적인 |
두 번째 열은 해당하는 증거 가중치를 데시하트리(데시반이라고도 함)로 나타냅니다. 비트는 명확성을 위해 세 번째 열에 추가됩니다.I. J. Good에 따르면, 1 데시반 또는 1/3 비트의 증거 무게 변화(즉, 승산비의 변화)는 인간이 일상생활에서 가설에 대한 믿음을 [13]합리적으로 인식할 수 있는 정도만큼 미세하다.
Kass and Raftery(1995년)[9]에 의해 널리 인용된 대체 표가 제공된다.
로그10 K | K | 증거의 강도 |
---|---|---|
0 ~ 1/2 | 1 ~ 3.2 | 한마디의 언급보다 가치가 없다 |
1/2 ~ 1 | 3.2 ~ 10 | 실속 있는 |
1 ~ 2 | 10 ~ 100 | 강한. |
> 2 | 100 이상 | 결정적인 |
예
성공 또는 실패를 생성하는 랜덤 변수가 있다고 가정합니다.성공 확률이 =인 모델1 M을 비교하려고 합니다.1⁄2, 그리고 q가 불분명하고 [0,1]에서 균일한 q에 대한 사전 분포를 취하는 또 다른 모델2 M.200개의 표본을 추출하여 115개의 성공과 85개의 실패를 발견했습니다.우도는 이항 분포에 따라 계산할 수 있습니다.
이렇게 해서 M이 있습니다1.
반면 M에는2
그 비율은 1.2로, 매우 약간 M을1 가리켜도 "거의 언급할 가치가 없다".
M에 대한1 빈도론 가설 검정(여기서는 귀무 가설로 간주됨)은 매우 다른 결과를 생성했을 것입니다.이러한 검정에서는 q = 1⁄2일 때 표본 200에서 115개 이상의 성공을 얻을 확률은 0.02이고 115개 이상의 극단값을 얻을 수 있는 양 꼬리 검정은 0.04이므로 M은 5% 유의 수준에서 기각되어야 한다고 말합니다1.115는 100에서 표준 편차가 두 개 이상 떨어진다는 점에 유의하십시오.따라서 빈도론 가설 검정은 유의 수준인 5%에서 유의한 결과를 나타내지만 Bayes 인자는 이를 극단적인 결과로 간주하지 않습니다.그러나 비균일 사전(예: 성공과 실패의 수가 같은 크기 순서일 것으로 예상하는 사실을 반영하는 요인)은 빈도론 가설 검정과 더 일치하는 Bayes 요인이 될 수 있습니다.
전통적인 우도-추정 검정을 통해 q에 대한 최대우도 추정치, 즉 200θ = 0.575,
(가능한 모든 q에 대해 평균을 내는 것이 아니라)그러면 우도비가 0.1이고 M에 대한2 점이 나옵니다.
M은2 데이터를 보다 가깝게 모형화할 수 있는 자유 모수가 있기 때문에 M보다1 더 복잡한 모형입니다.베이즈 요인이 이를 고려하는 능력은 베이지안 추론이 Occam의 면도칼에 대한 이론적 정당성과 일반화로 제시되어 유형 I [14]오류를 줄이는 이유이다.
반면, 현대의 상대우도 방법은 기존의 우도비와는 달리 모형의 자유 모수의 수를 고려합니다.상대우도법은 다음과 같이 적용할 수 있다.모델1 M은 파라미터가 0이므로 AIC 값은 2·0 - 2·ln(0.005956) = 10.2467입니다.모델2 M은 파라미터가 1개이므로 AIC 값은 2·1 - 2·ln(0.056991) = 7.7297입니다.따라서1 M은 정보 손실을 최소화하기 위해 M의2 약 0.284배인 exp((7.7297 - 10.2467)/2) = 확률이다.따라서2 M이 약간 선호되지만1 M은 제외될 수 없습니다.
「 」를 참조해 주세요.
- 통계 비율
레퍼런스
- ^ Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). "The philosophy of Bayes factors and the quantification of statistical evidence". Journal of Mathematical Psychology. 72: 6–18. doi:10.1016/j.jmp.2015.11.001.
- ^ Lesaffre, Emmanuel; Lawson, Andrew B. (2012). "Bayesian hypothesis testing". Bayesian Biostatistics. Somerset: John Wiley & Sons. pp. 72–78. doi:10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.
- ^ Ly, Alexander; et al. (2020). "The Bayesian Methodology of Sir Harold Jeffreys as a Practical Alternative to the P Value Hypothesis Test". Computational Brain & Behavior. 3: 153–161. doi:10.1007/s42113-019-00070-x.
- ^ Llorente, Fernando; et al. (2022). "Marginal likelihood computation for model selection and hypothesis testing: an extensive review". SIAM Review. to appear. arXiv:2005.08334.
- ^ Congdon, Peter (2014). "Estimating model probabilities or marginal likelihoods in practice". Applied Bayesian Modelling (2nd ed.). Wiley. pp. 38–40. ISBN 978-1-119-95151-3.
- ^ Koop, Gary (2003). "Model Comparison: The Savage–Dickey Density Ratio". Bayesian Econometrics. Somerset: John Wiley & Sons. pp. 69–71. ISBN 0-470-84567-8.
- ^ Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). "Bayesian Information Criterion". Bayesian Survival Analysis. New York: Springer. pp. 246–254. doi:10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.
- ^ Gill, Jeff (2002). "Bayesian Hypothesis Testing and the Bayes Factor". Bayesian Methods : A Social and Behavioral Sciences Approach. Chapman & Hall. pp. 199–237. ISBN 1-58488-288-3.
- ^ a b Robert E. Kass & Adrian E. Raftery (1995). "Bayes Factors" (PDF). Journal of the American Statistical Association. 90 (430): 791. doi:10.2307/2291091. JSTOR 2291091.
- ^ Toni, T.; Stumpf, M.P.H. (2009). "Simulation-based model selection for dynamical systems in systems and population biology". Bioinformatics. 26 (1): 104–10. arXiv:0911.1705. doi:10.1093/bioinformatics/btp619. PMC 2796821. PMID 19880371.
- ^ Robert, C.P.; J. Cornuet; J. Marin & N.S. Pillai (2011). "Lack of confidence in approximate Bayesian computation model choice". Proceedings of the National Academy of Sciences. 108 (37): 15112–15117. Bibcode:2011PNAS..10815112R. doi:10.1073/pnas.1102900108. PMC 3174657. PMID 21876135.
- ^ Jeffreys, Harold (1998) [1961]. The Theory of Probability (3rd ed.). Oxford, England. p. 432. ISBN 9780191589676.
- ^ Good, I.J. (1979). "Studies in the History of Probability and Statistics. XXXVII A. M. Turing's statistical work in World War II". Biometrika. 66 (2): 393–396. doi:10.1093/biomet/66.2.393. MR 0548210.
- ^ 베이지안 스트롭에 오캄의 면도칼 갈기
추가 정보
- Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4.
- Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9.
- Dienes, Z. (2019).내 이론이 무엇을 예측하는지 어떻게 알 수 있습니까?심리과학 doi의 방법과 실천의 진보: 10.1177/2515245919876960
- Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Section 9.6.5". Pattern classification (2nd ed.). Wiley. pp. 487–489. ISBN 0-471-05669-3.
- Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Bayesian Data Analysis. London: Chapman & Hall. ISBN 0-412-03991-5.
- Jaynes, E. T. (1994), 확률론: 과학의 논리, 24장.
- Kadane, Joseph B.; Dickey, James M. (1980). "Bayesian Decision Theory and the Simplification of Models". In Kmenta, Jan; Ramsey, James B. (eds.). Evaluation of Econometric Models. New York: Academic Press. pp. 245–268. ISBN 0-12-416550-8.
- Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573.
- Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 0-9647938-4-9.
외부 링크
- Bayes Factor - 공통 연구 설계에서 Bayes 요소를 계산하는 R 패키지
- 베이즈 계수 계산기 - 베이즈 계수 정보를 제공하는 온라인 계산기
- Bayes Factor Calculators : 대부분의 Bayes Factor 패키지의 웹 기반 버전