베이지안 실험 설계

베이지안 실험 설계는 실험 설계에 관한 다른 이론을 도출할 수 있는 일반적인 확률 이론적 체계를 제공한다. 실험 중에 획득한 관측/데이터를 해석하는 것은 베이지안 추론에 기초한다. 이것은 결정되는 매개변수에 대한 사전 지식뿐만 아니라 관측치의 불확실성을 모두 회계처리할 수 있다.

베이지안 실험 설계 이론은 불확실성 속에서 최적의 결정을 하기 위한 이론에 근거하여 어느 정도 근거가 있다. 실험 설계의 목적은 실험 결과의 기대 효용성을 최대화하는 것이다. 효용성은 실험에서 제공하는 정보의 정확성 측도(예: 섀넌 정보 또는 분산의 음수)에서 가장 일반적으로 정의되지만, 실험을 수행하는 데 드는 재무비용과 같은 요인도 포함할 수 있다. 최적의 실험 설계는 선택한 특정 효용 기준에 따라 결정된다.

보다 전문화된 최적 설계 이론과의 관계

선형 이론

모델이 선형인 경우, 이전 확률밀도함수(PDF)가 균질하고 관측오차가 정상적으로 분포하는 경우 이론은 고전적 최적 실험설계 이론으로 단순화된다.

근사 정규성

베이지안 실험 설계에 관한 수많은 간행물에서, 모든 후방 PDF가 대략적으로 정상일 것이라고 가정한다(흔히 암묵적으로). 이를 통해 기대 효용을 선형 이론을 사용하여 계산할 수 있으며, 샬로너 & 베르디넬리(1995)에서 검토한 접근방식인 모델 매개변수의 공간에 대한 평균을 구할 수 있다. 그러나 이 방법을 적용할 때는 정상적인 관찰 오류 및 균일한 사전 PDF의 경우에도 가능한 모든 포스터의 대략적인 정규성을 검증하기 어렵기 때문에 주의해야 한다.

후분포

최근에는 계산 자원이 증가하여 모델 매개변수의 후분포를 추론할 수 있게 되어, 이를 실험 설계에 직접 사용할 수 있다. Vanlier 외 연구진(2012)은 예측 불확실성에 대한 새로운 측정의 영향을 평가하기 위해 후방 예측 분포를 사용하는 접근방식을 제안했고, Liepe 외 연구진(2013)은 매개변수, 예측 및 잠재적인 새로운 실험 사이의 상호 정보를 최대화하는 접근방식을 제안했다.

수학적 공식화

표기법 $\displaystyle \theta \,}$ 결정해야 할 매개변수 $(\displaystyle y\,})$ 관측 또는 자료 ${\displaystyle \xi \,}$ 설계하다 $\displaystyle p(y\mid \theta ,\xi )\,}$ $지정$된 매개 변수 값$${\$displaystyle \$ $}$ 및$$ $설계{\displaystyle }$ ${\displaystyle \xi}$을$($를$)$ 관측하기 위한 PDF $p(\displaystyle p(\theta )\,}$ 이전 PDF $p(y\mid \xi )\,}$ 관찰 공간의 한계 PDF $(\displaystyle p(\theta \mid y,\xi )\,}$ 후방 PDF $U(\xi )\,}$ $utility{\displaystyle }$ 디자인의 유틸리티 ${\displaystyle \xi$} $U(y,\xi )\,}$ 설계가 $\xi {\displaystyle }$ ${\displaystyle \xi$}인$$ $관측치{\displaystyle }$ y ${\displaystyle y}$ 이후의 실험 결과의 효용

Given a vector ${\displaystyle \theta }$ of parameters to determine, a prior PDF ${\displaystyle p(\theta )}$ over those parameters and a PDF ${\displaystyle p(y\mid \theta ,\xi )}$ for making observation ${\displaystyle y}$, given parameter values ${\displaystyle \theta }$ and an experiment 설계 $\xi {\displaystyle }$ ${\displaystyle \xi$ 후방 PDF는 Bayes의 정리를 사용하여 계산할 수 있다.

${\displaystyle p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\theta )}{p(y\mid \xi )}}}}$

여기서 $p{\displaystyle (}$ ${\displaystyle y}$ ${\displaystyle \mid }$ ${\displaystyle \xi }$) ${\displaystyle p(y\mid \xi )}$은 관측 공간의 한계 확률 밀도다.

$\displaystyle p(y\mid \xi )=\int p(\theta)p(y\mid \theta,\xi )\,d\theta \,}$

그런 다음 $\xi {\displaystyle }$ ${\displaystyle \xi$} 설계를$$사용한 실험의 예상 효용을 정의할 수 있다$$.

$\displaystyle U(\xi )=\int p(y\mid \xi)U(y,\xi )\,dy,}$

여기서 $U{\displaystyle (}$ ${\displaystyle y}$ ,${\displaystyle }$$ξ$${\displaystyle }$) ${\displaystyle U(y,\$$xi$ $)}$은 실험 설계 $\xi {\displaystyle }$ ${\displaystyle$ $y$$}$을(를) 사용하여$$ $관찰{\displaystyle }$ y ${\displaystyle$ $y$$}$을$($를) 수행한 후$$ 후 PDF $p{\displaystyle (}$ ∣ ${\displaystyle \mid }$ ${\displaystyle y}$ ,$$ξ${\displaystyle ,}$$$$ξ$ )의 일부 실제 값 함수다$.$

Shannon 정보를 유틸리티로 획득

효용은 섀넌 정보에서 선행 이득으로 정의될 수 있다.

$\displaystyle U(y,\xi )=\int \log(p(\theta \mid y,\xi )\,p(\theta )\,d\theta -int \log(p(\theta )\,d\theta \,}$

또 다른 가능성은 효용을 다음과 같이 정의하는 것이다.

${\displaystyle U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\p(\theta )\...}$

후분포에서 전자의 Kullback-Leibler 차이 린들리(1956)는 예상 효용이 그 후 조정 독립적이며 두 가지 형태로 작성될 수 있다는 점에 주목했다.

${\displaystyle {\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,}$

그 중 후자는 가능한 모든 관찰 $y{\displaystyle }$ ${\displaystyle y}$에 대해$$ 개별 후방 $PDF{\displaystyle }$ p (${\displaystyle \theta }$ ${\displaystyle \mid }$ ${\displaystyle y}$ ,$){\displaystyle$ p $(\theta \mid$ y$,\xi )}$을 평가할 필요 없이 평가될 수 있다$.$ 두 번째 방정식 라인의 첫 번째 항은 $design{\displaystyle }$ ${\\disy$ $\}$의 설계에 의존하지 않을 것이다.ng 관측불확실성은 그렇지 않다. 한편, 첫 번째 형태의$$ $p{\displaystyle }$ (${\displaystyle \theta }$) ${\displaystyle \log \log }$ p (${\displaystyle \theta }$) ${\displaystyle p(\theta )\log$ p$(\theta )}$의 적분은 모든 $all{\displaystyle }$ ${\displaystyle \xi }$에 대해 일정하므로, 가장 높은 효용성을 지닌 설계를 선택하는 것이 목표라면 용어는 전혀 계산할 필요가 없다$.$ 여러 저자들은 판 덴 버그, 커티스 & 트램퍼트(2003) 및 라이언(2003)과 같은 이 기준을 평가하고 최적화하기 위한 수치적 기법을 고려했다. 참고:

$(\displaystyle U(\xi )=I(\theta ;y)\...}$

기대되는 정보 이득은 매개변수 θ과 관측치 y 사이의 상호 정보 정확히 일치한다. 선형 동적 모델 차별을 위한 베이시안 설계의 예는 바니아(2019)에 제시되어 있다. $I{\displaystyle }$ (${\displaystyle \theta ;}$ ${\displaystyle y}$)${\displaystyle }$, ${\displaystyle I(\theta ;y)\...}$은(는) 계산이 어려웠기 때문에, 그 하한은 효용 함수로 사용되어 왔다. 하한은 신호 에너지 제약 조건 하에서 최대화된다. 제안된 베이지안 설계는 또한 고전적인 평균 D-최적 설계와 비교되었다. Bayesian 설계가 D-최적 설계보다 우수하다는 것을 보여주었다.

켈리 기준은 또한 도박과 정보 이론에 사용되는 이윤을 극대화하려는 도박꾼을 위한 그러한 효용 함수를 기술하고 있다; 켈리의 상황은 앞서 말한 것과 동일하며, 측면 정보나 "개인 전선"이 실험을 대신한다.

참고 항목

• 베이시안 최적화
• 최적설계
• 액티브러닝

이 글에는 참고문헌, 관련 독서 또는 외부 링크 목록이 수록되어 있으나 인라인 인용구가 부족하여 출처가 불분명하다. 보다 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오.(2011년 3월) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

참조

• Vanlier; Tiemann; Hilbers; van Riel (2012), "A Bayesian approach to targeted experiment design", Bioinformatics, 28 (8): 1136–1142, doi:10.1093/bioinformatics/bts092, PMC 3324513, PMID 22368245

• Liepe; Filippi; Komorowski; Stumpf (2013), "Maximizing the Information Content of Experiments in Systems Biology", PLOS Computational Biology, 9 (1): e1002888, Bibcode:2013PLSCB...9E2888L, doi:10.1371/journal.pcbi.1002888, PMC 3561087, PMID 23382663

• van den Berg; Curtis; Trampert (2003), "Optimal nonlinear Bayesian experimental design: an application to amplitude versus offset experiments", Geophysical Journal International, 155 (2): 411–421, Bibcode:2003GeoJI.155..411V, doi:10.1046/j.1365-246x.2003.02048.x

• Chaloner, Kathryn; Verdinelli, Isabella (1995), "Bayesian experimental design: a review" (PDF), Statistical Science, 10 (3): 273–304, doi:10.1214/ss/1177009939

• DasGupta, A. (1996), "Review of optimal Bayes designs" (PDF), in Ghosh, S.; Rao, C. R. (eds.), Design and Analysis of Experiments, Handbook of Statistics, vol. 13, North-Holland, pp. 1099–1148, ISBN 978-0-444-82061-7

• Lindley, D. V. (1956), "On a measure of information provided by an experiment", Annals of Mathematical Statistics, 27 (4): 986–1005, doi:10.1214/aoms/1177728069

• Ryan, K. J. (2003), "Estimating Expected Information Gains for Experimental Designs With Application to the Random Fatigue-Limit Model", Journal of Computational and Graphical Statistics, 12 (3): 585–603, doi:10.1198/1061860032012, S2CID 119889630
• Bania, P. (2019), "Bayesian Input Design for Linear Dynamical Model Discrimination", Entropy, 21 (4): 351, Bibcode:2019Entrp..21..351B, doi:10.3390/e21040351, PMC 7514835, PMID 33267065