하이퍼프리스트

Hyperprior
다음에 대한 시리즈 일부
베이지안 통계
Bayes icon.svg
이론
기술

베이지안 통계에서 하이퍼프라이어는 하이퍼 파라미터, 즉 이전 분포의 모수에 대한 사전 분포다.

하이퍼 파라미터라는 용어와 마찬가지로 하이퍼의 사용은 기본 시스템에 대한 모델의 모형의 이전 분포와 구별하는 것이다.그것들은 특히 결합 전자의 사용에서 발생한다.

예를 들어, 베타 분포를 사용하여 베르누이 분포의 모수 p의 분포를 모형화하는 경우:

  • 베르누이 분포(모수 p 포함)는 기본 시스템의 모델이다.
  • p는 기본 시스템의 매개변수(Bernouli 분포)이다.
  • 베타 분포(모수 α 및 β 포함)는 p의 사전 분포다.
  • α 및 β는 이전 분포의 매개변수로서(수치 분포), 따라서 하이퍼 파라미터
  • 따라서 α와 β의 사전 분포는 하이퍼프라이버이다.

원칙적으로는 위와 같은 것을 반복할 수 있다: 만일 하이퍼프라이어 자체가 하이퍼 파라미터가 있다면, 하이퍼하이퍼 파라미터라고 할 수 있다.

사람들은 유사하게 하이퍼 파라미터의 후분포를 하이퍼포스터리어라고 부를 수 있고, 그것들이 같은 가족이라면, 결합초분산 또는 결합초배라고 부른다.그러나 이것은 매우 추상적이 되어 원래의 문제에서 제거된다.

목적

하이퍼프리스트는 콘게이트 이전 버전과 마찬가지로 계산상의 편리함 – 베이시안 추론의 과정을 바꾸지 않고 단순히 이전 버전과 함께 좀 더 쉽게 설명하고 계산할 수 있게 해준다.

불확실성

첫째로, 하이퍼프라이어의 사용은 초변수에서 불확실성을 표현할 수 있게 한다: 고정된 선행은 가정이고, 앞의 하이퍼파라미터의 변화는 이 가정에 대해 민감도 분석을 할 수 있게 하고, 이 하이퍼파라미터에 대한 분포를 취하는 것은 다음과 같은 가정에서의 불확실성을 표현할 수 있게 한다: "전자가 다음 중 하나라고 가정한다.이 형식(이 파라메트릭 패밀리)이지만 매개변수의 값이 정확히 무엇이어야 하는지는 불확실하다."

혼합물 분포

보다 추상적으로, 하이퍼프라이어를 사용하는 경우, (기본 모델의 모수에 대한) 이전 분포 자체가 혼합물 밀도: 다양한 이전 분포의 가중 평균이며, 하이퍼프라이어는 가중치가 된다.이렇게 하면 가능한 추가 분포가 추가된다(사용하는 모수 패밀리의 초과), 모수 분포 패밀리는 일반적으로 볼록 집합이 아니기 때문에- 혼합 밀도는 일반적으로 분포의 볼록한 조합이므로, 패밀리 외부에 놓여진다.예를 들어, 두 정규 분포의 혼합은 정규 분포가 아니다. 즉, 서로 다른 평균(충분히 먼 거리)을 취하여 각각 50%를 혼합하면, 2차 분포를 얻게 되는데, 이는 정규 분포가 아니다.실제로 정상 분포의 볼록한 선체는 모든 분포에서 밀도가 높기 때문에 경우에 따라서는 적절한 하이퍼프라이어를 가진 패밀리를 이용하여 임의로 주어진 이전 분포의 근사치를 근접하게 추정할 수 있다.

이 접근법을 특히 유용하게 만드는 것은 만약 사람들이 결합 전위를 사용하는 경우: 개별 결합 전자는 쉽게 계산된 포스터를 가지고 있고, 따라서 결합 전자의 혼합은 포스터의 혼합과 같다: 각 결합 전 이전 방식들이 어떻게 변하는지 알 필요가 있다.이전에 하나의 결합체를 사용하는 것은 너무 제한적일 수 있지만, 결합 전자의 혼합물을 사용하는 것은 계산하기 쉬운 형태로 원하는 분포를 제공할 수 있다.이는 고유특성의 측면에서 함수를 분해하는 것과 유사하다 – 이전 결합문을 참조하십시오. 고유 기능과의 유사성.

동력학계

하이퍼프라이어는 가능한 하이퍼 파라미터의 공간에 대한 분포다.만약 어떤 사람이 결합 전자를 사용한다면, 이 공간은 포스터로 이동함으로써 보존된다. 따라서 데이터가 도착할수록 분포는 변하지만, 데이터가 도착할수록 분포는 역동적인 시스템(업데이트된 하이퍼 파라미터로 진화하는 하이퍼 파라미터 공간의 각 지점)으로 진화한다. 이전 공간과 마찬가지로 시간이 지남에 따라 분포도 수렴한다.엘프가 수렴하다

참조

  • Bernardo, J. M.; Smith, A. F. M. (2000). Bayesian Theory. New York: Wiley. ISBN 0-471-49464-X.