농도변수
Concentration parameter |
확률 이론과 통계에서, 농도 매개변수는 확률 분포의 모수 계열의 특별한 종류의 숫자 매개변수다.농도 매개변수는 두 가지 분포에서 발생한다.Von Mises-Fisher 분포에서, 대칭 디리클레 분포 및 디리클레 프로세스와 같이 확률 분포인 분포와 함께.이 글의 나머지 부분은 후자의 용법에 초점을 맞춘다.
농도 모수의 값이 클수록 결과 분포가 균등하게 분포한다(균일 분포 쪽으로 치우침).농도 매개변수의 값이 작을수록 결과 분포가 희박하며, 대부분의 값이나 값의 범위는 확률 0에 가깝다(즉, 단일 점에 집중된 분포, Dirac 델타 함수에 의해 정의된 퇴행 분포로 향하는 경향이 있다).
디리클레 분포
다변량 디리클레 분포의 경우 농도 파라미터를 정의하는 방법에 대해 약간의 혼동이 있다.주제 모델링 문헌에서 대칭적인 디리클레 분포(모든 차원에 대해 매개변수가 동일한 경우)를 논할 때, 그것은[citation needed] 종종 모든 차원에 사용되는 단일 디리클레 매개변수의 값으로 정의된다.[1]이 두 번째 정의는 분포의 치수의 인수에 의해 더 작다.
농도 매개변수가 1(또는 k, 주제 모델링 문헌에 사용된 정의에 의해 디리클레 분포의 치수)이면 모든 확률 집합이 동일하게 될 수 있다. 즉, 이 경우 차원 k의 디리클레 분포는 k-1차원 심플렉스 위에 걸쳐 균일한 분포와 동일하다.이는 농도 매개변수가 무한대로 이동할 때 발생하는 것과 같지 않다는 점에 유의하십시오.전자의 경우, 모든 결과 분포가 동등할 가능성이 있다(분포 대비 분포는 균일하다.후자의 경우 균일 분포에 가까운 분포만 있을 가능성이 높다(분포 초과 분포는 균일 분포 주변에서 매우 정점을 이룬다).한편, 농도 모수가 0으로 향하는 경향이 있기 때문에 한계에서는 거의 모든 질량이 성분 중 하나에 집중된 분포만 발생할 가능성이 높다(분포 초과 분포는 성분 중 하나를 중심으로 한 k 가능한 Dirac 델타 분포 또는 k-차원 심플렉스 분포의 측면에서 매우 정점을 이룬다).심플렉스 모서리의 높은 정점).
희소성 이전
희박한 사전(농도 매개변수 1)이 요구되는 경우, 문서 집합에서 논의되는 주제를 학습하는 데 사용되는 주제 모델을 고려해 보십시오. 여기서 각 "주제"는 단어의 어휘에 대한 범주형 분포를 사용하여 설명된다.일반적인 어휘는 10만개의 단어를 가지고 있어 10만차원적인 범주형 분포를 이끌어낼 수 있다.범주형 분포의 모수에 대한 이전 분포는 대칭적인 디리클레 분포일 가능성이 높다.그러나 논리 정연한 주제에는 유의미한 확률 질량을 가진 몇 백 단어만 있을 수 있다.따라서 농도 매개변수에 대한 합리적인 설정은 0.01 또는 0.001일 수 있다.약 100만 단어의 어휘가 더 많으면 0.0001과 같은 더 작은 값이 적절할 수 있다.
참고 항목
참조
- ^ Wallach, Hanna M.; Iain Murray; Ruslan Salakhutdinov; David Mimno (2009). "Evaluation methods for topic models". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: ACM. pp. 1105–1112. doi:10.1145/1553374.1553515. ISBN 978-1-60558-516-1.
