확률론적 분류

다음에 대한 시리즈 일부
머신러닝 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 탐지 데이터 클리닝 자동ML 연결 규칙 강화학습 구조 예측 피쳐 엔지니어링 피처러닝 온라인 학습 반감독학습 무감독 학습 순위 매기기 문법 유도
감독 학습 (계속 • 회귀) 의사결정 나무 앙상블 바깅 부스팅 랜덤 포리스트 k-NN 선형 회귀 분석 순진한 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) SVM(지원 벡터 머신)
클러스터링 버치 치료하다 계층적 k-16 기대-최대화(EM) 디스캔 광학 평균 이동
차원성 감소 인자분석 CCA ICA LDA NMF PCA PGD t-SNE
구조 예측 그래픽 모델 베이즈 그물 조건부 랜덤 필드 히든 마르코프
이상 탐지 k-NN 국부 특이치 인자
인공신경망 오토인코더 인지 컴퓨팅 심오한 학문 딥드림 멀티레이어 퍼셉트론 RNN LSTM GRU ESN 제한 볼츠만 기계 간 somerset. 콘볼루션 신경망 유넷 변압기 비전 스파이킹 신경망 멤트랜지스터 전기화학 RAM(ECRAM)
강화학습 Q-러닝 사사 시간차(TD)
이론 커널 시스템 바이어스-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 학습 통계학 VC 이론
기계 학습 장소 뉴럽스IPS ICML ML JMLR ArXiv:cs.LG
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터셋 목록 기계학습 개요
v t

기계학습에서 확률론적 분류자는 관측치가 속해야 하는 가장 가능성이 높은 분류만을 출력하는 것이 아니라, 입력의 관찰을 주어진 클래스 집합에 대한 확률 분포를 예측할 수 있는 분류기다. 확률론적 분류자는 그 자체로^[1] 유용할 수 있거나 분류자를 앙상블에 결합할 때 유용할 수 있는 분류를 제공한다.

분류의 종류

공식적으로, "일반적인" 분류자는 샘플 x에 클래스 라벨 ŷ:

${\displaystyle {\hat {y}=f(x)}$

샘플은 어떤 집합 X(예: 모든 문서의 집합 또는 모든 이미지의 집합)에서 나오는 반면, 클래스 라벨은 훈련 전에 정의된 유한 집합 Y를 형성한다.

확률론적 분류자는 이러한 분류자의 개념을 일반화한다: 함수 대신 조건부 분포 ${\displaystyle Pr}$ ${\displaystyle (Y}$ X ${\displaystyle )}$ ${\displaystyle \Pr(Y\vert$ X$)}$인데$,$ 이는 주어진 $x{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle$ x$\in$ $X$$\}$에 대해 모든 $y{\displaystyle }$ ${\displaystyle \in }$ Y ${\displaysty y\in$ Y$}($그리고 이 확률의 합계 1)에)에 확률을 할당한다는 것을 의미한다. "하드" 분류는 최적의 결정 규칙을^{[2]: 39–40} 사용하여 수행될 수 있다.

${\displaystyle {\hat {y}=\operatorname {\arg \max } _{y}\Pr(Y=y\vert X)}$

또는, 영어에서 예측된 수업은 가장 높은 확률이다.

이항 확률론적 분류자를 통계학에서는 이항 회귀 모형이라고도 한다. 계량학에서는 일반적으로 확률론적 분류를 이산선택이라고 한다.

순진한 베이즈, 로지스틱 회귀 분석 및 다층 수용체(적절한 손실 함수에 따라 훈련된 경우)와 같은 일부 분류 모델은 자연적으로 확률론적이다. 서포트 벡터 기계와 같은 다른 모델은 아니지만, 이들을 확률론적 분류자로 바꾸는 방법이 존재한다.

생성 및 조건부 훈련

로지스틱 회귀 분석과 같은 일부 모델은 조건부 확률 ${\displaystyle Pr}$(${\displaystyle Y}$ $){\displaystyle \Pr(Y\vert X)}$을 교육 세트에서 직접$$ 최적화한다(경험적 위험 최소화 참조). Other classifiers, such as naive Bayes, are trained generatively: at training time, the class-conditional distribution ${\displaystyle \Pr(X\vert Y)}$ and the class prior ${\displaystyle \Pr(Y)}$ are found, and the conditional distribution ${\displaystyle \Pr(Y\vert X)}$ is derived using Bayes' 통치를 ^{[2]: 43} 하다

확률교정

모든 분류 모델이 자연적으로 확률론적인 것은 아니며, 특히 순진한 베이즈 분류자, 의사결정 나무, 부양 방법 등 일부 분류 모델은 왜곡된 등급 확률 분포를 생산한다.^[3] 의사결정 나무의 경우, Pr(y x)가 x가 끝나는 잎에 y라는 라벨이 붙은 훈련 표본의 비율인 경우, 이러한 왜곡이 발생하는 이유는 C4.5나 CART와 같은 학습 알고리즘이 (0 또는 1에 가까운 확률로, 따라서 높은 치우침) 견본을 거의 사용하지 않고 균일한 잎을 생산하는 것을 명시적으로 목표로 하기 때문이다. 관련 비율(^[4]고분산)

교정은 교정 그림(신뢰도라고도 함)을 사용하여 평가할 수 있다.^[3][5] 보정 그림은 예측 확률 또는 점수 대역(예: 지지 벡터 기계에서 왜곡된 확률 분포 또는 "하이퍼플레인까지의 서명 거리")에 대한 각 등급의 항목의 비율을 보여준다. ID 함수의 편차는 예측 확률 또는 점수를 확률로 사용할 수 없는 보정이 제대로 이루어지지 않은 분류자를 나타낸다. 이 경우 이러한 점수를 적절하게 보정된 클래스 멤버십 확률로 바꾸는 방법을 사용할 수 있다.

이항 사례의 경우 공통적인 접근방식은 점수에 로지스틱 회귀 모형을 학습하는 플랫 스케일링을 적용하는 것이다.^[6] 충분한 훈련 데이터를 이용할^[7] 수 있을 때 동위원소 회귀 분석을 사용하는 대체 방법은 일반적으로 플랫의 방법보다 우수하다.^[3]

멀티클래스의 경우 2진법 과제에 대한 감소를 사용할 수 있으며, 위에서 설명한 알고리즘을 이용한 일변량 보정, 헤스티와 티비시라니에 의한 쌍방향 커플링 알고리즘의 추가 적용이 뒤따른다.^[8]

확률론적 분류 평가

확률론적 분류에 일반적으로 사용되는 손실 함수에는 로그 손실과 예측 확률 분포와 실제 확률 분포 사이의 브리어 점수가 포함된다. 이들 중 전자는 로지스틱 모델을 훈련하는 데 흔히 사용된다.

서로 다른 예측 방법을 비교할 수 있도록 예측 확률과 실제 이산 결과 쌍에 점수를 할당하는 방법을 점수 규칙이라고 한다.

참조