플랫 스케일링

다음에 대한 시리즈 일부
머신러닝 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 탐지 데이터 클리닝 자동ML 연결 규칙 강화학습 구조 예측 피쳐 엔지니어링 피처러닝 온라인 학습 반감독학습 무감독 학습 순위 매기기 문법 유도
감독 학습 (계속 • 회귀) 의사결정 나무 앙상블 바깅 부스팅 랜덤 포리스트 k-NN 선형 회귀 분석 순진한 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) SVM(지원 벡터 머신)
클러스터링 버치 치료하다 계층적 k-16 기대-최대화(EM) 디스캔 광학 평균 이동
차원성 감소 인자분석 CCA ICA LDA NMF PCA PGD t-SNE
구조 예측 그래픽 모델 베이즈 그물 조건부 랜덤 필드 히든 마르코프
이상 탐지 k-NN 국부 특이치 인자
인공신경망 오토인코더 인지 컴퓨팅 심오한 학문 딥드림 멀티레이어 퍼셉트론 RNN LSTM GRU ESN 제한 볼츠만 기계 간 somerset. 콘볼루션 신경망 유넷 변압기 비전 스파이킹 신경망 멤트랜지스터 전기화학 RAM(ECRAM)
강화학습 Q-러닝 사사 시간차(TD)
이론 커널 시스템 바이어스-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 학습 통계학 VC 이론
기계 학습 장소 뉴럽스IPS ICML ML JMLR ArXiv:cs.LG
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터셋 목록 기계학습 개요
v t

머신러닝에서 플랫 스케일링 또는 플랫 보정은 분류 모델의 출력을 클래스에 걸친 확률 분포로 변환하는 방법이다.이 방법은 존 플랫이 지원 벡터 기계의 맥락에서 발명한 것으로,^[1] 초기 방법은 Vapnik에 의해 대체되었지만, 다른 분류 모델에 적용할 수 있다.^[2]플랫 스케일링은 로지스틱 회귀 모형을 분류자의 점수에 적합시키는 방식으로 작동한다.

설명

이진 분류의 문제를 고려하십시오. 입력 x의 경우 입력 내용이 임의로 +1과 -1로 표시된 두 가지 클래스 중 하나에 속하는지 여부를 확인하려고 한다.분류 문제는 클래스 레이블 y = 부호(f(x))^[a]를 예측하여 실제 값 함수 f에 의해 해결될 것으로 가정한다.많은 문제의 경우 확률 $P{\displaystyle (y}$= ${\displaystyle 1}$ $){\displaystyle P(y=1 x)},$즉 답을 줄 뿐만 아니라 답에 대한 확실성의 정도까지 얻는 것이 편리하다.일부 분류 모형은 그러한 확률을 제공하지 않거나 낮은 확률 추정치를 제공한다.

플랫 스케일링은 앞서 언급한 문제를 해결하기 위한 알고리즘이다.확률 추정치를 산출한다.

${\displaystyle \mathrm{P}(y}$= 1 ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle \frac{1\mathrm{}}{}}$ 1${\displaystyle \frac{}{}}$+ ${\displaystyle \frac{\exp }{}}$ ${\displaystyle \frac{}{}}$(${\displaystyle \frac{A}{}}$ ${\displaystyle \frac{f}{}}$( ${\displaystyle \frac{x}{}}$)${\displaystyle \frac{}{}}$+ B${\displaystyle \frac{}{}}$) ${\$

즉, 분류자 점수의 로지스틱 변환 f(x)이며, 여기서 A와 B는 알고리즘에 의해 학습되는 두 개의 스칼라 매개변수다.Note that predictions can now be made according to ${\displaystyle y=1{\text{ iff }}P(y=1 x)>{\frac {1}{2}};}$ if ${\displaystyle B\neq 0,}$ the probability estimates contain a correction compared to the old decision function y = sign(f(x)).^[3]

매개변수 A와 B는 원래 분류기 f와 동일한 훈련 세트에 최적화하는 최대우도 방법을 사용하여 추정한다.이 집합에 과도하게 적합되지 않도록 고정된 보정 세트 또는 교차 검증을 사용할 수 있지만, Platt는 라벨 y를 목표 확률로 변환할 것을 추가로 제안한다.

${\$$$양성 검체(y = 1)에 대한 $N_{+}+2}}:$

${\displaystyle t_{}}$ -${\displaystyle {}_{}}$= ${\displaystyle 1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{N{}_{}}{}}$-${\displaystyle \frac{{}_{}}{}}$+ ${\displaystyle \frac{2}{}}$ ${\$ 음의 샘플, y = -1.

여기서 N과₊ N은₋ 각각 양의 표본과 음의 표본 수입니다.이러한 변환은 라벨 위에 균일한 이전이 있는 표본이 아닌 데이터의 모형에 Bayes의 규칙을 적용함으로써 나타난다.^[1]분자와 분모의 상수 1과 2는 라플라스 평활의 적용에서 도출된다.

플랫 자신도 매개변수를 최적화하기 위해 레벤베르크-마르쿠르트 알고리즘을 사용할 것을 제안했지만, 이후 뉴턴 알고리즘이 제안되어 더 수치적으로 안정되어야 했다.^[4]

분석

플랫 스케일링은 SVM뿐만 아니라 부스트 모델과 왜곡된 확률 분포를 생성하는 순진한 베이즈 분류기를 포함한 다른 유형의 분류 모델에도 효과적인 것으로 나타났다.예측 확률에 S자형 왜곡을 나타내지만 로지스틱 회귀 분석, 다층 수용체 및 랜덤 포리스트와 같은 잘 보정된 모델에서는 효과가 적은 SVM 및 부스트 트리 같은 최대 마진 방법에 특히 효과적이다.^[2]

확률 교정에 대한 다른 접근방식은 동위원소 회귀 모형을 잘못된 보정 확률 모델에 적합시키는 것이다.이것은 특히 충분한 교육 데이터가 있을 때, 플랫 스케일링보다 더 잘 작동하는 것으로 나타났다.^[2]

참고 항목

• 관련 벡터 머신: 지지 벡터 머신에 대한 확률론적 대안

메모들

참조