구조화된 예측

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

구조화 예측 또는 구조화(출력) 학습은 스칼라 이산 또는 실제 ^[1]값이 아닌 구조화 객체 예측을 포함하는 감독된 기계 학습 기술의 포괄적인 용어이다.

일반적으로 사용되는 지도 학습 기법과 유사하게, 구조화된 예측 모델은 모델 매개변수를 조정하기 위해 실제 예측 값을 사용하는 관측 데이터를 통해 일반적으로 훈련된다.모델의 복잡성과 예측 변수의 상호관계로 인해, 훈련된 모델과 훈련 자체의 예측 프로세스는 종종 계산적으로 실행할 수 없으며 대략적인 추론 및 학습 방법이 사용된다.

적용들

예를 들어, 자연어 문장을 해석 트리 등의 구문적 표현으로 변환하는 문제는 구조화된 출력 도메인이 가능한 모든 해석 트리의 집합인 구조화된 예측^[2] 문제로 볼 수 있다.구조화된 예측은 또한 생물 정보학, 자연 언어 처리, 음성 인식 및 컴퓨터 비전을 포함한 다양한 응용 분야에서도 사용된다.

예: 시퀀스태깅

시퀀스 태그 부착은 입력 데이터가 시퀀스(예: 텍스트 문장)인 자연 언어 처리에서 일반적인 문제의 한 종류입니다.시퀀스 태그 문제는 음성 태그 부착 및 이름 있는 엔티티 인식 등 여러 가지 방법으로 나타납니다.예를 들어 POS 태깅에서는 시퀀스의 각 워드는 워드의 "유형"을 나타내는 "태그"(클래스 라벨)를 수신해야 합니다.

이것.	DT
이	VBZ
a	DT
태그 부착	JJ
문장.	NN
.	.

이 문제의 주요 과제는 모호성을 해결하는 것입니다: "sentence"라는 단어는 영어에서 동사일 수도 있고 "tagged"일 수도 있습니다.

이 문제는 개개의 토큰을 분류하는 것만으로 해결할 수 있지만, 이 접근법은 태그가 독립적으로 발생하지 않는다는 경험적 사실을 고려하지 않고 각 태그가 이전 워드의 태그에 대한 강한 조건부 의존성을 나타냅니다.이 사실은 숨겨진 마르코프 모델이나 개별 태그가 아닌 문장에 대한 전체 태그 시퀀스를 예측하는 조건부^[2] 랜덤 필드 등의 시퀀스 모델에서 비터비 알고리즘을 통해 이용될 수 있다.

기술

확률론적 그래픽 모델은 구조화된 예측 모델의 큰 클래스를 형성한다.특히 베이지안 네트워크와 랜덤 필드가 인기입니다.구조화 예측을 위한 다른 알고리즘과 모델에는 유도 논리 프로그래밍, 사례 기반 추론, 구조화 SVM, 마르코프 논리 네트워크, 확률론적 소프트 논리 및 제약 조건 모델이 포함된다.주요 기술:

• 조건부 랜덤 필드
• 구조화된 서포트 벡터 머신
• 구조화된 k-가장 가까운 인접 라우터
• 반복 신경 네트워크, 특히 Elman 네트워크

구조화된 퍼셉트론

일반적인 구조화 예측을 위한 알고리즘을 이해하는 가장 쉬운 방법 중 하나는 ^[3]콜린스의 구조화 퍼셉트론이다.이 알고리즘은 선형 분류기 학습을 위한 퍼셉트론 알고리즘과 추론 알고리즘(시퀀스 데이터에 사용되는 경우 전형적으로 비터비 알고리즘)을 결합하며 다음과 같이 추상적으로 설명할 수 있습니다.먼저 훈련 표본 x와 후보 예측 y를 길이 n의 벡터에 매핑하는 "공동 특징 함수" δ(x, y)를 정의합니다(x와 y는 어떤 구조든 가질 수 있습니다. n은 문제에 의존하지만 각 모델에 대해 고정되어야 합니다).GEN을 후보 예측을 생성하는 함수로 합니다.그 후, 다음과 같이 입력합니다.

w$\displaystyle$w를$$ 길이 n의 무게 벡터라고 $합니다{\displaystyle }$.

미리 정해진 반복 횟수의 경우:

트레이닝 세트의 각 $샘플{\displaystyle }$x(\$displaystyle$ x$)$에 대해 t$\displaystyle$ t$:$

$예측$ y${\displaystyle \stackrel{}{}}$^ ${\displaystyle =}$ ${\displaystyle \mathrm{r}}$ ${\displaystyle \mathrm{g}}$ ${\displaystyle \mathrm{m}}$ x${\displaystyle yg}$ G ${\displaystyle EN}$( x ) ${\displaystyle \}}$ ( ${\displaystyle w{}^{}}$ ${\displaystyle {}^{}}$( (${\displaystyle }$x${\displaystyle }$, ${\displaystyle y}$)$$) { $style${ hat {$$y} = spair $operatorname {$display , $max$} , \ { y } , \ { y } , \ $in${ $GEN$（ x$$} \ } \ 、 {$phi$} ) 、

w$${$displaystyle w}$를${\displaystyle \stackrel{}{}}$갱신합니다$.$${\displaystyle }$ ${\displaystyle =w}$ +${\displaystyle c}$(${\displaystyle }$- 、 $y$${\displaystyle ^}$) + ${\displaystyle （x}$ ,${\displaystyle t}$) { ${\displaystyle displaystyle}$ {$$w } = { w$}$ + { c } ( $-$ \ $phi$ { x ,$$${$ \ hat { y } ) + $phi$ { $displaystyle$ $c{\displaystyle }$$}$} ) , .

실제로 G ${\displaystyle E}$ ${\displaystyle N(x}$)(\$displaystyle {GEN}({x})$에 $대한{\displaystyle }$ argmax 검색은 기하급수적으로 큰 후보 집합을 통한 완전한 검색이 아니라 Viterbi와 같은 알고리즘이나 max-sum과 같은 알고리즘을 사용하여 수행됩니다.

학습의 개념은 멀티클래스 퍼셉트론과 유사하다.

레퍼런스

• Noah Smith, 언어구조예측, 2011.
• 마이클 콜린스, 숨겨진 마르코프 모델을 위한 차별적 훈련 방법, 2002.

외부 링크

• 콜린스 구조 퍼셉트론의 구현