대략적인 올바른 학습

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

컴퓨터 학습 이론에서, 아마도 대략적으로 올바른(PAC) 학습은 기계 학습의 수학적 분석을 위한 프레임워크이다.그것은 1984년 레슬리 ^[1]발리언트에 의해 제안되었다.

이 프레임워크에서 학습자는 샘플을 받고 가능한 기능의 특정 클래스에서 일반화 함수(가설이라고 함)를 선택해야 합니다.목표는 높은 확률(아마도 "부분")에서 선택한 함수의 일반화 오류(대략 올바른" 부분)가 낮다는 것입니다.학습자는 표본의 임의 근사 비율, 성공 확률 또는 분포에 따라 개념을 학습할 수 있어야 합니다.

모델은 나중에 소음(잘못 분류된 샘플) 처리를 위해 확장되었습니다.

PAC 프레임워크의 중요한 혁신은 기계 학습에 계산 복잡도 이론 개념을 도입하는 것이다.특히, 학습자는 효율적인 기능(예시 크기의 다항식으로 제한되는 시간과 공간 요건)을 찾을 것으로 기대되며, 학습자 스스로 효율적인 절차를 구현해야 한다(개념 크기의 다항식으로 제한되는 예시를 근사치 및 우도 한계에 의해 수정해야 한다).

정의와 용어

PAC에서 학습할 수 있는 것을 정의하려면 먼저 몇 가지 ^[2]용어를 도입해야 합니다.

다음 정의에서는 두 가지 예를 사용합니다.첫 번째 문제는 이진수 이미지를 인코딩하는$n개$의 {\$displaystyle$ n$}$ 배열에 따른 문자 인식 문제입니다.다른 예는 구간 내의 점을 양수로 올바르게 분류하고 범위를 벗어난 점을 음수로 분류하는 구간을 찾는 문제입니다.

X$(\displaystyle$ X$)$를 인스턴스 공간 또는 모든 샘플 부호화라고 하는 세트라고 $합니다{\displaystyle }$.문자 인식 문제에서 인스턴스 공간은 $X{\displaystyle }$ ${\displaystyle =}$ {${\displaystyle 0}$ , ${\displaystyle 1}$ ${\displaystyle {}^{}}$ { \ $displaystyle$ X$$$=$ \ {$0$ , 1 \ }^{ $n$} 입니다.인터벌 문제에서 인스턴스 $공간{\displaystyle }$X는$$R \$display$ $style$ \ $mathbb${ R$$$\}$의 모든 유계 간격 $집합$입니다$.$여기서 R \ display$style$ \$mathbbb$ { R}은$$ R}의 집합을 나타냅니다. 번호를 입력합니다.

개념이란 $서브셋c{\displaystyle }$ $⊂$ ${\displaystyle X}$(\$displaystyle c\display$ X$)$입니다.하나의 개념은 X $=$ {${\displaystyle }$0 , ${\displaystyle 1}$ ${\displaystyle {}^{}}$(\$displaystyle$ X=\{$0,1\}^{n})$ $내$의 모든 비트 패턴의 집합으로 문자 "P"를 부호화합니다.두 번째 예에서는 오픈인터벌의 세트${\displaystyle \{}$( a${\displaystyle }$, ${\displaystyle b}$) ${\displaystyle 0}$ 0${\displaystyle a}$ ${\displaystyle a\mathrm{}}$、${\displaystyle 2}$ ${\displaystyle 、}$ b${\displaystyle \sqrt{13}}$ 13 $}$ { $displaystyle$\ { ( a ,$b$ ) \ $mid 0 \leq$ \$pi$/ 2$,$ $\pi$ \$leq b \ leq$ { 13$}$}이 각 포인트의 양수만 포함됩니다.개념 $클래스{\displaystyle }$ C$(\displaystyle$ C$)$는 X$(\displaystyle$ X$)$ $위$의 개념 집합입니다.이것은 4개의 비트로 구성된 배열의 모든 서브셋 세트일 수 있습니다(글꼴의 폭은 1).

${\displaystyle E}$ X${\displaystyle }$( ${\displaystyle c}$,${\displaystyle D}$) \ $displaystyle$ EX $( c$ , $D$)$$ 、 \ $displaystyle$$$x$}$$$$example{\displaystyle }$$$ 、 $∈$ utionution $ution{\displaystyle }$ $cutionutionutionutionutionutionutionution{\displaystyle }$ utionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionutionution utionutionution${\displaystyle }$utionutionutionutionutionutionutionutionutionutionution utionutionutionutionutionutionutionutionutionutionutionutionution$$utionutionutionutionutionutionutionutionution D { $displaystyle$ $displaystyle$ displaystyle$$$displaystyle$ $dis$

이제, 0개체 지정되 ϵ,δ<1{\displaystyle 0<,\epsilon ,\delta<1}, 알고리즘인 1/ϵ, 1/δ{1/\epsilon ,1/\delta\displaystyle}(및 클래스가 C의 다른 관련 변수{C\displaystyle})에{A\displaystyle}과 다항식 p{p\displaystyle}과 같이 주어진 sampl 된다고 생각한다.크기의 e ${\displaystyle }$${\displaystyle \mathrm{E<img\; alt="p"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/81eac1e205430d1f40810df36a0edffdc367af36"\; style="vertical-align:\; -0.671ex;\; margin-left:\; -0.089ex;\; width:1.259ex;\; height:2.009ex;">}}$ ${\displaystyle X}$( c${\displaystyle }$,${\displaystyle D}$) { $displaystyle$$$EX $( c$ , $D$) $}$$$${\displaystyle \mathrm{displaydisplaydisplaydisplay}}$ display 、 \ $displaystyle 1$ \ $delta$ $display{\displaystyle }$ 、 A$$${\displaystyle \mathrm{display<img\; alt="A"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/7daff47fa58cdfd29dc333def748ff5fa4c923e3"\; style="vertical-align:\; -0.338ex;\; width:1.743ex;\; height:2.176ex;">}}$ ${\displaystyle 、}$ \ $displaystyle$ h \ $in$ C$display$ $displaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplay{\displaystyle }$ displaydisplaydisplaydisplaydisplaydisplay $。$\displaystyle X} 같은 유통 D{D\displaystyle}. 먼 곳은 위에서 말한{A\displaystyle}algorithm 모든 개념 c∈ C{\displaystylec\in C}및 X{X\displaystyle}이상의 모든 분포 D{D\displaystyle}를 위해, 그리고 모든 0개체를 위해서 ϵ,δ<1{\displayst 사실이다.yle 0<.\$epsilon ,\delta$<$1$} $c$ c $、$ C { $displaystyle$ C$$}는$$ (효율적으로) PAC 학습 가능(또는 배포 없는 PAC 학습 가능)입니다$.$A$(\displaystyle$ A$)$는 C$(\displaystyle$ C$)$의 PAC 학습 $알고리즘이라고$도 할 수 있습니다.

등가

일부 규칙성 조건에서는 다음 조건이 동일합니다.

1. 개념 클래스 C는 PAC 학습 가능합니다.
2. C의 VC 치수는 유한합니다.
3. C는 균일한 글리벤코-칸텔리 ^{[clarification needed]}클래스입니다.
4. C는 Littlstone과 Warmuth의 의미에서 압축할 수 있습니다.

「 」를 참조해 주세요.

• 오컴 러닝
• 기계 학습
• 데이터 마이닝
• 오류 허용(PAC 학습)
• 복잡도 예시

레퍼런스

https://users.soe.ucsc.edu/ ~ manfred / pubs / lrnk - paramier . pdf

Moran, Shay; Yehudayoff, Amir (2015). "Sample compression schemes for VC classes". arXiv:1503.06960 [cs.LG].

추가 정보

• M. Kearns, U. Vazirani.컴퓨터 학습 이론의 입문.MIT 프레스, 1994.교과서.
• M. Mohri, A.로스타미자데와 A.탈워커.머신러닝의 기초.MIT 프레스, 2018.2장에서는 PAC 학습 가능성에 대해 자세히 설명합니다.퍼블리셔로부터의 오픈액세스로 판독 가능.
• D. 하우슬러PAC 학습 프레임워크의 개요토픽 소개
• L. 발리안트아마 거의 맞을 겁니다.Basic Books, 2013.발리안트는 PAC 학습이 유기체가 어떻게 진화하고 학습하는지를 기술한다고 주장한다.