오류 허용(PAC 학습)

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

오류 허용(PAC 학습)

PAC 학습에서 에러 톨러런스란 수신된 예가 어떤 식으로든 파손되었을 때 학습할 수 있는 알고리즘의 기능을 말합니다.실제로, 이것은 매우 일반적이고 중요한 문제입니다. 왜냐하면 많은 애플리케이션에서는 노이즈가 없는 데이터에 액세스할 수 없기 때문입니다.노이즈는 다양한 레벨에서 학습 프로세스를 방해할 수 있습니다.알고리즘이 가끔 잘못된 라벨이 붙은 데이터를 수신하거나 입력에 잘못된 정보가 포함되어 있거나 예제의 분류가 악의적으로 혼입되어 있을 수 있습니다.

표기법과 Valiant 학습 모델

다음 중$X$를$n차원$ $입력공간$으로 $합니다{\displaystyle }$$.$H$(\$$displaystyle$ ${H})$를${\displaystyle }$X$(\backslash$$displaystyle)$에 $대해{\displaystyle }$ 정의된 {$0$ $}(\displaystyle$\0,$1\})$ 값 목표$$ $함수{\displaystyle }$f(\$displaystyle$ f$)$를 학습하기 위해 사용하는 함수 클래스라고 합니다.D$(\$를 X$(\$displaystyle)에 대한 입력 분포라고 $합니다{\displaystyle \mathcal{}}$.$플레이 스타일$ X$\}.$$학습$ $A$의 목표는 $e{\displaystyle }$ ${\displaystyle r}$ ${\displaystyle or}$ (${\displaystyle }$h )$$${\displaystyle =}$ ${\displaystyle P_{}}$x ~${\displaystyle {}_{}D}$ (${\displaystyle x}$ )$$${\displaystyle \ne f}$ (${\displaystyle x}$ )$$= < $display style$$error$ ( h ) = < displaystyle$error$ ( h )$$$=$$P_{x\sim {D}(h(x)\neq$ f$(x$ f$${$displaystyle$f$\}$의 $복잡성$을 측정할 수 있는 $함수{\displaystyle }$ ${\displaystyle \mathrm{si}}$ z $)$ {$displaystyle$ size$($$f)}$가 있다고 가정합니다.예를 들어 $오라클{\displaystyle }$$)$은$$x가 반환될 때마다 Oracle$(x)$이라고 ${\displaystyle \text{합니다}}$.$아벨{\displaystyle }$f ( ${\displaystyle x}$)${\displaystyle }${$displaystyle$ f$(x$

노이즈가 데이터를 손상시키지 않으면 Valiant ^[1][2]설정에서 학습을 정의할 수 있습니다.

정의:Oracle$(x)$ 및 다항식 $p{\displaystyle (}$$x$$)$에 ${\displaystyle \text{액세스할}}$ 수 있는 학습 $알고리즘{\displaystyle \mathcal{}}$A(\$displaystyle\mathcal {A})$가 있는 경우 발리안트 설정에서 H${\displaystyle (\backslash }$$displaystyle\mathcal {H})$를 $사용$하여 f$displaystyle$ f${\displaystyle )}$를 효율적으로 학습할 수 $있습니다{\displaystyle }$${\displaystyle .}$어떤 0<>에Ystyle p(\cdot,\cdot ,\cdot ,\cdot)}과 같이;ε ≤ 1{\displaystyle 0<, \varepsilon \leq 1}과 0개체, δ ≤ 1{\displaystyle 0<, \delta \leq 1}이 출력하는 신탁에 대한 호출을 번호 p을 경계로)(1ε, 1δ, n, 크기(f){\displaystyle p\left({\frac{1}{\varepsilon}},{\frac{1}{.\delta}},n,${text$${size}($$f)\right},$ 조건 $($를 최소${\displaystyle }1{\displaystyle \mathrm{}}$ - $"\$$displaystyle 1-$$\delta$$"$로 만족시키는 $함수h{\displaystyle h\mathcal{}}$ H$$h$$ \ $displaystyle$$$h \ $in$$$\ $mathcal${ $H}$ $。$

다음에서는 데이터가 일부 ^[3][4][5]수정되었을 때 f$\displaystyle$f의$$ $학습{\displaystyle }$ 가능성을 정의합니다.

분류 소음

분류 노이즈^[6] 모델에서는 노이즈 0≤< < 1 \ $displaystyle 0 \ leq$ \eta < { \ $frac${$1$}{2$}}$가 도입된다.그러면 x의 $올바른{\displaystyle }$ 라벨을 항상 반환하는 Oracle$($$x$ $대신$ $알고리즘A$는$x$의 $라벨$을 $뒤집는$ $Oracle(x,$ $)$만을 호출할 수 있습니다$.$$aystyle$ x$($$확률$ ${\$ {$display style$ \eta$\}$ ). Valiant 사례와$$같이 $학습$ $알고리즘{\displaystyle \mathcal{}}$ A$(\displaystyle$ {A$})$의 목표는 e ${\displaystyle r}$ ${\displaystyle o}$ ${\displaystyle r(h_{})}$ ${\displaystyle {=}_{}}$ P${\displaystyle {}_{}}$X d(${\displaystyle f)}$를 $최소화$하도록 최적의 $함수{\displaystyle }$ h$(\$ {$H})$를 선택하는 것입니다${\displaystyle .}$$에러(h)=$P_{x\sim{{D\mathcal}}}(h())\neq f()))}. 적용의 경우 η{\displaystyle \eta}의 실질 가치에 접근하기 위해. 하지만 우리가}.[7]만약 그 소음률이 1/2{1/2\displaystyle}허용한다면, 그 학습 거의 불가능해 집니다는upperboundη B{\displaystyle \eta_{B}에 대한 접근이 있을 것 같은데 어렵다.에서모든 라벨이 대상 함수에 대한 정보를 전달하지 않기 때문에 계산 시간이 얼마든 상관없습니다.

정의:Oracle${\displaystyle }$(${\displaystyle x}$ , ${\displaystyle )}$) \ $displaystyle \ text$ { $Oracle$} ( $x$, \$eta$ ) 및$$ 다항식${\displaystyle }p{\displaystyle }$ ( ${\displaystyle )}$에 액세스 할 수 있는 $학습{\displaystyle \mathcal{}}$ 알고리즘$$A ( \ $displaystyle$\$mathcal${$A$} )가$$ 존재하는 경우 분류 노이즈 모델에서$$f $($ \ $displaystyle${ H$$${\displaystyle \}}$ )를 사용하여$$ 효율적으로 학습할 수 $있다고{\displaystyle }$ 합니다.${\displaystyle ,}$"${\displaystyle }$, "$（$\ $cdot$, \ $cdot$, \ $cdot$ , \ cdot , \ $cdot ）$ 。 $0$ ${\displaystyle \le }$ ${\displaystyle \frac{21}{}}$ 2$$\ $display$ 0 \$$$leq$ \$leq$ { $}, 0$${\displaystyle }$$}}$${\displaystyle 1}$\ $display style$${\displaystyle }$0 \$$${\displaystyle \mathrm{q1}}$ \ q 01$01$$$01$01$ $01{\displaystyle \mathrm{}}$ ${\displaystyle 01}$ 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 ,1 ,1 ,1 § ${\displaystyle \frac{B}{}\frac{{}_{}}{}}$ 1 ${\displaystyle ,,}$ ${\displaystyle 1}$n${\displaystyle ,}$ ${\displaystyle \mathrm{nsiz}}$ e ($f$)${\displaystyle }${ $displaystyle$$p\left$ ( { \$frac$ { $1 }$ { \$varepsilon$} , { \$frac$ {$1$} { \ $delta }$ , n$size$ ($f$ ) \ right$$$}$ $hstyleft{\displaystyle }$ ,$):\displaystyle$error($h)\leq \varepsilon$

통계 쿼리 학습

만약 Pf가능성에 대한 정보를 요청할}({\displaystyle P_{f())}}은 함수 f{\displaystyle f}정확합니다. 예){\displaystyle)}이라고 분류해 활발 중심 학습 문제의 학습이 한{\displaystyle{{A\mathcal}}산법 통계 QueryLearning[8]는 친절한 결정할 수 있습니다.레$(\displaystyle\alpha$ 내에서 정확한 답변을 제시합니다.공식적으로 학습 $알고리즘{\displaystyle \mathcal{}}$ A$(\$$A$$})$가 $x$을 호출할 때마다 다음과 같은 피드백 $확률{\displaystyle {}_{}}$ ${\displaystyle Q_{}}$ f$(x,\$$alpha$$)$로 수신합니다.${\displaystyle {}_{}Q{}_{}}$f (${\displaystyle x_{}}$) - α${\displaystyle {}_{}}$ ${\displaystyle {Pf}_{}}$ (${\displaystyle {}_{}}$x )${\displaystyle {}_{}{}_{}}$ ${\displaystyle Q{f}_{}}$ ( x${\displaystyle {}_{}}$) +$$α { $displaystyle Q_{f(x)}-\alpha$ \$leq P_{f($x)}\$leQ Q_{f($x)}+\alpha$$}.

정의:Oracle${\displaystyle (x,}$α$)$ 및 $다항식{\displaystyle }$$$pials에 $액세스할$수 $있는$ 학습 $알고리즘{\displaystyle \mathcal{}}$A$(\$$displaystyle$ {$A})$가 있는 경우$$통계 쿼리 학습 $모델$에서 H$(\$displaystyle {$H})$를 ${\displaystyle \text{사용}}$하여 f$(\displaystyle$ f$)$를 효율적으로 학습할 수 $있다{\displaystyle }$.${\displaystyle }$"${\displaystyle }$, " , " $){$ $displaystyle$p ( \ $cdot$, \ $cdot$, \ $cdot )$、${\displaystyle }q{\displaystyle }$( "${\displaystyle }$, "${\displaystyle }$){ $displaystyle$ ( \ $cdot$, \ $cdot$ , \ cdot$$)$$}${\displaystyle }$、 $r$ ( " , " )$$ \ $displaystyle$ r ( \ $$, \ cdot , \ $cdot$)

1. ${\displaystyle \text{Oracle}}$( ${\displaystyle x}$,$$) { { $displaystyle$$${ $Oracle$} ($x$ , $\$ alpha ) }${\displaystyle {}_{}}$${\displaystyle \frac{\mathrm{q<img\; alt="\{\backslash displaystyle\; \{\backslash text\{Oracle\}\}(x,\backslash alpha\; )\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/bcd4fc36389a63bcf3b24f0eedf78a8a3902fae4"\; style="vertical-align:\; -0.838ex;\; width:12.254ex;\; height:2.843ex;">}}{}}$、 p f (${\displaystyle {}_{}}$x$)$} $in$ 、 (${\displaystyle }$、 ${\displaystyle n}$、 ${\displaystyle \mathrm{si}}$ ${\displaystyle z}$e (${\displaystyle f}$ )$$\ $displaystyle q$ \ left ( { \ $frac${ $1$} { \ $varepsilon }$ } }$$}$$、 n \ size ） 。
2. $1α({$는${\displaystyle }$r(${\displaystyle 1\mu \frac{\mathrm{}}{},}$ ${\displaystyle n,}$ ${\displaystyle \mathrm{si}}$ z${\displaystyle e}$ ($){$ r$\leftfac {1},$ n,$size(f)\right)$로 둘러싸여 ${\displaystyle \frac{\mathrm{있습니다}}{}}$.
3. ${\displaystyle$ {$A}}$은$($는) p${\displaystyle }$( ${\displaystyle \frac{1}{}}$ ${\displaystyle 、n}$ , ${\displaystyle s}$ ${\displaystyle ze}$ (${\displaystyle f}$)$$\ $displaystyle p$ \ left ( { \ $frac${ \ flac $1$} }$ps$ by bounded bounded 、 r ($)$<\ $varepsilon$ } that r r r r the the to to to to to to to to to to to to to to to to to to to to to to to to to to to to to to to to to toto to {\ to to to to to {\ {\ to to to to to to to to to to {\ {\ {\

학습 $정의$에는 신뢰 파라미터 $"\style\delta"$가 표시되지 않습니다.$이$는 $§(\displaystyle\delta)$의 주요 목적이 대표적이지 않은 샘플로 인한 학습 알고리즘의 실패 가능성을 작게 하는 것이기 때문입니다.${\displaystyle \mathrm{Oracle}}$(${\displaystyle }$x ,${\displaystyle \alpha }$ $){ display${$Oracle$} ( $x$, \$alpha$ ) $}$는 항상 $근사{\displaystyle {}_{}}$ 기준 Q${\displaystyle f_{}}$ (${\displaystyle x_{}}$) - ${\displaystyle {}_{}{}_{}}$ P${\displaystyle f_{}{}_{}}$(${\displaystyle {}_{}{x}_{}}$)${\displaystyle {}_{}}$+$$ { $display style$ Q _ {$f$ ( x )$$}-\$alpha \leq P _$ ${$ f ( $x$ ){ f ( x )\le Q f } ( r )

통계 쿼리 모델은 PAC 모델보다 완전히 약합니다.SQ 학습이 효율적인 클래스는 분류 노이즈가 존재하는 경우 PAC 학습이 효율적이지만 패리티 등 효율적으로 PAC 학습할 ^[8]수 있는 문제가 있습니다.

악의적인 분류

악의적인 분류^[9] 모델에서 상대는 학습 알고리즘을 저지하기 위해 오류를 생성합니다.이 설정은 제한된 시간 동안 전송 장치가 반복적으로 오작동할 때 발생할 수 있는 오류 버스트 상황을 설명합니다.형식적으로 $알고리즘{\displaystyle \mathcal{}}$ A$(\$는 $)$을 호출합니다. Oracle($x,$β)은$$ 분포 $(\$에서 올바르게 라벨이 지정된 $예제{\displaystyle }$ x$(x$$,\beta$$)$를 $확률{\displaystyle \mathrm{}1}$ - β로 반환합니다.$({displaystyle$ 1-$\beta$ $그러나{\displaystyle }$$D$와 관련되지 않은 분포에서 도출된 예를 β$({displaystyle$$\beta$})와 함께 반환합니다.또, 악의적으로 선택된$$이 예는 f{$displaystyle$ $f{\displaystyle }$$\},$$β$를 $알고{\displaystyle }$ 있는 적에 의해 전략적으로 선택될 수 있습니다.$aystyle \beta$ $\}$ ,$D{\displaystyle \mathcal{}}$ \$style {\mathcal {D$ 또는 학습 알고리즘의 현재 진행 상황.

정의:;{\frac{1}{2}}}0≤β<12{\displaystyle 0\leq \beta<>{\frac{1}{2}}에}한번 뛰어 β B<12{\displaystyle \beta_{B}&lt을 감안하여, 우리는 만약 a가 존재한다고 f{\displaystyle f}효율적으로 그 악의 있는 분류 모델}}, H{\displaystyle{{H\mathcal}를 사용하여 익힐 수 있는 있다고 말한다알 학습Gorithm{\displaystyle{{A\mathcal}}}이 접근하는 오라클(x, β){\displaystyle{\text{오라클}}(x,\beta)}과 다항식 p(⋅, ⋅, ⋅, ⋅, ⋅){\displaystyle p(\cdot,\cdot,\cdot ,\cdot ,\cdot)}가에 대한 0<>ε ≤ 1{\displaystyle 0<, \varepsilon \leq 1}, 0<>δ ≤ 1{\disp.laystyle 0<, \delta \leq 1}그것을 출력하는 신탁에 대한 호출을 번호 p을 경계로)(11/2− β B, 1ε, 1δ, n, s나는 z e(f){\displaystyle p\left({\frac{1}{1/2-\beta_{B}}},{\frac{1}{\varepsilon}},{\frac{1}{\delta}},n,size(f)\right)}, 함수 h∈ H{\displaystyle h\in{{H\mathcal}}}를.st적어도${\displaystyle }1개$의$확률$로 ${\displaystyle \mathrm{조건e}}$ ${\displaystyle r}$ ${\displaystyle ro}$r ( h )는$displaystyle$error ($h)\leq \varepsilon$ $\}$ 입니다.

입력 오류: 불균일한 랜덤 속성 노이즈

그 불균일 무작위 특성 noise[10][11]모델에는 알고리즘 부울 함수, 악성 신탁 오라클(x, ν){\displaystyle{\text{오라클}}(x,\nu)}를 배우는 것은 나는 예 x-th 비트)(x1x2,…,)n){\displaystyle x=(x_{1},x_{2},\ldots ,x_{n})}independe{\displaystyle 나는}각 동전을 던질 수 있다.ntly 재치h 확률: $i{\displaystyle {}_{}}$ $display$（ \ $displaystyle$ \$nu _$ { i } \$leq \$nu$$。

이러한 유형의 오류는 알고리즘을 돌이킬 수 없을 정도로 방해할 수 있습니다.실제로 다음과 같은 정리가 적용됩니다.

불균일한 랜덤 속성 노이즈 설정에서는 $$A(\$displaystyle\mathcal {A})$는 r($h$$)$ <\$displaystyle error$(h $<\$varepsilon}<\$displaystyle error$$(h$$)><\$$varepsilon2$$>$의 를 출력할 수 있습니다.

「 」를 참조해 주세요.

레퍼런스