분포 학습 이론

분포 학습 이론 또는 확률 분포의 학습은 계산 학습 이론의 틀이다.1994년에 Michael Kearns, Yishay Mansour, Dana Ron, Ronitt Rubinfeld, Robert Schapire 및 Linda Sellie에서 제안되었으며, Leslie Valiant가 ^[2]도입한 PAC 프레임워크에서 영감을 받았습니다.

이 프레임워크에서 입력은 분포의 특정 클래스에 속하는 분포에서 추출된 다수의 표본이다.목표는 이러한 표본을 기반으로 표본이 추출된 분포를 높은 확률로 결정하는 효율적인 알고리즘을 찾는 것입니다.그 일반성 때문에, 이 프레임워크는 기계 학습, 근사 알고리즘, 응용 확률 및 통계와 같은 다양한 분야에서 사용되어 왔다.

이 기사에서는 계산 이론의 관점에서 이 프레임워크의 기본 정의, 도구 및 결과를 설명합니다.

정의들

$X($xisplaystyle $\textstyle$ X$)$를 관심 분포의 지원으로 $합니다{\displaystyle }$.컨즈(알의 원작 있습니다.만약 X{\textstyle X\displaystyle}에는 한도가 있다.[1]그것은 일반성의 손실 없이 X가{0,1}n{\displaystyle\textstyle X=\{0,1\}^{n}초기 조향 순간}은 사용되어야 한다 비트의 n{\textstyle n\displaystyle}은 번호에 y∈ X{\d을 나타내는 데 가정할 수 있다.$isplaystyle \textstyle$ y$\in$X$.$ X$(\$ X$)$에 대한 $확률{\displaystyle }$ 분포에 초점을 맞춥니다.

$X에$ 확률 $분포{\displaystyle }$D$(\$$displaystyle\$$textstyle$ X$)$에는 두 가지 표현이 있습니다.

• 확률분포함수(또는 평가자$)$의 ${\displaystyle {평가자}_{}}$ $ED(\$displaystyle \$textstyle$$E_$${$D$$$$})는 $임의$의 y$(\$displaystyle \$textstyle$ $y\in$ X)를 입력으로 사용하여 다음 확률을 나타내는 $실수{\displaystyle {}_{}}$ $y]$를 출력한다.${\displaystyle }$${\displaystyle D_{}}$$${\$displaystyle \textstyle$ D${\displaystyle {}_{}}$에 따른$$y \$displaystyle \textstyle$ \textstyle y$$$=$ $Pr$ [ Y $displaystyle \textstyle E_{D}[y$]=${\displaystyle \backslash }$$Pr$[ Y$=$ y ]$$} (Y$$ ~$D$의 $,\$displaystyle \$textstyle$Y\$sim$D$).$
• $제너레이터{\displaystyle {}_{}}$ G$$$(\$$displaystyle \textstyle$ D$)$ $생성기$ G(\$displaystyle$ \textstyle$$ G_${D})$는 D(\$displaystyle$ \$textstyle$ \$textstyle$ y${\displaystyle )}$의 문자열을 입력으로 사용하여 $(\$$displaystyle \textstyle G_{D$$}[$$y])$를 $출력$합니다.$$D$\}.$ 제너레이터는 일련의 페어코인 토스가 주어진 $분포{\displaystyle }$D(\displaystyle$\textstyle$ D$)$에서 샘플링을 시뮬레이트하는 루틴으로 해석할 수 $있습니다$.

$분포{\displaystyle }$ D$\$는 그$$ 생성기(각 평가기)가 존재하며 다항시간 내에 계산할 수 있는 경우 다항식 생성기(각 평가기)를 가지도록 호출된다.

${\displaystyle C_{}}$ X$(\$를 X에 대한 분포 클래스로 $합니다{\displaystyle {}_{}}$.${\displaystyle {즉}_{}}$, C$$X$(\$$displaystyle \$$textstyle$$C_{X})$는 모든 D${\displaystyle {}_{}}$ ${\displaystyle C_{}}$X \$in$ C_${X$$\}$가 X$\displaystyle$을 $지원$하는 확률 분포가 되도록 설정됩니다.${\displaystyle C_{}}$ X$(\$는 C$(\$ C$)$로 간단하게 쓸 수도 있습니다.

학습 가능성을 정의하기 전에 $D$의 근사치를 정의해야 합니다$.$ 두 분포 $사이$의 거리를 측정하는 방법은 여러 가지가 있습니다.다음 세 가지 일반적인 가능성이 있습니다.

• 쿨백-라이블러 발산
• 확률 측도의 총 변동 거리
• 콜모고로프 거리

이들 거리 중 가장 강한 것은 쿨백-라이블러 발산이고 가장 약한 것은 콜모고로프 거리이다.즉, D$(\$의 임의의 쌍에 대해 D$(\$는 다음과 같습니다.

$\displaystyle\text{KL-distance}(D,D')\geq\text{TV-distance}(D,D')\geq {text {Kolmogorov-distance}(D,D')}}$

$따라서{\displaystyle {}^{}}$ 예를 들어$$D$(\displaystyle$ \$textstyle$ D$)$와$D(\displaystyle$ \$textstyle$D$$')가 Kullback-Leibler 컨버전스에 근접한 경우 다른 $모든{\displaystyle }$ 거리에도 근접합니다.

다음 정의는 모든 거리에 대해 유지되므로 $기호{\displaystyle }$d (${\displaystyle D}$ , ${\displaystyle {}^{}}$ ${\displaystyle )}$ $){$ $displaystyle \textstyle$d ($D$$$ ,$$D )$$} 에는 위에서 설명한 거리 중 $하나$를 사용하여 분포$$D 와 $분포{\displaystyle {}^{}}$ D ${\$ （ \ $displaystyle$$\$ $textstyle$ D$$） 사이의$$$$ 거리를 나타냅니다.분포 클래스의 학습 가능성은 이러한 거리 중 하나를 사용하여 정의할 수 있지만 응용 프로그램은 특정 거리를 참조합니다.

분포를 학습하기 위해 사용하는 기본 입력은 이 분포에 의해 도출된 다수의 샘플입니다.계산적 관점에서 이러한 표본은 일정한 시간 내에 제공된다는 가정이다.$즉{\displaystyle }$, 분포$D$에서 샘플을 반환하는 $Oracle{\displaystyle }$ ${\displaystyle G}$ ${\displaystyle E}$N (${\displaystyle D}$ $)$ \ $displaystyle$ \$textstyle$$$GEN ( $D$$$)에$$ 액세스 할 수 있는 것과 같습니다.시간 복잡도를 측정하는 것 외에 특정 분포를 학습하기 위해 사용해야 하는 샘플의 수를 측정하는 것도 중요합니다.${\displaystyle }$$D$$$\ $displaystyle$\ $textstyle$ D$$\ $displaystyle$C \ displaystyle C$$。이 양을 학습 알고리즘의 샘플 복잡도라고 합니다.

분포 학습의 문제를 보다 명확하게 하기 위해 ^[3]에 정의된 감독 학습의 문제를 고려합니다.통계 학습 이론의 이 프레임워크에서$$ 훈련 $집합{\displaystyle }$ S ${\displaystyle =}${ ( ${\displaystyle {}_{}{1\mathrm{}}_{}}$ , ${\displaystyle {y\mathrm{}}_{}}$1${\displaystyle {}_{}}$)${\displaystyle }$, ${\displaystyle ...}$ , ( ${\displaystyle x_{}}$n , ${\displaystyle {}_{}{n}_{}}$ ) $}$ { $displaystyle$\$textstyle$ S ${\displaystyle \to }$ \ { ( x$_ {1$} , $y$_ { $n$ } ) , \$dots$ , ( x _ $n$, y$$_ { n$$} \ } \ $displaystyle$ fstyle $을{\displaystyle }$ 찾습니다$.$제곱 손실 함수$f{\displaystyle }$ ${\displaystyle =}$ arg${\displaystyle \underset{}{g}}$ ${\displaystyle \underset{}{min}}$ g${\displaystyle \underset{}{}g}$V${\displaystyle }$(${\displaystyle }$y ,${\displaystyle g}$( ${\displaystyle x}$ ) ${\displaystyle d}$（${\displaystyle x}$, ${\displaystyle y}$) \ $displaystyle$ f = \$display$ \ $min$ _ { $g$} \ $int$V ($y$ ,$g$ ($x$ , y ) $d$ \ $rho ($x , y )$$。$여기$서${\displaystyle }$V (${\displaystyle }$g ,${\displaystyle 、}$、$$g ) \ $displaystyle$ V ( \ $cdot$\ cd \ cdot \ $cdot$ \ cd )는 e )의 손실입니다$.$교육 세트의 요소를 표본으로 추출하는 준수성 분포.조건부 확률분포 ${\displaystyle {\delta }_{}x}$( y$){$ $displaystyle$ \$rho$_ {$x }(y$)}가$$$$ 알려진 경우 타겟 함수는 $닫힌{\displaystyle }$형식 ${\displaystyle f}$ (${\displaystyle }$x )$=$ ${\displaystyle {}_{}}$ y ${\displaystyle d}$x (${\displaystyle y}$ $){$ $displaystyle$f ( x )= \ $int _${ y $rho$_ { $x$입니다. 즉, $set$S $style$ set set set set of s$.$${\displaystyle\rho(x,$y$)\}$ 이제 분포 학습 이론의 목표는 목표 $함수{\displaystyle }$ f${displaystyle$ f$\}$를 찾는 데 사용할 수 있는 S$$${\$$displaystyle$ S$}$를 찾는$$ 것입니다$.$

학습성의 정의

모든 ϵ>에 0{\displaystyle\textstyle \epsilon>0}과 0개체, δ ≤ 1{\displaystyle \textstyle 0<, \delta \leq 1} 알 수 없는 유통을 위한 GEN(D){\textstyle GEN(D)\displaystyle}에 대한 접근권을 부여하는 것은 C{\displaystyle\textstyle C}의 수업 효율적으로 익힐 수 있는이라고 불린다. D∈ C{\d$isplaystyle \textstyle$ D$\in$ C$,$ C\$displaystyle$ \$textstyle$ C의 $학습{\displaystyle }$ 알고리즘이라고 불리는 다항식 시간 $알고리즘{\displaystyle }$ A$\backslash$$displaystyle$$\textstyle$A가 존재합니다$.$이 알고리즘은 다음과 같은 $분포{\displaystyle {}^{}}$ D의 생성자 또는 평가자(\displaystyle $\textstyle$ D$')$를 출력합니다.

$\displaystyle \Pr[d(D,D')\leq \epsilon]\geq 1-\delta }$

D ${\displaystyle \prime }$ ${\displaystyle C}$\ $displaystyle$$$\ $textstyle$ D ' \ $in$ C$that$ $that{\displaystyle }$ 、 \ $displaystyle$ \ $textstyle$A$$ ,,,,,알고리즘이라고 불리며, 그렇지 않으면 부적절한 학습 알고리즘이라고 불립니다.

$일부{\displaystyle }$ 설정에서는 분포 C$(\$ C$)$ 클래스가$$ 파라미터 세트로 설명할 수 있는 잘 알려진 분포를 가진 클래스입니다.$예$를 들어 C$(\$$textstyle$C$)$는 모든 가우스 $분포{\displaystyle }$ N$(μ$ $2$2$$)의 $클래스$입니다.이 경우 $알고리즘{\displaystyle }$A(\$displaystyle$ \$textstyle$$^{2$는 파라미터${\displaystyle }$μ ,$$\$display$style \$textstyle$ . $sigma$$}$를 추정할 수 있어야 합니다.이 $경우{\displaystyle }$\$displaystyle \textstyle$A는$$ 파라미터 학습 알고리즘이라고 불립니다.

분명 단순한 분포에 대한 모수 학습은 통계적 추정이라고 불리는 매우 잘 연구된 분야이며, 다양한 종류의 단순한 알려진 분포에 대한 다양한 추정치에 대한 매우 긴 참고 문헌이 있다.그러나 분포 학습 이론은 더 복잡한 설명을 가진 분포의 학습 클래스를 다룬다.

첫 번째 결과

Kearns 등에서는 $A를$$$유한 다항식$크기$의 회로로 기술하고 특정 ^[1]분포 클래스에 대해 다음을 증명하는 경우를 $다룬다{\displaystyle }$.

• ${\displaystyle O}$R \$displaystyle \textstyle$ OR$}$ 게이트$$ 분포는 #${\displaystyle P\text{p}}$ P $/$poly \$displaystyle \#P\subseteq$ P$/{\text{poly$를 제외하고 다항식 크기의 평가자는 없습니다. 한편, 이 클래스는 제너레이터를 사용하여 효율적으로 학습할 수 있습니다.
• 이 클래스의 패리티 게이트 분포는 제너레이터와 평가자 모두에서 효율적으로 학습할 수 있습니다.
• 이 클래스의 해밍 볼 혼합물은 발생기와 평가자 모두에서 효율적으로 학습할 수 있습니다.
• 확률론적 유한 오토마타는 PAC 학습 프레임워크에서 불가능한 가정인 노이즈 패리티 가정 하에서 평가자와 함께 효율적으로 학습할 수 없다.

$§$ - \$displaystyle$ \ textstyle \$epsilon$ $-$ } $커버$

$C$의 클래스에 대한 학습 알고리즘을 찾기 위한 매우 일반적인 방법 중 하나는 $먼저$C \displaystyle \$textstyle$ \epsilon$-$$\}$의 $작은{\displaystyle }$$$ - \$displaystyle$$\textstyle$C의 커버를 찾는 것입니다.

정의.

$세트{\displaystyle {}_{}}$ C ${\$ { \ $display style$ \ $textstyle$ C _ { \ $epsilon$$}$는 ${\displaystyle D_{}}$$$${\displaystyle c}$$$C \ $display$style \ $textstyle$$$D \ $in$$$$C$ ${\displaystyle \}}$마다 D$$ ${\displaystyle {}_{}}$ \ display style C \ $display style$ C \ $textstyle$ C$}$의 ${\displaystyle {커버}_{}}$라고 불립니다.${\displaystyle )}$ \$displaystyle$\ $textstyle$ d$(D,D')\leq \$$epsilon$$\}$ ${\displaystyle 。}D{\displaystyle }$$\$ $displaystyle$\$textstyle$$$D$\}$를 나타내는 파라미터에 대해 다항식 사이즈를 갖는 경우 커버는 작습니다$.$

옛날에 모든 ϵ는 을 효율적인 절차이다;0{\displaystyle\textstyle \epsilon>0}C({\displaystyle\textstyle C_{\epsilon}}C그 다음에 유일한 좌파 과제 C에서 선택할 있는 작은ϵ −{\displaystyle\textstyle \epsilon-}커버를 찾으면{\displaystyle\textstyle C_{\epsilon}}톤그는 dis$학습$해야 할 $분포{\displaystyle }$ D${\displaystyle c}$$$C \$$$displaystyle$\ $textstyle$ D \ $in$ C$$_$$$${ \ $epsilon }$ 。

$문제$는 D${\displaystyle ,}$ ${\displaystyle {}^{}}$${\displaystyle ,}$ $C_${\epsilon$}$에 $지정$된 C$,$ $D,$ D$'\displaystyle$ D$(\$displaystyle$$ \$textstyle$ d$(D, D')$$및{\displaystyle }$ D${\displaystyle ({}^{},{}^{}}$D$') style$ D(\textstyle D')를 $비교$하는 방법이 간단하지 않다는 점입니다$.$$xtstyle$$D.$ D를 알 수 없기 $때문$입니다.따라서 이러한 비교에는$$D$(\displaystyle\textstyle$ D$)$의 샘플을 사용해야 합니다.분명히 비교 결과는 항상 오차 확률을 가지고 있다.따라서 작업은 노이즈가 많은 비교를 사용하여 요소 집합에서 최소값을 찾는 것과 유사합니다.이 목표를 달성하기 위해서는 많은 고전적인 알고리즘이 있습니다.가장 최근의 사건은 최고의 보장을 달성하도록 Daskalakis과 Kamath[4]에 의해 제시되었다 이 알고리즘은 C는 이번 대회의ϵ −{\displ은 요소 요소들이 우승자 D{\displaystyle\textstyle D^{*}∗({\displaystyle\textstyle C_{\epsilon}}}사이에 빠른 토너먼트를 설정합니다.아아!$style$\$textstyle \$$epsilon -$} $in$ $、$ $D$${\displaystyle }$（$$ ${\displaystyle D}$ ${\displaystyle {}^{}}$ ${\displaystyle \mathrm{in}}$ $、$ \$display style$ d ( $D$^ { * ) \$leq$ \epsilon $\}$ 。알고리즘의 순서는 $적어도1{\displaystyle \mathrm{}}$-$$ \$displaystyle$ \ $textstyle$ 1 - $delta$） 。$O(\log$ N$/\epsilon ^{2})$는 D$(\$ D$)$에서 샘플링을 수행하고${\displaystyle }$O(${\displaystyle N}$ ${\displaystyle \mathrm{로그}/}$ N / ${\displaystyle {2\mathrm{}}^{}}$2 $)(\displaystyle O(N\log$N/\$epsilon ^{$2}) 시간$$ $내$에 실행됩니다. $여기$서 ${\displaystyle N{}_{}}$ ${\displaystyle =}$ C$display$ \displaystyle \$textstyle$ \$textstyle$N = {$EPS_EPS =$

랜덤 변수의 학습 합계

단순하게 잘 알려진 분포에 대한 학습은 잘 연구된 분야이며 사용할 수 있는 많은 추정치가 있습니다.한 가지 더 복잡한 분포 클래스는 단순 분포를 따르는 변수 합계의 분포입니다.이러한 학습 절차는 합계가 무한합이 되는 경향이 있을 때 동일한 대상을 검토하는 경향이 있기 때문에 중심 한계 정리처럼 한계 이론과 밀접한 관계가 있습니다.최근 여기에 설명된 두 가지 결과는 독립적인 정수 랜덤 변수의 학습 포아송 이항 분포와 학습 합계를 포함한다.아래의 모든 결과는 총 변동 거리를 거리 측도로 사용하여 유지됩니다.

포아송 이항 분포 학습

bernouli 랜덤$$ $변수{\displaystyle {}_{}}$$$X${\displaystyle {}_{}{1\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle X_{}}$$$\$displaystyle X_{1},$${\displaystyle }$\$dots, X_{n$}, ${\displaystyle {p\mathrm{}}_{}}$\$displaystyle p_1},$\$dots, p_n$ p n\$displaystyle$ p_${1$},\dots, p_n$}$의 성공 $확률$을 고려합니다$.$$le$n은 $합계$ X ${\displaystyle =\underset{i}{}}$ i ${\displaystyle X_{}}$i \ $displaystyle$X = \$sum$_ {$i} X_{i$의 분포입니다. 클래스 ${\displaystyle \mathrm{PB}}$ ${\displaystyle D}$ $=$ {${\displaystyle D}$ : ${\displaystyle \text{D는 포아송}}$ 이항 ${\displaystyle \text{분포}}$입니다$.\$ $displaystyle$\$textstyle PBD$ =\{$D:$$D~{\text{는 포아송 이항$ 분포$\}\}\backslash \}.$다음 결과 중 첫 번째는 ${\displaystyle \mathrm{PB}}$ D$(\$ PBD$)$의 부적절한 학습에 관한 것이며 두 번째는 ${\displaystyle \mathrm{PB}}$ D$(\$ PBD$)$^[5]의 적절한 학습에 관한 것입니다.

정리

∈ PBD{\textstyle D\in 대통령 예산 확정\displaystyle}에 n{\textstyle n\displaystyle},ϵ>를 주어진 알고리즘은;0{\displaystyle\textstyle \epsilon>0}, 0<>δ ≤ 1{\displaystyle \textstyle 0<, \delta \leq 1}과 GEN에 대한 액세스(D)D자{\textstyle GEN(D)\displaystyle}a를 찾는다 D′$$${\displaystyle \backslash }$$displaystyle \textstyle$ D$'$는 ${\displaystyle \mathrm{Pr}}$ [${\displaystyle }$d (${\displaystyle {}^{}}$ , D${\displaystyle }$) )${\displaystyle ]}$ - ${\displaystyle 1}$ -$$" \ $displaystyle \ Pr$ [$d$ ($D$ , $D$' ) \$leq$ \ epsilon ]\ $geq 1-$\ $delta$ 。이 알고리즘의 샘플 $복잡도$는${\displaystyle \stackrel{}{}}$O${\displaystyle }$(${\displaystyle }$1 /${\displaystyle {}^{}}$1 )입니다${\displaystyle .}$$time$은 O${\displaystyle }$~${\displaystyle }$( ${\displaystyle {1\mathrm{}}^{}}$/ ${\displaystyle {}^{}}$ ${\displaystyle 3}$ )${\displaystyle \log {2n\mathrm{}}^{}}$ log 2${\displaystyle }$( (${\displaystyle 1}$ / ${\displaystyle )}$ $){$ $displaystyle \tilde {O}((1/\epsilon$^{$3})\log$ n$\log ^{2$}($1/\delta$)$$} 。

정리

∈ PBD{\textstyle D\in 대통령 예산 확정\displaystyle}에 n{\textstyle n\displaystyle},ϵ>를 주어진 알고리즘은;0{\displaystyle\textstyle \epsilon>0}, 0<>δ ≤ 1{\displaystyle \textstyle 0<, \delta \leq 1}과 GEN에 대한 액세스(D)D자{\textstyle GEN(D)\displaystyle}a를 찾는다 D′ ∈${\displaystyle \mathrm{PB}}$ D$(\$ D$'\$${\displaystyle \mathrm{in}}$ PBD$)$ : ${\displaystyle \mathrm{Pr}}$ ${\displaystyle [D}$( D , ${\displaystyle {}^{}}$)${\displaystyle ]}$- ${\displaystyle 1}$ -$$" ( \ $displaystyle$\ $textstyle \ Pr$ [$d$ ( D , $D$' )\$leq$\$epsilon ]\geq 1-\delta$${\displaystyle }$$）$ $。$${\displaystyle \mathrm{이<img\; alt="\backslash textstyle\; D\text{'}\; \backslash in\; PBD"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/d4bedeaeffa5db958636a94bfc0c8dc00b67f16a"\; style="vertical-align:\; -0.338ex;\; width:10.883ex;\; height:2.343ex;"\; papago-attr-id="303">}}$ 알고리즘의 복잡도는 $다음$과 같습니다${\displaystyle .}$실행시간은${\displaystyle }$( ${\displaystyle 1}$/${\displaystyle {}^{}}$" )${\displaystyle O^{}}$ ( ${\displaystyle {{log\mathrm{}}^{}}^{}}$ 2${\displaystyle {}^{}}$" (${\displaystyle 1^{}}$ / "${\displaystyle {}^{}}$)${\displaystyle \stackrel{}{}{}^{}\stackrel{}{}}$~ ( ${\displaystyle \log }$" ${\displaystyle n}$ ${\displaystyle \log }$" " (${\displaystyle 1}$ / " )$。$ \$textstyle$ ( 1 / \ $epsilon )^{2$} ($1$ / \ $epsilon$ ) $}$、 { \$tilde$ { $O$} （ \ $log$ \ log \ log . $ta ）$

위의 결과 중 하나는$$D의$$ $설명$은 n$(\$$$n$)$의 선형이지만 학습 알고리즘의 샘플 복잡도는 n$(\$ n$)$에 의존하지 않는다는 것입니다.또한 두 번째 결과는 샘플 복잡도 b에 대해 거의 최적입니다.ec는 O${\displaystyle }$( ${\displaystyle 1}$/ ${\displaystyle {2\mathrm{}}^{}}$ 2$)$의 $하한$도 존재하기 때문입니다.{ $displaystyle$\$textstyle O$ ($1$ / \ epsilon$^$ {$$$2$} } 。

The proof uses a small ${\displaystyle \textstyle \epsilon -}$cover of ${\displaystyle \textstyle PBD}$ that has been produced by Daskalakis and Papadimitriou,^[6] in order to get this algorithm.

독립 정수 랜덤 변수의 학습 합계

n개$(\displaystyle$ \$textstyle$ n$)$의 ${\displaystyle {독립}_{}}$된${\displaystyle }$랜덤 $변수{\displaystyle {}_{}}$ X 1,$$ ${\displaystyle X_{}}$ n(\$displaystyle \textstyle X_{1},\dots,X_{n})$에 대해 $설명$합니다.각 변수는 {$,$ - $},$$$- 1$$}, \$textstyle$ \textstyle $\$$textstyle$을 지원합니다.$\$n 순서의$$ n\dependent 정수 랜덤 변수는 $합계{\displaystyle }$ X ${\displaystyle =\underset{}{}{x}_{}}$ i X$$i \ $displaystyle X$= \$sum$_ {$i$ } $X _$ {$$i }$$。클래스를 학습하기 위한

$\displaystyle \textstyle k-SIRV=\{D:D{\text{는 독립된 정수 랜덤 변수 }}\}의 k-sum입니다.$

다음과 같은 결과가 있다

정리

자 D∈ k− S나는 R V{\displaystyle\textstyle D\in k-SIIRV} 다음이 있는 알고리즘은 어느 주어진 n{\textstyle n\displaystyle},ϵ>0{\displaystyle\textstyle \epsilon>0}및 액세스에 GEN(D){\textstyle GEN(D)\displaystyle}을 찾는 D′{\displaystyle\textstyle D'}과 같다. Pr${\displaystyle [}$ ${\displaystyle d}$(${\displaystyle }$D , ${\displaystyle {}^{})}$ )${\displaystyle ]}$ ${\displaystyle 1}$ 1${\displaystyle }$-$$" " \ $displaystyle$\ $textstyle \ Pr$ [$d$ ( D , D ' ) \ $leq$\$epsilon$]\ $geq 1$- \ $delta$$}$ 。이 알고리즘의 복잡도는${\displaystyle \mathrm{poly}}$( ${\displaystyle k}$ /${\$ ) \ $displaystyle$ \$text$ { poly } ( k /$the$ the the the the the the the the the the \ $text poly 。$

또 다른 부분은 샘플과 시간의 복잡도는 n$\$$textstyle$n에 $의존$하지 않는다는 것입니다.k ${\displaystyle =}$ ${\displaystyle 2}$\$displaystyle k=2$^[7]로 $설정$하면 이전 섹션에서 이 독립성을 결론지을 수 있습니다.

가우스어 혼합 학습

랜덤 $변수{\displaystyle }$ X${\displaystyle ~N({\mu \mathrm{}}_{}}$ 1,${\displaystyle {}_{}{\delta \mathrm{}}_{}}$1$)(\displaystyle$ \$textstyle$X\$sim N$(\$mu _{$1},\$Sigma _{$1$$})${\displaystyle }및{\displaystyle }$ ${\displaystyle Y~{}_{}}$(${\displaystyle {\mu \mathrm{}}_{}}$2,${\displaystyle {}_{}{\delta \mathrm{}}_{}}$2)(\displaystyle $\textstyle$ Y$\sim$ N$(\ma$_2$},\Sigma$ $\_{\displaystyle }$${1$을 정의합니다.$yle$X는$$ ${\displaystyle {확률}_{}}$이 1$(\$이고, $값$이 $displaystyle \textstyle$$$$W_${2$}=1-w_1$와 $같습니다{\displaystyle }$.$(\$$textstyle$ $F_{1})$이 X$(\$$textstyle$X)의 밀도이고 F2$(\$displaystyle$\textstyle$ F_${2$})가$$Y(\$displaystyle$ Y$)$의 밀도인 경우 Z(\$displaystyle\textstyle$ Z$)$의 밀도는${\displaystyle {F1\mathrm{}}_{}}$+ ${\displaystyle {2\mathrm{}}_{}}$(\$display$ 2$)$입니다.$le \textstyle F=w_{$$1}$$F_{1}+w_{2}$$F_{2$ 이 $경우{\displaystyle }$Z(\$displaystyle\textstyle$ Z$)$는 가우스어의 혼합을 따른다고 합니다.Pearson은 자신이 분석하고자 하는 동일한 데이터를 얻은 확률 분포를 설명하기 위해 Gaussian의 혼합 개념을 도입한 첫 번째 사람입니다.그래서 손으로 많은 계산을 한 후, 그는 마침내 그의 데이터를 가우시안 혼합물에 맞췄다.이 경우의 학습 태스크는 1,${\displaystyle {}_{}{w2\mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {\mu 2\mathrm{}}_{}}$ ${\displaystyle {\delta \mathrm{}}_{}}$1, ${\displaystyle {\delta \mathrm{}}_{}}$2 \$displaystyle w_{1$}, $w_{2},\mu$ _${1},\sigma$ _{2$},\$sigma _${1$},\$Sigma$_{$2$의 혼합 파라미터를 결정하는 것입니다.

이 문제를 해결하기 위한 첫 번째 시도는 Dasgupta에서 ^[9]했습니다.이 작업에서 Dasgupta는 가우시안들의 두 가지 수단이 서로 충분히 멀리 떨어져 있다고 가정한다.이는 ${\displaystyle 거리{}_{}}$ ${\displaystyle {\mu \mathrm{}}_{}}$ 1${\displaystyle {}_{}}$- ${\displaystyle {\mu \mathrm{}}_{}}$ 2$displaystyle \textstyle \mu$ _${1}-\mu$ _${2}$에 하한이 있음을 의미하며, 이 가정을 사용하여 Dasgupta와 그 이후의 많은 과학자들이 혼합물의 매개변수를 배울 수 있었다.학습 절차는 샘플을 두 개의 서로 다른 클러스터로 클러스터링하여 일부 메트릭을 최소화하는 것으로 시작합니다.가우시안 평균이 높은 확률로 서로 멀리 떨어져 있다는 가정을 사용하여, 첫 번째 군집의 표본은 첫 번째 가우스에서 두 번째 군집의 표본에 해당하고 두 번째 군집의 표본에 해당한다.샘플이 ${\displaystyle {\mu }_{}}$ i${\displaystyle {}_{}}$ $i,$ \$displaystyle \textstyle$ \$mu _{i$},\$Sigma$ _${i}$로 분할되었으므로 클러스터의 크기를 비교하여 단순한 통계적 추정치와 $\$에서 계산할 수 있습니다.

$(\$GM$)$이 2개의 Gaussian 혼합의 집합이라면 $위$와 같은 절차 정리를 사용하면 다음과 같이 증명할 수 있습니다.

정리

${\displaystyle {\mu \mathrm{}}_{}}$ 1${\displaystyle {}_{}}$- ${\displaystyle {\mu \mathrm{}}_{}}$ ${\displaystyle 2{}_{}\mu \sqrt{}}$ c${\displaystyle \sqrt{n}}$ max ( ${\displaystyle \sqrt{{\mathrm{}}_{}}}$ 1${\displaystyle \sqrt{{}_{}}}$ ${\displaystyle \sqrt{{\mu }_{}}}$ a${\displaystyle \sqrt{{}_{}{x}_{}}}$ ( ${\displaystyle \sqrt{{\delta \mathrm{}}_{}}}$ 1 $),$ μ a ${\displaystyle \sqrt{x_{}}}$ ( ${\displaystyle \sqrt{{\delta \mathrm{}}_{}}}$ 2)${\displaystyle \sqrt{{}_{}}}$\ $display style$\$mu$ _ {$}$ - \ $textstyle$\ mu _ {$}$ - {2} \$$$geq rtda$ { $da$ （ $lam$ ; lam ) μ1 ~${\displaystyle {}_{}}$ ~μ2 ） ( c n max${\$ max （ ）의 $GM$}}}, c1/2{\displaystyle\textstyle c>, 1/2}과λ m는 x(A){\displaystyle\textstyle \lambda_{맥스}(A)}한{\displaystyle\textstyle A}의 가장 큰 고유치,에 ϵ>를 주어진 알고리즘은;0{\displaystyle\textstyle \epsilon>0}, 0<>δ ≤ 1{\display.스타일 \textstylE0<, \delta \leq 1}GEN에 대한 액세스(D){\textstyle GEN(D)\displaystyle} 매개 변수 i′, 나는 μ′w, Σ 나는 ′{\displaystyle\textstyle w'_{나는},\mu '_{나는},\Sigma '_{나는}}에 대한 근사치를 발견하 Pr −δ{\displaystyle\textstyle \Pr는 경우에는 w_{나는}-w'_ ≥ 1[나는 wi≤ ϵ ′ − w].{나는}$\leq \epsilon$]\$geq 1-\delta$}$$ (각각 ${\displaystyle {\mu i}_{}}$\$displaystyle$$\mu$ _{i$}$ $및$ ${i$\${\displaystyle {displaystyle}_{}}$ $\Sigma$ _${i$${\displaystyle {{이}^{}}^{}}$ 알고리즘의 복잡도의 $예$는 ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle =}$ ${\displaystyle 2^{}}$O ( ${\displaystyle {{log\mathrm{}}^{}}^{}}$ ${\displaystyle 2^{}}$ ${\displaystyle {(}^{}}$ (${\displaystyle 1^{}}$/ ( ) ${\displaystyle {)\{}^{}}$ $displaystyle \textstyle$ M =$2 ^$ { O ( \ $log ^$ {2} ( 1 / ( \ $log$\ $explilon$ \ d )$$}} 입니다$$.실행시간은${\displaystyle }O{\displaystyle }$ ( ${\displaystyle {}^{}}$d + $Mn$)${\displaystyle }$\ $display$style \ $textstyle$O ( 2 d + md ) {$2$}

위의 결과는 k${\displaystyle }$-$$\$displaystyle \textstyle k-}$ 가우시안$$ ^[9]$혼합$에서도 일반화될 수 있다.

두 가우시안 혼합의 경우, 총 변동 거리를 거리 측도로 사용하는 다음과 같은 평균 간 거리를 가정하지 않은 학습 결과가 있다.

정리

자 F∈ GM{\displaystyle \textstyle F\in GM} 다음이 있는 알고리즘은 주어지ϵ>0{\displaystyle\textstyle \epsilon>0}, 0<>δ ≤ 1{\displaystyle \textstyle 0<, \delta \leq 1}및 액세스에 GEN(D){\textstyle GEN(D)\displaystyle}을 아니 나는′, 나는 μ′, Σ 나는 ′{\dis.playstyle \t$extstyle$ w$'_{i},\mu '_{i},\Sigma '_{i$$}:$ F ${\displaystyle =}$ ${\displaystyle {w\mathrm{}}_{}^{}}$ 1${\displaystyle {}_{}^{}f{}_{}^{}}$ F ${\displaystyle {1\mathrm{}}_{}^{}{}_{}^{}}$ + ${\displaystyle {}_{}^{}}$ ${\displaystyle {2\mathrm{}}_{}^{}f{}_{}^{}}$ ${\displaystyle {F\mathrm{}}_{}^{}}$ 2$$ \ $displaystyle$\ $textstyle$ F' =$w'_$${1$$}F'_{1}+w'_{2$$}F'_{$2$\}\}.$ $여기$서 ${\displaystyle {Fi}_{}^{}}$=${\displaystyle N}$ ($μ$i ${\displaystyle 、}$ ${\displaystyle {displaydisplay}_{}^{}}$ i$$ {$displaystyle$ \$textstyle$ $F'$_ {$i$ } =$N$ ( \ $mu$' _ { i , \$Sigma$' _ {$i$ } )${\displaystyle \mathrm{다음}}$ ${\displaystyle \mathrm{Pr}}$[ $($ ,${\displaystyle {}^{}}$F ${\displaystyle 、}$ F ${\displaystyle \mathrm{display}}$ )$$displaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplay $1$]${\displaystyle /}$ ${\displaystyle {w\mathrm{}}_{}}$1,${\displaystyle 1}$ / ${\displaystyle {w\mathrm{}}_{}}$2,${\displaystyle 1}$ /${\displaystyle {}_{}}$ ( ${\displaystyle {F\mathrm{}}_{}}$1 , ${\displaystyle {}_{}{2\mathrm{}}_{}}$ $){$ $displaystyle$\$textstyle \$text style \ $text style$ \ text { poly } ($n$ ,$1$ / \ $epsilon$ , 1 / \ $delta , 1$ / $w$_ { $1 }$ ,$1$ / d ($F _$ { $1$, $F$_ { $2$} )$$} ) 。

$(\$과 $(\$ 사이의$$ $거리$는 알고리즘 결과의 품질에 영향을 주지 않고 샘플 복잡도와 실행 ^[9][10]시간에만 영향을 줍니다.

레퍼런스