래드마커 복잡성

계산 학습 이론(기계 학습과 계산 이론)에서 한스 라데마허의 이름을 딴 라데마허 복잡성은 확률 분포에 관한 실제 가치 함수의 한 부류의 풍부함을 측정한다.

정의들

집합의 Rademacher 복잡성

$A{\displaystyle }$ ${\displaystyle \subseteq }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ 집합에 따라 A의 Rademacher 복잡성은 다음과 같이 정의된다$.$^{[1][2]: 326}

${\displaystyle \operatorname {Rad}(A):={\frac {1}{m}}\operatorname {E} \left[\supp_{a\in A}\sum _{i=1}^{m}\sigma _{i}a_{i}\ri}\right]}}}$

where ${\displaystyle \sigma _{1},\sigma _{2},\dots ,\sigma _{m}}$ are independent random variables drawn from the Rademacher distribution i.e. ${\displaystyle \Pr(\sigma _{i}=+1)=\Pr(\sigma _{i}=-1)=1/2}$ for ${\displaystyle i=1$$,2,\dots ,m$ ${\displaystyle {}_{}}$ a${\displaystyle }$=${\displaystyle }$( ${\displaystyle 1_{}{}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {}_{}{}_{}}$) ${\displaystyle$ a$=(a_{1},\ldots ,a_{m$ 일부 저자는 우월감을 취하기 전에 합계의 절대값을 취하지만, $A{\displaystyle }$ ${\displaysty A}$이 대칭적이라면 이것은 아무런 차이가 없다.

함수 클래스의 Rademacher 복잡성

Given a sample ${\displaystyle S=(z_{1},z_{2},\dots ,z_{m})\in Z^{m}}$, and a class ${\displaystyle F}$ of real-valued functions defined on a domain space ${\displaystyle Z}$, where ${\displaystyle f}$ is the loss function ${\displaystyl$$e f(z)=\ell(h(x),y)}$의 $분류자{\displaystyle }$ h$${\$displaystyle h$ $주어진{\displaystyle }$ S ${\displaystyle S}$에 $대한{\displaystyle }$ F {\displaystyle $F}$의 경험적 Rademacher 복잡성은 다음과 같이 정의된다$$.

${\displaystyle \operatorname {Rad} _{S}(F)={\frac {1}{m}\opername {E} \left[\supp_{f\in F}\sum _{i=1}^{m}\sigma _{i}f(z_{i}\ri}\ri}\ri}\ri}\rigm)}\오른쪽]}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}})}$

또한 이는 이전 정의를 사용하여 작성할 수 있다.^{[2]: 326}

${\displaystyle \operatorname {Rad} _{S}(F)=\operatorname {Rad}(F\circule S)}$

여기서 $F{\displaystyle }$ ${\displaystyle \circ }$ ${\displaystyle S}$ ${\displaystyle F\circ S}$은 함수 구성을 나타낸다$$. 즉,

${\displaystyle F:=\{(f(z_{1}),\ldots,f(z_{m})\mid f\in F\}$

$P{\displaystyle }$ ${\displaystyle P}$을(를) $Z{\displaystyle }$ ${\displaystyle Z}$에 대한 확률 분포로 설정하십시오$.$샘플 크기 $m{\displaystyle }$ ${\displaystyle m}$에 $대한{\displaystyle }$ P ${\displaystyle P}$에 대한$$ 함수 클래스 $F{\displaystyle }$ ${\displaystyle F}$의 Rademacher 복잡성은 다음과$$ 같다.

${\displaystyle \operatorname {Rad} _{P,m}(F):=\operatorname {E} _{S\sim P^{m}\왼쪽[\operatorname {Rad} _{S}(F)\right]}$

여기서 위의 예상은 $P{\displaystyle }$ ${\displaystyle P}$에 따라 생성된$$ 동일한 독립적으로 분포된(i.i.d.) $샘플{\displaystyle }$ S${\displaystyle }$=${\displaystyle }$(${\displaystyle {z\mathrm{}}_{}}$ 1,${\displaystyle {}_{}}$z ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$… ,${\displaystyle {}_{}}$ ${\displaystyle m_{}}$) ${\displaysty S=(z_{1},z_{2}},\dots ,z_{m}}}}}}}$에 대해 취해진다$.$

예

1. ${\displaystyle A}$은(는) 단일$$ 벡터를 포함하며, 예: $A{\displaystyle }$=${\displaystyle }${${\displaystyle }$( ${\displaystyle a,}$ b${\displaystyle }$)${\displaystyle }$} ${\displaystyle \subset }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\$ 그 다음:

${\displaystyle \operatorname {Rad}(A)={1 \over 2}\cdot \왼쪽({1 \over 4}\cdot(a+b)+{1 \over 4}\cdot(-b)+{1 \over 4}\cdot(-b)=0}$

모든 싱글톤 가설 클래스도 마찬가지다.^{[3]: 56}

2. ${\displaystyle A}$에는 두 개의 벡터가 들어$$ 있는데, $예{\displaystyle }$: A${\displaystyle }$=${\displaystyle }${${\displaystyle }$( 1${\displaystyle }$, ${\displaystyle 1}$)${\displaystyle }$,${\displaystyle }$( 1,${\displaystyle 2}$)${\displaystyle }$}$⊂$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$ A$=\(1,1),$ (1$,2)\}\subsetmathb {R} ^{2$ 그러면:

${\displaystyle {\begin{aligned}\operatorname {Rad} (A)&={1 \over 2}\cdot \left({1 \over 4}\cdot \max(1+1,1+2)+{1 \over 4}\cdot \max(1-1,1-2)+{1 \over 4}\cdot \max(-1+1,-1+2)+{1 \over 4}\cdot \max(-1-1,-1-2)\right)\\[5pt]&={1 \over 8}(3+0+1-2)={1 \over 4}\ended}}}$

Rademacher 복잡성 사용

Rademacher 복잡성은 기능 클래스의 학습 가능성에 대한 데이터 의존적인 상위 범위를 도출하는 데 사용될 수 있다.직관적으로 Rademacher 복잡성이 작은 함수 클래스는 배우기 쉽다.

대표성을 제한한다.

머신러닝(machine $learning{\displaystyle }$)에서는 일부 샘플 데이터 S[\$displaystyle S}$의 실제 분포를 나타내는 트레이닝 세트를 갖는 것이 바람직하다$.$ 이는 대표성의 개념을 사용하여 정량화할 수 있다.$표본$이$$그려진 확률 $분포$를 P {\displaystyle P$}$로 표시하십시오.Denote by ${\displaystyle H}$ the set of hypotheses (potential classifiers) and denote by ${\displaystyle F}$ the corresponding set of error functions, i.e., for every hypothesis ${\displaystyle h\in H}$, there is a function ${\displaystyle f_{h}\in F}$, that maps each training sample (features,label)분류자 $h{\displaystyle }$ ${\displaystyle h}$의 오류에 대해 설명하십시오($$이 경우 가설과 분류자는 서로 교환하여 사용된다).예를 들어, $h{\displaystyle }$ ${\displaystyle$ $h}$이(가) 이진 분류기를 나타내는$$ 경우, 오류 함수는 0–1 손실 함수, 즉 오류 $함수{\displaystyle {}_{}}$ ${\displaystyle f_{}}$ ${\$ $f_$${h$$}$가 샘플을 올바르게$$ 분류하면 1을 반환하고$$ 다른 것은 0을 반환한다.기본 가설이 무관할 때는$$ ${\displaystyle {색인}_{}}$을 생략하고 $f{\displaystyle }$ ${\$ 대신 f$$ ${\displaystyle f}$를 쓴다.정의:

${\displaystyle L_{P}(f):$$=\operatorname {E} _{z\sim P}[f(z)]}$ $$– 실제 분포 $P{\displaystyle }$ ${\displaystyle P}$의 일부 오류 함수 $f{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle F}$ ${\displaystyle f\in F}$의 예상 오류$;$

${\displaystyle L_{}}$ (${\displaystyle {}_{}f}$) ${\displaystyle :=}$ ${\displaystyle \frac{\mathrm{1m}}{}}$ ${\displaystyle \sum \underset{}{\overset{}{}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{f}}}$ ${\displaystyle (z_{}}$ i${\displaystyle {}_{}}$) ${\displaystyle L_{S}(f):={1 \over m}\sum _{i=1}^{m=f(z_{i})}$ $$– 샘플 $S{\displaystyle }$ ${\displaystystyle S$에 있는 일부 오류 함수 $f{\displaystyle }$ ${\in F}$의 추정 오류.

$P{\displaystyle }$ ${\displaystyle P}$ 및$$ $F{\displaystyle }$ ${\displaystyle F$에 대한 샘플 $S{\displaystyle }$ ${\displaystyle S$의 대표성은 다음과 같이 정의된다.

${\displaystyle \operatorname {Rep} _{P}(F,S):=\supp_{f\in F}(L_{P}(f)-L_{S}(f)}}}$

과대 적합을 방지할 수 있는 방법을 제공하기 때문에 더 작은 대표성이 더 낫다. 즉, 분류자의 실제 오차가 추정 오차보다 그리 높지 않다는 것을 의미하며, 따라서 추정 오차가 낮은 분류자를 선택하면 실제 오차도 낮다는 것을 보장할 것이다.그러나 대표성의 개념은 상대적이므로 구별되는 표본에 걸쳐 비교할 수 없다는 점에 유의하십시오.

샘플의 예상 대표성은 함수 클래스의 Rademacher 복잡성에 의해 상단으로 제한될 수 있다.^{[2]: 326}

$${\displaystyle \operatorname {E} _{Sim P^{m}[\operatorname {Rep} _{P}(F,S)]\leq 2\cdot \operatorname {E} _{S\sim P^{m}}[\operatorname {Rad}(F\circir S)]]]})}}}}}}}}}}$$

일반화 오류 경계

Rademacher 복잡성이 작을 때는 경험적 위험 최소화를 이용하여 가설 등급 H를 학습하는 것이 가능하다.

예를 들어 (이항 오차 함수를 사용하는 경우)^{[2]: 328} 모든 가설 $h{\displaystyle }$ > 0 ${\displaystyle \delta$ >$0$에 대해${\displaystyle ,}$ $모든{\displaystyle \mathrm{}}$ 가설 h$$ ${\displaystyle 1-\delta }$ 이상 확률로,$$${\displaystyle \Delta }$ > {\$displaystyle h\in H$

${\displaystyle L_{P}-L_{S}(h)\leq 2\operatorname {Rad}(F\circ S)+4{\sqrt {2\ln(4/\delta ) \over m}}}}$

Rademacher 복잡성 경계

더 작은 Rademacher 복잡성이 더 좋기 때문에 다양한 기능 세트의 Rademacher 복잡성에 대한 상한을 갖는 것이 유용하다.다음 규칙을 사용하여 집합 $A{\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ m {\$displaystyle A\subset \mathb {R} ^{m}}$의 Rademacher 복잡도를 상한으로 지정할 수 있다$.$^{[2]: 329–330}

1. $A{\displaystyle }$ ${\displaystyle A}$의 모든 벡터가 $\mathb {R}{m}}$에서 ${\displaystyle {0\mathrm{}}_{}}$∈ ${\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$ \mattb {R}{m$\}\}\}\}$에 있는 일정한 벡터에 의해 번역된$$ 경우 Rad(A)는 변경되지 않는다.

2. $A{\displaystyle }$ ${\displaystyle A}$의 모든 벡터에 $스칼라{\displaystyle }$ ${\displaystyle c\mathbb{}}$∈ R ${\$ {$R$을(를) 곱하면$$ Rad(A)에 ${\displaystyle c}$ $displaystyle$c$}$을(를$)$ 곱한다.

3. Rad(A + B) = Rad(A) + Rad(B)^{[3]: 56}

4. (Kakade & Tewari $)$A {\$displaystyle$ A}의$$ 모든 벡터를 립스치츠 함수에 의해 작동한다면, Rad(A)는 (최대) 함수의 립스치츠 상수에 곱한 값이다.특히 $A{\displaystyle }$ ${\displaystyle A}$의 모든 벡터가 수축 매핑에 의해 작동되는$$ 경우 Rad(A)는 엄격히 감소한다.

5. $A{\displaystyle }$ ${\displaystyle A}$의 볼록 선체의 Rademacher 복잡성은 Rad(A)와$$ 같다.

6. (마사지 보조정리)유한 집합의 Rademacher 복잡성은 설정된 크기에 따라 로그적으로 증가한다.형식적으로, $A{\displaystyle }$ ${\displaystyle A}$을(를) $R{\displaystyle {\mathbb{}}^{}}$ m$${\$displaystyle \mathb{R}$^{$m$의 N$${\$displaystyle$N} 벡터 집합으로$$ 하고${\displaystyle \stackrel{}{,}}$ ${\$$displaystyle$$${\$bar$ {$a}$을(를) $A}$의 벡터의 평균으로$$ 설정한 다음$,$ 다음:

${\displaystyle \operatorname {Rad}(A)\leq \max _{a\in A}\ a-{\bar{a}\cdot {{\sqrt{2\log N}}\over m}}}$

특히 $A{\displaystyle }$ ${\displaystyle A}$이(가) 이진 벡터 집합인 경우 표준은 최대 $m{\displaystyle \sqrt{}}$ ${\$이므로$:$

${\displaystyle \operatorname {Rad}(A)\leq {\sqrt {2\log N \over m}}$

VC 치수와 관련된 한계

$Let{\displaystyle }$ H ${\displaystyle H}$을(를) $VC{\displaystyle }$ 차원이 d ${\displaystyle d}$인 세트 패밀리로 한다$$$.$ $H{\displaystyle }$ ${\displaystyle H}$의 성장 함수는 다음과 같이 제한되어 있는$$ 것으로 알려져 있다.

모든 > + ${\dplaystyle m>d+1}$: ${\displaystyle {성장}^{}}$ ${\displaystyle }$(${\displaystyle H}$, ${\displaystyle m}$) ${\displaystyle \le }$( ${\displaystyle e}$ ${\displaystyle m}$/ d${\displaystyle {}^{}}$) d ${\$

즉, 최대 $m{\displaystyle }$ ${\displaystyle m}$ 요소를$$ 가진$$ 모든 $세트{\displaystyle }$ h ${\displaystyle h}$에 대해 ${\displaystyle H}$ ${\displaystyle \cap }$ ${\displaystyle h}$≤ ${\displaystyle (e}$ m${\displaystyle }$/ ${\displaystyle d{}^{}}$) ${\displaystyle d^{}}$ d$${\$displaystyle H\cap$ h $\leq (em/d)^{d}}}}}$을 의미한다$.$세트 패밀리 $H{\displaystyle }$ ${\displaystyle \cap }$ ${\displaystyle h}$ ${\displaystyle H\cap h}$은(는) $R{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$^{$m}}$에 대한 이진 벡터 집합으로 간주할$$ 수 있다$.$ 이를 마사트의 보조정리법으로 대체하면 다음과 같은 효과를 얻을 수 있다.

${\displaystyle \operatorname {Rad}(H\cap h)\leq {\sqrt {2d\log(em/d) \over m}}}$

더 진보된 기술(더들리의 엔트로피와 Haussler의 상단 bound[4]마련)사람을 보여 줄 수 있고, 예를 들어 지속적인 C{C\displaystyle},{0,1}{\displaystyle\와 같이{0,1\}}-indicator 기능의 Vapnik–Chervonenkis 차원 d{\displaystyle d}에 있는 모든 클래스 Rademacher 복잡성에 대문자고 있어 그런 존재한다.bou$C{\displaystyle }$ ${\displaystyle d\sqrt{\frac{}{}}}$ ${\displaystyle \sqrt{\frac{m}{}}}$ ${\$ {$d}{m$에 의해 Nedded.

선형 클래스와 관련된 한계

${\displaystyle {}^{}}$ 범위는 $S{\displaystyle }$ ${\displaystyle$ S$}$의 선형 연산과 관련이 있으며,$$ $R{\displaystyle {\mathbb{}}^{}}$ n ${\$의 $m{\displaystyle }$ ${\displaystyle m}$ 벡터의$$ 상수 집합이다$.$^{[2]: 332–333}

1. Define ${\displaystyle A_{2}=\{(w\cdot x_{1},\ldots ,w\cdot x_{m})\mid \ w\ _{2}\leq 1\}=}$ the set of dot-products of the vectors in ${\displaystyle S}$ with vectors in the unit ball.다음:

${\displaystyle \operatorname {Rad}(A_{2})\leq {\max_{i}\{i}\{2}\{2} \\\\\\\\\\sqrt{m}}}}}}}}}}}}{2}\displaysty \oper {\i}}$

2. Define ${\displaystyle A_{1}=\{(w\cdot x_{1},\ldots ,w\cdot x_{m})\mid \ w\ _{1}\leq 1\}=}$ the set of dot-products of the vectors in ${\displaystyle S}$ with vectors in the unit ball of the 1-norm.다음:

${\displaystyle \operatorname {Rad}(A_{1})\leq \max _{i}\x_{i}\{\infit }\cdot {\sqrt {2\log(2n) \over m}}}}}}$

포함 숫자와 관련된 한계

다음 경계는 A$집합{\displaystyle }$ {\$displaystyle A}$의 Rademacher 복잡성과 외부 피복 번호, 즉 $조합$이$$A {\$displaystyle A}$을(를) 포함하는 특정 $반경{\displaystyle }$ r$${\$displaystyle$r}의 볼 수입니다$.$그 바운드는 더들리 덕분이다.^{[2]: 338}

$A{\displaystyle }$ ${\displaystyle \subset }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$은 길이(일반)가 최대 $c{\displaystyle }$ ${\displaystyle c}$인 벡터 집합이라고$$ 가정합시다$.$그런 다음, 모든 정수 > ${\displaystyle M>0}$에 대해

${\displaystyle \operatorname {Rad} (A)\leq {c\cdot 2^{-M} \over {\sqrt {m}}}+{6c \over m}\cdot \sum _{i=1}^{M}2^{-i}{\sqrt {\log \left(N_{c\cdot 2^{-i}}^{\text{ext}}(A)\right)}}}$

특히, $A{\displaystyle }$ ${\displaystyle A}$이(가) R ${\displaystyle {}^{}}$ ${\$^{$m}}$의 d차원 하위 공간에 놓여$$ 있는 경우$,$ 다음 작업을 수행하십시오.

${\displaystyle \ forall r>0:N_{r}^{\text}^{\ext}}(A)\leq(2c{\sqrt{d}/r)^{d}}}}$

이것을 이전 바운드로 대체하면 Rademacher 복잡성에 대해 다음과 같은 바운드가 발생한다.

${\displaystyle \operatorname {Rad} (A)\leq {6c \over m}\cdot {\bigg (}{\sqrt {d\log(2{\sqrt {d}})}}+2{\sqrt {d}}{\bigg )}=O{\bigg (}{c{\sqrt {d\log(d)}} \over m}{\bigg )}}$

가우스 복잡성

가우스 복잡성은 유사한 물리적 의미를 갖는 유사한 복잡성으로, $\sigma {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$ 대신$$ 임의 ${\displaystyle {변수}_{}}$ g ${\$를 사용하여 Rademacer 복잡도에서 얻을 수 있다$.$ $여기$서 g ${\displaystyle i_{}}$ ${\$는 0-mean과 va를 갖는 가우스 i.d 랜덤 변수다$$.riance 1, 즉 ${\displaystyle g_{}}$ ${\displaystyle i\mathcal{}{}_{}}$~ N${\displaystyle }$( ${\displaystyle 0,}$ 1${\displaystyle }$) ${\displaystyle g_{i}\심 {\mathcal{N}}(1,1$)$$. 가우스와 라디마허 복합성은 로그 인자에 해당하는 것으로 알려져 있다.

라데마허와 가우스 복잡성의 동등성

$A{\displaystyle }$ ${\displaystyle \subseteq }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ 집합이 주어지면 다음$$ 값이 유지된다.
${\displaystyle {\frac {G(A)}{2{\sqrt {\log{n}}\leq {\Rad}}\text{Rad}}}\req {\\sqrt {\frac {}{pi }}}G(A)}$
여기서 $G{\displaystyle }$( ${\displaystyle A}$) ${\displaystyle G(A)}$은 A의 가우스 복잡도 입니다.

참조

• Peter L. Bartlett, Shahar Mendelson(2002) Rademacher 및 Gaussian Complexities: 위험 범위 및 구조 결과.기계학습연구 제3권 463-482호
• 조르지오 게코, 마르첼로 상구이네티(2008) Rademacher's Complexity를 통한 근사 오차 한계.응용 수학 과학, 2008년 2권, 4, 153–176호