AdaBoost

AdaBoost는 Adaptive Boost의 줄임말로, 요브 프룬트와 로버트 샤파이어가 1995년에 만든 통계 분류 메타 알고리즘으로, 2003년 괴델상을 수상했다.다른 많은 유형의 학습 알고리즘과 함께 사용하여 성능을 향상시킬 수 있습니다.다른 학습 알고리즘('약한 학습자')의 출력은 상승된 분류기의 최종 출력을 나타내는 가중치 합계로 결합된다.일반적으로 AdaBoost는 이진 분류용으로 제공되지만, 실제 라인에서 ^[1][2]여러 클래스 또는 경계 간격으로 일반화할 수 있습니다.

AdaBoost는 후속 취약 학습자가 이전 분류자에 의해 잘못 분류된 인스턴스를 위해 조정된다는 점에서 적응력이 있습니다.일부 문제에서는 다른 학습 알고리즘보다 과적합 문제에 덜 민감할 수 있습니다.개별 학습자는 약할 수 있지만, 각각의 성과가 무작위 추측보다 약간 더 좋으면 최종 모델은 강력한 학습자로 수렴된다는 것을 증명할 수 있다.

AdaBoost는 일반적으로 약한 기본 학습자(예: 의사 결정 스탬프)를 결합하는 데 사용되지만, 강력한 기본 학습자(예: 깊은 의사 결정 트리)를 효과적으로 결합할 수 있어 훨씬 더 정확한 ^[3]모델을 생성할 수 있는 것으로 나타났다.

모든 학습 알고리즘은 일부 문제 유형에 더 잘 맞는 경향이 있으며, 일반적으로 데이터 집합에서 최적의 성능을 달성하기 전에 조정해야 하는 다양한 매개 변수와 구성이 있습니다.AdaBoost(약자 학습자로서의 의사결정 트리 포함)는 종종 즉시 사용할 ^[4][5]수 있는 최고의 분류기라고 불립니다.의사결정 트리 학습과 함께 사용될 때, 각 훈련 샘플의 상대적인 '경도'에 대한 AdaBoost 알고리즘의 각 단계에서 수집된 정보는 나중에 트리가 분류하기 어려운 예에 초점을 맞추는 경향이 있도록 트리 성장 알고리즘에 공급된다.

트레이닝

AdaBoost는 부스트된 분류기를 훈련하는 특정 방법을 말합니다.부스트 분류자는 형식의 분류자입니다.

${\displaystyle F_{T}(x)=\sum _{t=1}^{T}f_{t}(x)\!}$

$여기$서 각 ${\displaystyle f_{}}${\$displaystyle f_{t}}$는 $객체{\displaystyle }$x {\$displaystyle$ x$}$를 입력으로 사용하여 객체의 클래스를 나타내는 값을 반환하는 약한 학습자입니다.예를 들어, 2-클래스 문제에서 약한 학습자의 출력 부호는 예측 대상 클래스를 식별하고 절대값은 해당 분류에 대한 신뢰를 준다.$마찬가지$로$$T\$displaystyle$T번째$$ 분류기는 샘플이 양수이면 양수이고 그렇지 않으면 음수입니다.

각 약한 학습자는 교육 세트의 각 샘플에 대해 $예측{\displaystyle }$ h$)$를 수정하는 출력 $가설{\displaystyle }$ h${\displaystyle (}$)({$displaystyle$ h$(x_{i})$를 생성합니다$$.t$\displaystyle$t를 $반복$할 때마다 약한 학습자를 선택하고 $계수\alpha {\displaystyle }$ t$\displaystyle$$\alpha$ _${t}$를 할당하여 결과적으로 t\$displaystyle$ t$\$stage 부스트 분류기의 총 훈련 오류$$ $E{\displaystyle {}_{}}$ $\$를 최소화합니다.

$\displaystyle E_{t}=\sum _{i}E[F_{t-1}(x_{i})+\alpha _{t}h(x_{i})]$

$여기$서 ${\displaystyle F_{}}$ t${\displaystyle {}_{}}$-${\displaystyle {}_{}{1}_{}}$ (${\displaystyle x}$) { $displaystyle$ F _ { t -$1$（ x$$ ） }는 훈련의 이전 단계까지 구축되어 있는 확장 $분류기$이며$,$${\displaystyle E}$$$( F ) { $displaystyle$ E$$$$( ${\displaystyle {}_{}}$ ) =${\displaystyle {}_{}}$ ${\displaystyle t}$h${\displaystyle }$( x )$=$ { $displaystyle f$ $t$} \ $alpha$ ( x )$_$$h$)최종 분류기

가중치

트레이닝 프로세스의 각 반복 시 트레이닝 세트의 각 샘플에 ${\displaystyle {wi,}_{}}$ $\$의 $가중치$가 해당 샘플의 현재 $오류{\displaystyle }$E(${\displaystyle F_{}}$ ${\displaystyle {\mathrm{t}}_{}}$-${\displaystyle {}_{}}$1 (${\displaystyle x_{}}$i $)\displaystyle$ E$(F_{t-1}(x_{$i}))와$$ 동일합니다.이러한 가중치는 약한 학습자의 훈련에 사용될 수 있다. 예를 들어, 높은 가중치를 가진 샘플 세트를 분할하는 것을 선호하는 의사결정 트리를 기를 수 있다.

파생

Rojas(2009)^[6]에 이은 파생 모델입니다.

${\displaystyle {}_{}}{\displaystyle }$세트${\displaystyle }${ ( ${\displaystyle {x\mathrm{}}_{}}$1, ${\displaystyle {y\mathrm{}}_{}}$1 )${\displaystyle 、}$ ${\displaystyle ...}$ ( ${\displaystyle x_{}}$N , $N$ ) $}$ { $display$ $style$ \ { ( $x _$ ${$1$}$ , \$ldots$, ( x$_$ {$N$ , y$_$ { $N$${\displaystyle {}_{}}$ \ }$$。여기서$$ 각 ${\displaystyle {항목x}_{}}$ i { $display$ style $x_{i$${\displaystyle \}}$는${\displaystyle }$y ${\displaystyle {\_}_{}}$1 입니다${\displaystyle .}$$\displaystyle \{k_{1},\ldots,k_{L}\}.$ 각$$ 항목별로 $분류{\displaystyle {}_{}}$ $kj($ ${\displaystyle \{}${ -${\displaystyle 1}$, $}(x_{i})\in$ \ {-$1,1\}$을 출력합니다.(${\displaystyle m}$ -${\displaystyle 1}$) {$displaystyle$($m-1$) $\}{\displaystyle }$ -th$$ 반복 후, 부스트 분류기는 형식의 약한 분류기의 선형 조합입니다.

${\displaystyle C_{}}$(${\displaystyle {\mathrm{m}}_{}}$ -${\displaystyle {}_{}}$1${\displaystyle {}_{}}$) ( ${\displaystyle {}_{}{i}_{}}$ ) $=$ ${\displaystyle {\alpha \mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$ k${\displaystyle {}_{}{1\mathrm{}}_{}}$ ( ${\displaystyle x_{}}$i${\displaystyle }$) +${\displaystyle {\alpha }_{}}$m - ${\displaystyle {}_{}{}_{}}$ k${\displaystyle {\mathrm{m}}_{}}$ -${\displaystyle {}_{}}$1 ( ${\displaystyle {}_{}{i}_{}}$){ $displaystyle C_{$ ( $m-1)(x_{i)$ =\$alpha$_ {1$}k_{1$} ($x_cdots$+\$alpha$_ $m-1}k-1{i}$

여기서 클래스는 $C{\displaystyle {}_{}}$(${\displaystyle m_{}}$ -${\displaystyle 1_{}}$) ( ${\displaystyle {}_{}{i}_{}}$) { $displaystyle C_{$ ( $m-1$ ) （ $x$_ { $i$}$$} 。$m{\displaystyle }${ $displaystyle$ m$$} - 번째$$ 반복에서는 다른 ${\displaystyle {무게\alpha }_{}}$m { $displaystyle$$k_$${m$을 추가하여 더 나은 부스트 분류기로 확장하려고 합니다.

${\displaystyle C_{m}(x_{i})=C_{(m-1)(x_{i})+\alpha_{m}k_{m}(x_{i})}$

따라서 어떤 $약한$ 분류기가 k$$m(\$displaystyle$ k_{$m$에 가장 적합한지, 그리고 그 ${\displaystyle {무게\alpha }_{}}$ m$(\$이 얼마인지 결정해야 합니다.${\displaystyle C_{}}$ m$${ $display style$ C _ { $m$} $の$ error eE$$の$$ error error 、각 데이터 포인트에서의 지수 손실의 합계로서 다음과 같이 정의합니다.

$({displaystyle E=\sum _{i=1}^{N}e^{-y_{i}C_{m}(x_{i})=\sum _{i=1}^{N}e^{-y_{i}C_{(m-1)}(x_{i})e^{-y_{i}\alpha_{m}k_{m}(x_{i})}}$

${\displaystyle w_{}^{}}$ ${\displaystyle {\mathrm{i}}_{}^{}}$(${\displaystyle {}_{}^{}}$1 ) ${\displaystyle {}_{}^{}}$ { $display$ w$$$_$ { $i$}^{ (1) $=$} = $w$ (${\displaystyle {}_{}^{}{{}_{}}^{}}$ ) ${\displaystyle {}_{}^{}{}^{}}$ - ${\displaystyle {y_{}}^{}}$ i ${\displaystyle {{}_{}{}_m}^{}}$ -${\displaystyle {{}_{}{1}_{}}^{}}$ ( $x$) = $e^$ { - y _ { $i$} $C$_ { i } =$$e^ { - { $i$} C _ { - { i } C _ { - { i } ( { $i$} } }} }}}}} m > m $stylestylestyle$ 、 m : $、$ 1 : 、 1 : > sty $stystyledisplay$ m 、 m 、 m

$({displaystyle E=\sum _{i=1}^{N}w_{i}^{(m)}e^{-y_{i}\alpha _{m}k_{m}(x_{i})}}$

이 합계를 k $(\$ ${\displaystyle {k\_}_{}}$${m$${\displaystyle {}_{}}$ ${\displaystyle =}$ $(\displaystyle y_{i}k_{m}(x_i)=1$로 올바르게 분류된 데이터 포인트와 잘못 분류된 데이터 포인트(\${\displaystyle {}_{}{}_{}}$ $y_{$i}($x$ 1$(\displaystyle y_i})$로 나눌 수 있습니다.

$\displaystyle E=\sum _{y_{i}=k_{m}(x_{i})w_{i}^{(m)}e^{-\alpha_{m}+\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{{m}}$

$\displaystyle = \sum _{i}^{N}w_{i}^{{m}+\sum _{y_{i}\neq k_{m}(x_{i})w_{i}{{m}(e^{\alpha_{m}})$

${\displaystyle {이}_{}}$ 방정식의 오른쪽 부분 중 k m$({$$\})$에 $의존$하는 부분은${\displaystyle \underset{y{}_{}}{}}$ ${\displaystyle \underset{}{k_{}{}_{}{m}_{}}}$(${\displaystyle \underset{}{}{}_{}^{}\underset{}{{}_{}}}$ w${\displaystyle {}_i^{}}$ (${\displaystyle m_{}^{}}$ $){$_ {$y_{i$}\$neq k_{m}(x_{i$}) $w\_{\displaystyle {}_{}}$${i}{$$m} w_display style$$k_m$} 입니다$$.Inimizes ∑ y 나는 ≠ km()나는)wi(m){\displaystyle \sum_{y_{나는}\neq k_ᆰ(x_{나는})}w_{나는}^{(m)}}[가정은α m>0{\displaystyle \alpha_{m}>0}], 가장 낮은 가중 오류(로 무게 wi(m)과 예를 들면, 약한 선형 분급기)e−는 y나는 Cm− 1()나는){\displaystyle 지..지_{나는}^{$(m)}=e^{-y_{i}C_{m-1}(x_{i$}}}}}}.$$

방금 결정한 $(\$m$$})로 E$(\displaystyle$ $E$$)$를 $최소화$하는 원하는 ${\displaystyle {가중치\alpha }_{}}$m$(\displaystyle$ \$alpha _{$m$$})을 결정하기 위해 다음과 같이 구분합니다.

${\displaystyle {dE}{d\alpha _{m}}=subfrac {d(\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{-\alpha _{m}+\sum _{y_i}\neq k_m{i}{i}{i}}{i}}$

이 값을 0으로 설정하고 ${\displaystyle {\alpha }_{}}$m {\$displaystyle \alpha$ _${m}}$에 대해 해결하면 다음과 같이 됩니다.

$(\displaystyle \alpha _{m}=k_{m}(x_{i})}w_{i}^{(m)}{\sum _{y_{i}\neq k_{m}(x_i})}){\sum _{m}_{i}{{{i}}\neq k_{{i}{{{{{{{i}}}{{{{{i}}}}{{{{{{m}}}}}{{{{{{{{{{m}}}}}{{{{$

약한 분류기의 가중 오류율은 ${\displaystyle m_{}}$ m ${\displaystyle {}_{}}$ ${\displaystyle \underset{}{y{}_{}}}$ ${\displaystyle \underset{}{y_{}}}$ ${\displaystyle \underset{}{{}_{}}}$ ${\displaystyle \underset{}{{}_{}{m}_{}}}$ ( ${\displaystyle \underset{}{x_{}}}$i ) ${\displaystyle w_{}^{}}$i (${\displaystyle m_{}^{}}$) /${\displaystyle \underset{i}{\overset{}{}}}$ i $=$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}^{}}$ w${\displaystyle {}_i^{}}$ (${\displaystyle m_{}^{}}$ ) ( $m$) {$displaystyle$ \ $explilon$ _ { m } \ $neq k _$ { $m$} ( $x${ $i$} \ neq k _ { i } w / { $sum$ } $w$/ { m / { i } （ i } } （ } ）로 계산한다.

$({displaystyle \alpha _{m}=bln \leftfrac {1}{2}}\ln \frac {1-\ilon _{m}}{\ilon _{m}}}\right})$

음의 로짓 함수에 0.5를 곱한 값입니다.${\displaystyle {\alpha }_{}}$ m$$\ $displaystyle \$ $alpha$_ { $m$} $m{\displaystyle {}_{}}$$$ m a a$$a a a a $due$ due $due$ due due due m m m $m{\displaystyle {}_{}}$ m m m$$m m due due due due of of of of of$$ due due due$of{\displaystyle }$ due of due due due due due due due of e e e due due due

주의: 이 도출은 k${\displaystyle {}_{}{}_{}}$ ( x${\displaystyle {}_{}{i}_{}}$ )${\displaystyle }${${\displaystyle }${ -${\displaystyle 1}$ , $}$ \ $in$\ { - 1 , { $style$ k$_$ { $m$${\displaystyle {}_{}}$（ $x$${\displaystyle }$_ { $i$} \ in \ { -$$${\displaystyle 1}$ \ $\}$ \ in \ $style{\displaystyle {}_{}}$ $k_{$ i } \ in \ style k_m （ x _ ${\displaystyle 1}$ \$$） ${\displaystyle \in }$ a ${\displaystyle \mathrm{is}}$ is is is is is 、 a ,${\displaystyle b}$） ${\displaystyle 、a}$_ $display$ k ${\displaystyle {\_}_{}}$ $m$（ { i } } { k k k { { { { { { { k k k k k k k k k { { { { { { { k k k k k k${\displaystyle \{a}$,${\displaystyle }$b , ${\displaystyle ...}$ , $n$ { $displaystyle$k _ { $m （ x$ )${\displaystyle }$\ $in \${ a ,$b$ , \$dots$ ,$$n \$$} ${\displaystyle r\mathbb{}}$ $r$ R$displaystyle$k _ { $m$} \$in$ \ $mathbb$ { ${\displaystyle R}$} $。$

따라서 AdaBoost 알고리즘을 도출했습니다.각 반복에서 $분류자{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ m$${\$displaystyle k_{$$m}$을 ${\displaystyle \underset{}{}}$합니다.이것에 의해, 합계 가중 에러를 최소한으로 억제할 수 있습니다$.{\displaystyle \underset{}{}{y}_{}^{}}$ ${\displaystyle \underset{}{{}_{}{}_{}}}$( x ${\displaystyle \underset{}{i_{}}}$ )${\displaystyle {}_{}^{}}$w$$( $m$ ) \ displaystyle \$sum$_ { y _ $i$} \ $neq$ k _ { m$$} ( x$_$ { $i$}$$} } } w _ { i _ { i } } }^{ m }} ww i i i i i ${\displaystyle \underset{}{i_{}}}$ iw i iw i mw i m= i mw i k ${\displaystyle {}_{}\underset{}{{}_{}}}$ m ${\displaystyle \underset{}{{}_{}}}$ i i i i i${\displaystyle \underset{}{\overset{}{i}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}^{}}$ w${\displaystyle i_{}^{}}$ (${\displaystyle {}_{}^{}}$m$$) { $displaystyle$\$silon$_ { m } = \ $sum _$ { $y$_ { $i }$ \ $neq$ k$_$ { $m$} ( $x _$ { $i } } w$ _ { N$} w$_ { $i$}^{ i } ^{ i }^{ i } ${\displaystyle =}$ 1${\displaystyle \frac{}{}}$（ m$$）$$${\displaystyle m1\frac{\mathrm{}}{}}$ lneq k _ ${\displaystyle \frac{{}_{}}{}}$ } w ${\displaystyle {}_{}}$ 1 lneq k } }${\displaystyle s_{}}$는 C m${\displaystyle {}_{}}$- $({$을 C ${\displaystyle m_{}}$ $=$ ${\displaystyle {}_{(m}}$ ${\displaystyle {-1}_{}}$)${\displaystyle {}_{}}$+ ${\displaystyle {\alpha }_{}}$ m ${\displaystyle {}_{}{}_{}}$({m}=$C_{(m-1)}+\alpha$ _${m}k_{m$로 개선합니다.

부스팅에 대한 통계적 이해

이 섹션은 확인을 위해 추가 인용문이 필요합니다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선하는 데 도움을 주십시오. 조달되지 않은 자재는 제거될 수 있습니다.(2016년 5월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인)

부스팅은 선형 회귀의 한 형태로, 각 $샘플{\displaystyle {}_{}}$ $($ 스타일 $x_{i$})의$$ 특징은 $($ 스타일 $x_{i$에 적용된 약한 $학습자{\displaystyle }$ h$(표시 스타일$ h$)$의 결과입니다.

회귀 분석에서는 일반화의 손실${\displaystyle }$없이 F$x$) {$displaystyle$F$($$x)}$을(를${\displaystyle )}$ y$)$에 $최대한{\displaystyle }$ 정확하게 맞추려고 하지만, 일반적으로 $최소{\displaystyle }$제곱$$ E${\displaystyle (f)}$ $=$ (${\displaystyle y}$( ${\displaystyle x}$) -${\displaystyle f{}^{}}$($$ ) 2 {$displaystyle$E(f$)=(x)-f($x)를 사용합니다.$^{2$ 반면 AdaBoost 오류 $함수{\displaystyle }$E (${\displaystyle f}$ ) $=$ -${\displaystyle y^{}}$ (${\displaystyle x^{}}$ )${\displaystyle f^{}}$ (${\displaystyle x^{}}$ $){$ $displaystyle$E ( f )= $e^$ { -$y$ ($x$ )f$( x$ )}}는$$ 최종 결과의 부호만 ${\displaystyle 사용}$되므로 F${\displaystyle }$(${\displaystyle x}$ ${\displaystyle )\{}$ $displaystyle$F ($x )}$는 에러를 증가시키지 않고 크게 할 수 있습니다.단, ${\displaystyle {샘플x}_{}}$i ( ${\displaystyle {}_{}{i}_{}}$$$)${\displaystyle }$f$$${\displaystyle }$( ${\displaystyle x_{}}$i$$) { $displaystyle$ -$$( x i )$$ ( x _ {$i$ ) f ( $x _$ { $i$} )의$$ 오차는 기하급수적으로 $증가$합니다.결과적으로 특이치에 과도한 가중치가 할당됩니다.

지수 오차 함수 선택의 한 가지 특징은 최종 가법 모델의 오차가 각 단계의 오차의 곱이라는 $것$이다. 즉, e${\displaystyle {\underset{}{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ -${\displaystyle {{}_{}}^{}}$ f (${\displaystyle {{}_{}{x}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ) ${\displaystyle \underset{}{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle \underset{}{}{}^{}}$- ${\displaystyle {y_{}}^{}}$ f ( x${\displaystyle {{}_{}}^{}}$i$$) \$$display ${\displaystyle {{}_{}}^{}}$^{\$sum$ _${i}-y_{i}$ f$(x_i}).$$}=\param _{i}e^{-y_{i}f(x_{$i$\}\}\}\}:$따라서 AdaBoost 알고리즘의 가중치 업데이트는 각 단계 후에 ${\displaystyle F_{}}$t (${\displaystyle x}$ $)\displaystyle F_{t}(x)$의 $오류$를 재계산하는 것과 동등함을 알 수 있습니다.

손실 함수의 선택에는 많은 유연성이 허용된다.손실 함수가 단조롭고 연속적으로 미분 가능한 한, 분류기는 항상 순수한 해법으로 ^[7]유도됩니다.Zhang(2004)은 수정된 Huber 손실 함수인 최소 제곱에 기초한 손실 함수를 제공합니다.

$\displaystyle \phi(y,f(x)=param{case}-4yf(x)&{\mbox{-1,\(yf(x)-1)^{2}&{\mbox{if}-1\leq yf(x)\leq 1,\0&{fox(x)}}}}.$

이 기능은 LogitBoost보다 f())에 가까운 1또는-1,>(yf())‘자신 과잉’ 예측 penalise지 않는다{\displaystyle f())}을 위해;1{\displaystyle yf())> 1}), 수정되지 않은 최소 이승, 그리고 오직 penalises 사료로 quadratica에 반대하는 자신감 이상 1선형과, misclassified 달리 몸가짐이 바르다lly나지수적으로 증가하므로 특이치의 영향을 덜 받습니다.

경사 강하 시 부스팅

승압은 볼록한 ^[8]함수 집합에 대한 볼록 손실 함수의 최소화로 볼 수 있다.구체적으로 AdaBoost에 의해 최소화되는 손실은 지수 손실${\displaystyle \underset{i}{}}$ i${\displaystyle }$( ${\displaystyle i}$ （${\displaystyle }$i ,${\displaystyle y}$ ,${\displaystyle f}$ ) $=$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle \underset{}{}{}^{}}$- ${\displaystyle {y_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$f ( ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {i_{}}^{}}$ $){$ $displaystyle \sum$ _${i}\phi ( i$ ,$y$ , f )= \$sum$_{$i}e^{-y_{i$} f$(x _$i$\}\}\}\}\}\}$ ), Logistration을 실행하는 반면, logistruction,$)(\$$i$$}\right$

경사 강하 유추에서, 각 훈련 포인트에 대한 분류기의 출력은 각 학습자가 약한 훈련에 해당하는 n차원 공간에서 점$({\displaystyle F_{}}$t (${\displaystyle {x\mathrm{}}_{}}$1${\displaystyle }$)${\displaystyle }$, ${\displaystyle ...}$ , ${\displaystyle {}_{}{t}_{}}$ ( ${\displaystyle x_{}}$ n${\displaystyle }$)$$, $displaystyle \left$($F$_ { $t$} ( x$_$ { n$$} ) , \$dots$ , F _ { $t$} ( $x${ n } \ right $)$로 간주됩니다.$le$ h$(x)}$는 고정된 방향과 길이의 벡터에 대응하며, 목표는 타겟포인트$({\displaystyle {y\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ $)$ {$displaystyle (y_{1},\dots,y_n}($또는 $손실함수{\displaystyle {}_{}}$ $T(x$1,${\displaystyle \dots ,}$ ${\displaystyle x_{}}$ n$)$ {$dots},$ )에 도달하는 $것$입니다., 가장 적은 스텝으로.따라서 AdaBoost 알고리즘은 Cauchy(최경사 구배를 가진 h$x)\displaystyle$ h$(x)$를 찾아 테스트 오류를 최소화하려면$$$)\displaystyle\alpha$$$h$(x)$를 $선택{\displaystyle }$) 또는 Newton(타깃점을 $선택$하고 $\$}) 중 $하나$를 수행합니다.트레이닝 에러의 발생.

알고리즘 예(Discrete AdaBoost)

포함:

• $샘플{\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}}$ 1${\displaystyle {}_{}{x}_{}}$n \ $display$ style $x_{1}$ \ $dots x_{n}$
• 원하는 $출력{\displaystyle {}_{}}$ ${\displaystyle {y\mathrm{}}_{}}$ 1 ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{n}_{}}$ , ${\displaystyle y}$ ${\displaystyle \{}${ -${\displaystyle 1}$ , $}$ { $displaystyle y$_ {1$}$ \ $dots$ y _ {$n$} , y \ $in$\ { - 1, $1$\ }
• ${\displaystyle {초기\mathrm{}}_{}}$ $무게{\displaystyle {}_{}}$ (1${\displaystyle {,}_{}}$ ${\displaystyle 1_{}}$, ${\displaystyle {}_{}{wn,}_{}}$ ${\displaystyle 1_{}}${$displaystyle w_{1,1}\dots w_{n,1})$는 $({$으로 $설정$됩니다.
• 오류 $함수{\displaystyle }$ E${\displaystyle }$( ${\displaystyle f}$(${\displaystyle x}$) ,${\displaystyle y}$ ,${\displaystyle i}$ ) ${\displaystyle ={}^{}}$ - ${\displaystyle {{}_{}}^{}}$ ${\displaystyle {i_{}{}_{}}^{}}$ ( ${\displaystyle {x_{}}^{}}$i )$${ $display E ( f$ ( $x$) ,$y$ , i$$=$e^$ { - $y$_ { $i } f$ ( x$_$ {$$i } }$}}$
• 약한 $학습자{\displaystyle }$h : ${\displaystyle x}$ ${\displaystyle \to }${ -${\displaystyle 1}$ , 1$}$ { $displaystyle h$ \ $rightarrow$ \ { -$1$, 1$$\ }

$t{\displaystyle }$\ $displaystyle$t $in$ 1 $...$ ${\displaystyle T}$ \ $displaystyle$1 \ $dots$T :

• ${\displaystyle h_{}}$ t${\displaystyle {}_{}}$(${\displaystyle x}$) { $displaystyle h_{t}(x$ 를 $선택$합니다.
  • ${\displaystyle {잘못}_{}}$ 분류된 포인트의 가중치 합계 오류 $the{\displaystyle {}_{}}$ ${\displaystyle t_{}}$$$${\displaystyle {}_{}}$ ${\displaystyle \underset{}{\overset{}{h\stackrel{}{{}_{}{t}_{}}}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ h t ( ${\displaystyle \underset{}{\overset{}{\stackrel{}{{}_{}{i}_{}}}}}$ )${\displaystyle \underset{}{\overset{}{\stackrel{}{}}}}$、 ${\displaystyle \underset{}{\overset{}{\stackrel{}{{}_{}}}}}$ ${\displaystyle \underset{}{\overset{}{\stackrel{}{{}_{}}}}}$ ${\displaystyle \underset{}{\overset{}{\stackrel{}{=}}}}$ $1$ n ${\displaystyle {wi}_{}}$ ,$$t \ $displaystyle$\ $silon$$$_ { t } 、 t \ $displaystyle$ \ $silon$ _ { $t$$$} ( x$$)$$$、$ $t$ 、 t 、 t 、 \$displaystyle${ $t =$ { t$}$
  • ${\displaystyle {\alpha }_{}}$ t ${\displaystyle {}_{}}$ ${\displaystyle \frac{1}{}}$ 2 ${\displaystyle \ln （}$ ${\displaystyle 1\frac{\mathrm{}}{}}$ -${\displaystyle \frac{{}_{}}{{}_{}}}$ t${\displaystyle \frac{{}_{}}{}\frac{t_{}}{}}$ ）$${ $displaystyle \alpha$_ { t } =$flac${ { left $flac { }$ { } \$ln$ \ $flac$ { 1 - \ $explacilon _$ { t}$}$ { \ $right$} } } 를 $선택$합니다.
• 앙상블에 추가:
  • ${\displaystyle F_{t}(x)=F_{t-1}(x)+\alpha_{t}h_{t}(x)}$
• 무게 업데이트:
  • ${\displaystyle w_{}}$ i${\displaystyle {,}_{}}$ ${\displaystyle t_{}}$+ ${\displaystyle 1_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle w_{}}$ i${\displaystyle {,}_{}}$ ${\displaystyle {}_{}{}^{{}_{}}}$ - y ${\displaystyle {{}_{}{}_{}}^{}}$ ${\displaystyle {{\alpha }_{}}^{}}$ t${\displaystyle {{}_{}{t}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ( ${\displaystyle {x_{}}^{}}$i$$) { $displaystyle$ $w$$_$ {$i$ ,$t$ } =$w$_ {$i$ , t } $e^$ { - y _ { i } \ $alpha$ _$$$${ $t$} h$_$ { $t （$ x$$$$$_$ { $i$$$} } } } }${\displaystyle }$（ $1$ ${\displaystyle n}$）$$$。$
  • ${\displaystyle \underset{}{}{}_{,}}$${\displaystyle t_{}}$ +$$ {$displaystyle w_$${i,t$${\displaystyle {+}_{}}$1} {displaystyle ${i$,t+1$}$ ${\displaystyle {}_{}}$ {$displaystyle \sum _{i,t+1$} $=1}$로 정규화 $합니다{\displaystyle {}_{}}$.
  • (주:${\displaystyle \frac{\underset{t_{}}{}}{}}$ h${\displaystyle \frac{\underset{}{{\mathrm{t}}_{}}}{}}$+ ${\displaystyle \frac{\underset{}{{}_{}}}{}}$ (${\displaystyle \frac{\underset{}{{}_{}{x}_{}}}{}}$ i ) ${\displaystyle \frac{\underset{}{=}}{}}$ ${\displaystyle \frac{\underset{}{y_{}}}{}}$ w${\displaystyle \frac{i_{}}{}}$ , t${\displaystyle \frac{{}_{}}{}}$+ ${\displaystyle \frac{1_{}}{}}$ ${\displaystyle \frac{{}_{}}{\underset{}{}}}$ ${\displaystyle \frac{\underset{}{h{}_{}}}{}}$ ${\displaystyle \frac{\underset{}{t_{}}}{}}$+${\displaystyle \frac{\underset{}{{}_{}{1}_{}}}{}}$ ( ${\displaystyle \frac{\underset{}{{}_{}}}{}\frac{\underset{}{i_{}}}{}}$ )${\displaystyle \frac{\underset{}{{}_{}}{}_{}}{}}$ y${\displaystyle \frac{w_{}}{}}$ ${\displaystyle \frac{i_{}}{}}$, ${\displaystyle \frac{{\mathrm{t}}_{}}{}}$ + 1 ${\displaystyle =\frac{\underset{}{}}{}}$ ${\displaystyle \frac{\underset{}{i_{}{}_{}{h}_{}}}{}}$ t (${\displaystyle \frac{\underset{}{{}_{}}}{}}$x ${\displaystyle \frac{\underset{}{{}_{}}}{}}$ ) ${\displaystyle \frac{\underset{}{=}}{}}$ ${\displaystyle \frac{\underset{}{{}_{}}}{}}$ ${\displaystyle \frac{w_{}}{i_{}}}$ , ${\displaystyle \frac{t_{}}{}}$ 、 t 、 t$$ t 、 $t$ ( ${\displaystyle \frac{\underset{}{{}_{}{i}_{}}}{}}$ ) ${\displaystyle \frac{\underset{}{、}}{}}$ $ty$ ${\displaystyle \frac{\underset{}{{}_{}}{}_{}}{}}${ $frac _ sum$ { $i$、{$i}}w_{i,t+1}}=paramfrac({sum$_{$h_{t}(x_{$i})=$y_{i}w_{i,t}}{\sum_{h_{i}\neq$y_${i$}}){i}}}$w_{i,$t}}}}}}}}}는$$ 단계마다 새로운 가중치의 계산을 단순화할 수 있습니다$.$

변종

실제 AdaBoost

Decision Tree의 출력은 클래스 확률 $추정치{\displaystyle }$p (${\displaystyle x}$ )${\displaystyle =}$ ${\displaystyle \mathrm{P}}$ ( $=$ 1 x ){ $display p$ ( x )= $P$( y$= 1$x )$$。x$${ $display style$ x$$}가 플러스 ^[7]클래스일 확률입니다.Freedman, Hastie 및 Tibshirani는 최소 $x)$를 사용하여 e${\displaystyle {}^{}}$-${\displaystyle y^{}}$ ( ${\displaystyle {F_{}}^{}}$t -${\displaystyle {{}_{}{1}_{}}^{}}$ (${\displaystyle x^{}}$) + ${\displaystyle {f{}_{}}^{}}$t (${\displaystyle {}^{}}$x${\displaystyle {}^{}}$)$${ $display$ e^ { -$y$ \$left$ ( $F$_ { t - 1 } ( $x$) + $f$_ { $t$} ($x$) \$right$ )에$$ $대한{\displaystyle {}^{}}$ 분석 최소치를 도출한다.

${\displaystyle {}_{}f}$ t${\displaystyle {}_{}}$(${\displaystyle }$x ) $=$ ${\displaystyle 1\frac{}{}}$ ${\displaystyle \frac{2}{}}$ ${\displaystyle \ln }$ ${\displaystyle \frac{（}{}}$ ${\displaystyle \frac{x\mathrm{}}{}}$ 1 -${\displaystyle \frac{}{}\frac{x}{}}$）{ $displaystyle f_{$t}(x)= $flac {1}{2}\ln \ flac {x}$ {x} \$right$$}$

따라서 트리 전체의 출력에 일정한 값을 곱하는 것이 아니라 각 리프 노드가 이전 값의 로짓 변환의 절반을 출력하도록 변경됩니다.

LogitBoost

LogitBoost는 설정된 로지스틱 회귀 기법을 AdaBoost 메서드에 적용하는 것을 나타냅니다.약한 학습자는 y에 대한 오류를 최소화하는 대신 ${\displaystyle f_{}}$ t${\displaystyle {}_{}}$($x$ $displaystyle$ f_${t}(x)}$의 (가중치 최소 제곱) 오류를 최소화하는 데 선택됩니다.

${\displaystyle z_{t}=syslogfrac {y^{*}-p_{t}(x)}{2p_{t}(x)(1-p_{t}(x)}},$

어디에

${\displaystyle p_{t}(x)=flac {e^{F_{t-1}(x)}}{e^{F_{t-1}(x)}}+e^{-F_{t-1}(x)}}}}},$

$\displaystyle w_{t}=p_{t}(x)(1-p_{t}(x))}$

${\displaystyle y^{*}=black {y+1}{2}}.}$

${\displaystyle {즉}_{}}$, z$$t {\$displaystyle$$z_{t$$\}$는 t$단계$에서의 로그 우도 오류 최소화에 대한 뉴턴-라프슨 근사치이며, weak $learner{\displaystyle {}_{}}$f {\$displaystyle$ f_${t$}}는 가중 최소 제곱에 의해 z$$ {\$display z_{t}$에 가장 $가까운{\displaystyle {}_{}}$ 학습자로 선택됩니다.

p가 1 또는 0에 가까워지면 p${\displaystyle {}_{}{t}_{}}$ ( ${\displaystyle {}_{}{i}_{}}$) $($ - ${\displaystyle {}_{}{t}_{}}$ ( ${\displaystyle {}_{}{i}_{}}$) { $display$ style $p$_ { $t$} ( $x _$ { $i$} )의 $값$이 매우 작아지고 잘못 분류된 샘플의 경우 큰 z 항이 기계 정밀도 반올림 오류로 인해 수치적으로 불안정해질 수 있습니다.이는 z의 절대값과 w의 최소값에 대해 어느 정도 제한을 적용함으로써 극복할 수 있습니다.

젠틀 AdaBoost

이전 부스트 알고리즘은 f ${\displaystyle t_{}}${\$style f_{t}$를 탐욕스럽게 $선택$하여 각 단계에서 전체 테스트 오차를 최대한 최소화한 반면, GentleBoost는 제한된 스텝 크기를 특징으로 합니다.${\displaystyle f_{}}$t { $display style$ f$_${${\displaystyle {}_{}}$t }${\displaystyle \underset{i}{}}$ i ${\displaystyle {\mathrm{wi}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle y_{}}$i - ${\displaystyle {}_{}{t}_{}}$ ( ${\displaystyle {}_{}{i}_{}{}^{}}$) )${\displaystyle {2\mathrm{}}^{}}$ ${$ $displaystyle \sum$_ { $i }w$_ {$t$ , $i$} ( $y$_ { $i$} - $f$_ { $t$} ( x$_$ { $i$} )$^{2$ 추가 계수는 적용되지 않습니다.따라서 약한 학습자가 완벽한 분류 성능을 보이는 경우, GentleBoost는 ${\displaystyle f_{}}$${\displaystyle {}_{}}$t (${\displaystyle x}$ ) ${\displaystyle =}$ ${\displaystyle {\alpha }_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle h_{}}$t (${\displaystyle x}$) { $displaystyle f_{t}(x$) $=$ \$alpha$ _ ${t} h_{t}(x)$를 y$${$displaystyle$ y$\}$와 $정확히{\displaystyle }$ 동일하게 $선택$하지만, 가장 가파른 하강 알고리즘은 $=\$displaystyle \$tyle$\tyle_${t}$을 $설정$하려고 한다.GentleBoost의 양호한 성능에 대한 관측 결과는 지나치게$$큰 α(\$displaystyle \alpha)$ $값$을 허용하면 일반화 성능이 ^[9][10]저하될 수 있다는 Schapire와 Singer의 발언을 뒷받침하는 것으로 보인다.

조기 종료

부스트된 분류기의 처리를 고속화하는 기술인 조기종단은 어떤 신뢰역치를 충족하기 위해 필요한 최종 분류기의 층수만큼만 각 잠재적 오브젝트를 테스트하는 것을 의미하며, 오브젝트의 클래스를 쉽게 결정할 수 있는 경우의 계산을 고속화한다.그러한 긍정적인 샘플의 일부 허용될 만큼 작은 일부 부정적으로라고 잘못 라벨링은 그와 같은 계획은 개체를 탐지 체계 비올라와 존스에 의해 소개되:훨씬 더 부정적인 샘플의 응용 프로그램에보다 긍정적으로[11], 별도의 부스터 classifiers이 쏟아지는 바람, 각 단계의 출력은 편견에, 그리고 모든 샘플 mar. 훈련을 받는다양이파리.각 단계가 폐기된 후 음으로 표시됩니다.음성 샘플의 50%가 각 단계에서 걸러지면 극소수의 개체만 전체 분류기를 통과하여 계산 작업을 줄일 수 있습니다.이 방법은 이후 각 단계에서 최적의 임계값을 선택하여 원하는 잘못된 양의 ^[12]비율과 잘못된 음의 비율을 달성하기 위한 공식을 통해 일반화되었습니다.

AdaBoost가 보통 치수 문제에 더 많이 적용되는 통계 분야에서는 오버핏을 ^[13]줄이기 위한 전략으로 조기 정지가 사용됩니다.검증 샘플 세트를 트레이닝 세트로부터 분리해, 트레이닝에 사용하는 샘플의 분류기의 퍼포먼스와 검증 샘플의 퍼포먼스를 비교하고, 트레이닝 세트의 퍼포먼스가 계속 향상하고 있어도 검증 샘플의 퍼포먼스가 저하한다고 판단되면 트레이닝을 종료한다.

완전 수정 알고리즘

$테스트{\displaystyle {}_{}}$ 오류를 최소화하기 위해 각 계층 t에서 ${\displaystyle {\alpha }_{}}$t \$displaystyle \alpha$ _${t}$를 선택하는 AdaBoost의 가장 가파른 하강 버전의 경우, 추가된 다음 계층은 계층 ^[14]t와 최대 독립적이라고 한다. 학습자 t와 유사한 약한 학습자 t+1을 선택할 가능성은 낮다.그러나 t+1이 다른 초기 계층과 유사한 정보를 생성할 가능성은 남아 있습니다.LPBoost와 같은 완전 수정 알고리즘은 각 단계 이후의 모든 계수의 값을 최적화하기 때문에 추가된 새로운 계층은 항상 모든 이전 계층과 최대한 독립적입니다.이는 백핏, 선형 프로그래밍 또는 다른 방법으로 수행할 수 있습니다.

가지치기

플루닝은 성능이 떨어지는 취약한 분류자를 제거하여 메모리 및 확장 분류자의 실행 시간 비용을 개선하는 프로세스입니다.완전 교정 훈련과 함께 특히 효과적일 수 있는 가장 간단한 방법은 가중치 또는 마진 트리밍이다. 즉, 일부 약한 분류기의 계수 또는 총 시험 오류에 대한 기여도가 특정 임계값 아래로 떨어지면 해당 분류기가 떨어진다.Margineantu & Dietterich는^[15] 트리밍의 대체 기준을 제시했습니다: 앙상블의 다양성을 최대화할 수 있도록 약한 분류기를 선택해야 합니다.두 명의 약한 학습자가 매우 유사한 출력을 생성하는 경우, 이들 중 하나를 제거하고 나머지 ^[16]약한 학습자의 계수를 증가시킴으로써 효율성을 향상시킬 수 있습니다.

「 」를 참조해 주세요.

• 부트스트랩 집약
• 공동 부스트
• 브라운 부스트
• 그라데이션 부스트
• 곱셈 웨이트 갱신 방법 ad AdaBoost 알고리즘

레퍼런스

추가 정보