코부스팅

코부스트는 1999년 콜린스와 싱어가 제안한 준감독 훈련 알고리즘이다.알고리즘의 원래 적용은 매우 약한 학습자를 이용한 명명된 엔티티 분류 작업이었다.^[1]특징에 중복성이 존재하는 경우 준감독 학습 수행에 사용할 수 있다.

공동훈련과 부양이 합쳐진 것으로 볼 수도 있다.각 예제는 두 개의 뷰(형상 집합의 하위 섹션)에서 사용할 수 있으며, 부스팅은 이전 반복의 대체 뷰에서 생성된 예측 라벨을 사용하여 각 뷰와 교대로 반복적으로 적용된다.CoBoosting은 PAC 학습의식에서 유효한 부스팅 알고리즘이 아니다.

동기

CoBoosting은 콜린스와 싱어가 반 감독 방식으로 분류자를 훈련시키기 위한 기능의 중복성을 이용하려는 이전의 시도를 개선하려는 시도였다.블럼과 미첼의 세미콜라 작품인 코트레이닝은 의사결정 목록에서 반복적으로 규칙을 유도함으로써 소수의 씨앗 예시를 주어 분류자를 학습하는 데 강력한 프레임워크임을 보여주었다.CoBoosting to CoTraining의 장점은 CoTraining 패턴을 일반화하여 어떤 분류기와도 함께 사용할 수 있다는 점이다.CoBoosting은 AdaBoost로부터 개념을 차용하여 이 업적을 달성한다.

CoTrain과 CoBoost에서 교육 및 테스트 예제 세트는 두 가지 특성을 따라야 한다.첫 번째는 예시의 형상공간이 두 형상공간(또는 보기)으로 분리되어 각 뷰가 분류를 위해 충분히 표현될 수 있다는 점이다.Formally, there exist two functions ${\displaystyle f_{1}(x_{1})}$ and ${\displaystyle f_{2}(x_{2})}$ such that for all examples ${\displaystyle x=(x_{1},x_{2})}$, ${\displaystyle f_{1}(x_{1})=f_{2}(x_{2})=f$$(x$ 이상적인 반면, 이 제약조건은 사실 소음과 다른 요인들로 인해 너무 강하며, 그 대신 두 알고리즘 모두 두 기능 사이의 합치를 최대화하려고 한다.두 번째 속성은 두 가지 관점이 높은 상관관계를 가져서는 안 된다는 것이다.

알고리즘.

입력:${\displaystyle }${${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle i_{}}$ ${\displaystyle {x\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$ ${\displaystyle i_{}}$ )${\displaystyle i_{}^{}}$ = ${\displaystyle {}_{}^{}}$ ${\$\{{1}{($x_{1,i},$x_{$2,i}\}_{i=1}^{n$${\displaystyle }${ ${\displaystyle {yi}_{}{}_i^{}}$= ${\displaystyle {}_{}^{}}${$y_{i}\i}\i$=1}^{m$}}}}}}}}:{m}$

초기화:${\displaystyle }\forall {\displaystyle \mathrm{}}$ ${\displaystyle i}$ , j${\displaystyle }$: ${\displaystyle \mathrm{g}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ 0 (${\displaystyle {}_{}^{}}$x ${\displaystyle {i\mathit{}}_{}}$)${\displaystyle }$= 0 ${\displaystyle$\$for i,j:g_{j}^{0}({\boldsymbol {x_{i}}}}}=0$ .

$t{\displaystyle }$= ${\displaystyle 1}$, .${\displaystyle }$.${\displaystyle }$, ${\displaystyle T}$ ${\displaystyle$t=$1,...$$,T}$ 및$$ $j{\displaystyle }$= ${\displaystyle 1}$,${\displaystyle 2}$ ${\displaystyle j=1,2$

유사 레이블 설정:

${\displaystyle {\hat {y_{i}}=\좌측\{{\now{array}{ll}y_{i},1\leq i\leq m\\sign(g_{3-j}^{t-1}({\symbol {x_{3-j,i}}}),m<leq nend\}오른쪽.}$

Set virtual distribution: ${\displaystyle D_{t}^{j}(i)={\frac {1}{Z_{t}^{j}}}e^{-{\hat {y_{i}}}g_{j}^{t-1}({\boldsymbol {x_{j,i}}})}}$

여기서 $Z{\displaystyle {}_{}^{}}$ ${\displaystyle t_{}^{}}$ ${\displaystyle \underset{}{\overset{}{j}}{}_{}^{}}$= ${\displaystyle \underset{}{\overset{}{}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{}}{}^{}}$ e${\displaystyle {}^{}}$- ${\displaystyle {\stackrel{}{y_{}}}^{}}$ ${\displaystyle {\stackrel{}{{}_{}}}^{}}$ g ${\displaystyle {{}_{}^{}}^{}}$- ${\displaystyle {1_{}^{}}^{}}$ ${\displaystyle {{}_{}^{}{\mathit{x}}_{}}^{}}$ j${\displaystyle {{\mathbf{}}_{}}^{}}$, i${\displaystyle {{}_{}}^{}}$) ${\$

${\displaystyle {}_{}^{}}$된 교육 오류를 최소화하는 약한$$ 가설 $h{\displaystyle {}_{}^{}}$ ${\$을(를) 찾으십시오.

확장된 교육 오류를 최소화하는$$ $\alpha {\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$에 대한 값을 선택하십시오.

현재 강력한 비임계 분류자 값 업데이트:

${\displaystyle \forall i:g_{j}^{t}{t}({\programsymbol {x_{j,i}}}}}}=g_{j}^-1}({\programsymbol {x_{t}^}}}{j,i}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}})}$

최종 강력한 분류기 출력은

${\displaystyle f({\boldsymbol{x}}=좌(\sum _{j=1}^{2}g_{j}^{T})({\boldsymbol {x_{j}}}}\오른쪽)}}$

AdaBoost 설정

CoBoosting은 AdaBoost 알고리즘을 기반으로 하며, 이것은 AdaBoost가 다른 많은 학습 알고리즘과 함께 사용될 수 있기 때문에 CoBoosting에게 일반화 능력을 부여한다.이 빌드업은 복수 클래스 분류에 적응할 수 있지만 2 클래스 분류 작업을 가정한다.AdaBoost 프레임워크에서는 훈련 세트의 예에 대한 분포뿐만 아니라 약한 분류자가 직렬로 생성된다.각각의 약한 분류기에는 무게가 주어지고 최종적인 강한 분류자는 할당된 무게에 의해 가중되는 약한 분류자의 합계의 기호로 정의된다.(표기법은 AdaBoost Wikipedia 페이지 참조)AdaBoost 프레임워크에서 Schapire와 Singer는 훈련 오류가 다음과 같은 방정식에 의해 제한된다는 것을 보여주었다.

${\displaystyle {\frac {1}{m}}\sum _{i=1}^{m}e^{\left(-y_{i}\left(\sum _{t=1}^{T}\alpha _{t}h_{t}({\boldsymbol {x_{i}}})\right)\right)}=\prod _{t}Z_{t}}$

여기서 $Z{\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$는 분포$$ ${\displaystyle D_{}}$ t${\displaystyle {}_{}}$+ ${\displaystyle 1_{}}$ ${\$의 정규화 요인이다$.$$D$ ${\displaystyle t_{}}$ (${\displaystyle {}_{}i}$) ${\displaystyle D_{t}(i)}$에 대한 방정식의$$ $Z{\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$에 대한 해결 방법:

${\displaystyle Z_{t}=\sum _{i:x_{t}\notin x_{i}}}D_{t}(i)+\sum _{i:x_{t}\in x_{i}}}D_{t}(i)e^{-y_{i}\알파 _{i}h_{t}({\boldsymbol{x_{i}}}}}}}}}}}$

여기서 $x{\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$는 현재$$ 약한 가설에서 선택된 형상이다.현재 가설이 올바른 레이블 또는 잘못된 레이블을 선택한 분포의 합을 설명하는 3개의 방정식이 정의된다.분류자가 제공된 라벨이 0인 예에서 라벨을 선택하지 않을 수 있다는 점에 유의하십시오.두 개의 라벨은 -1 또는 1로 선택된다.

${\displaystyle W_{0}=\sum _{i:h_{t}(x_{i})=0}D_{t}(i)}$

${\displaystyle W_{+}=\sum _{i:h_{t}(x_{i})=y_{i}}D_{t}(i)}$

${\displaystyle W_{-}=\sum _{i:h_{t}(x_{i})=-y_{i}D_{t}(i)}$

샤피르와 싱어는 다음과$$ 같이 ${\displaystyle {\alpha }_{}}$ t ${\$를 선택하여 $값{\displaystyle {}_{}}$ Z ${\displaystyle t_{}}${\$displaystyle Z_{t}$을 최소화할$$ 수 있고, 따라서 훈련 오류도 최소화할 수 있다는 것을 보여주었다.

${\displaystyle \alpha _{t}={\frac {1}{2}}\ln \left({\frac {W_{+}}{W_}}}{-}}\오른쪽)}$

정확하게 분류된 예제 수 대 예에 비해 분포에 의해 가중된 잘못 분류된 예제 수를 바탕으로 현재 가설의 분류자에 대한 신뢰 값 제공.$이{\displaystyle {}_{}}$ 방정식은 W${\displaystyle {}_{}}$- ${\$가 너무$$ 작은 경우를 보상하기 위해 평활할 수 있다.${\displaystyle {이}_{}}$ 방정식에서$$Z t {\$displaystyle$ Z_${t}$를 도출하면 다음과 같은 결과를 얻을 수 있다.

${\displaystyle Z_{t}=W_{0}+2{\sqrt{W_{+}W_{-}}}}}}$

따라서 훈련 오류는 이전 방정식을 최소화하는 반복마다 약한 가설을 선택하여 최소화한다.

두 가지 견해를 가진 에이다부스트

CoBoosting은 라벨이 붙은 훈련 세트($1{\displaystyle \mathrm{...}m}$ ${\displaystyle 1...m}$의 예$)$와 라벨이 없는 훈련 세트($$${\displaystyle {m\mathrm{}}_{}}$ 1${\displaystyle }$.${\displaystyle n}$ .n ${\displaystym_{1}...n})$가 있는 경우 이 프레임워크를 확장하며, ${\displaystyle x_{}}$ i${\displaystyle {}_{}}$=${\displaystyle }$(${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle i_{}{,}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ , ${\displaystyle i_{}}$ $dis$의 형태로 특징의 중복성 조건을 충족한다$.$$Playstyle x_{i}=(x_{1,i},x_{2,i$알고리즘은 라벨이 부착된 훈련에 동의하는 에이다부스트와 같은 방식으로 두 분류자를 훈련시키고 라벨이 부착되지 않은 훈련 세트에 있는 두 분류자 사이의 합의를 최대화한다.최종 분류자는 두 개의 강력한 분류자를 합한 표시다.CoBoost에 대한 경계 훈련 오류는 다음과 같이 확장되며, $여기$서 Z ${\displaystyle C_{}}$ ${\displaystyle O_{}}$ ${\$는 $Z{\displaystyle {}_{}}$ t ${\$의 확장이다$.$

${\displaystyle Z_{CO}=\sum _{i=1}^{m}e^{-y_{i}g_{1}({\boldsymbol {x_{1,i}}})}+\sum _{i=1}^{m}e^{-y_{i}g_{2}({\boldsymbol {x_{2,i}}})}+\sum _{i=m+1}^{n}e^{-f_{2}({\boldsymbol {x_{2,i}}})g_{1}({\boldsymbol {x_{1,i}}})}+\sum _{i=m+1}^{n}e^{-f_{1}({\boldsymbol {x_{1,i}}})g_{2}({\boldsymbol {x_{2,i}}})}}$

여기서 $g{\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$는 $j{\displaystyle {}^{}}$ ${\displaystyle t^{}}$ ${\displaystyle h^{}}$ ${\$ j$^{th}}$ 보기(j$$ = 1 또는 2)에 대한 신뢰 값에 의한 가설 가중치의 합이다$$.${\displaystyle f_{}}$ ${\displaystyle j_{}}$ ${\$는 g ${\displaystyle j_{}}$ ${\$의 기호인데$,$ CoBoost의 각 반복에서 두 분류자는 반복적으로 업데이트된다.$g{\displaystyle }$${\displaystyle j_{}^{}}$ ${\displaystyle {\mathrm{t}}_{}^{}}$- 1 ${\$이 ${\displaystyle t^{}}$$$ - 1 ${\displaystyle j$$^{th$$}}$ 보기에 대한 강력한$$ 분류기 출력인 경우, jth$$ ${\displaystyle \mathrm{업데이트}}$에 대한 유사 라벨을 다음과 같이 설정할 수 있다.

${\displaystyle {\hat {y_{i}}=\좌측\{{\now{array}{ll}y_{i},1\leq i\leq m\\sign(g_{3-j}^{t-1}({\symbol {x_{3-j,i}}}),m<leq nend\}오른쪽.}$

여기서 $3{\displaystyle \mathrm{}}$ -${\displaystyle j}$ ${\displaystyle 3-j}$은(는) 현재 업데이트 중인 보기의 다른 보기를 선택한다$$.${\displaystyle Z_{}}$ ${\displaystyle C_{}}$ ${\displaystyle O_{}}$ ${\$은(는${\displaystyle {}_{}}$ Z ${\displaystyle {}_{}^{}}$ ${\displaystyle O_{}^{}}$ =${\displaystyle {\mathrm{}}_{}^{}}$ C ${\displaystyle O_{}^{}}$ 1 + ${\displaystyle {\mathrm{}}_{}^{}}$C O 2 {\$displaystyle$ Z_${CO}=Z_{CO}^{1}+$$Z_${{{}}}}와 같이 둘로 분할된다.$CO}^{2$ 어디

${\displaystyle Z_{CO}^{j}=\sum _{i=1}^{n}e^{-{\hat {y_{i}}}(g_{j}^{t-1}({\boldsymbol {x_{i}}})+\alpha _{t}^{j}g_{t}^{j}({\boldsymbol {x_{j,i}}}))}}$

반복 $t{\displaystyle }$ ${\displaystyle t}$에서 각 보기 $j{\displaystyle }$ ${\displaystyle j}$에 대한 예제를 통한 분포는 다음과 같이 정의된다$$.

${\displaystyle D_{t}^{j}(i)={\frac {1}{1}{Z_{t}^{j}}e^{-{\hat {y_{i}}g_{j}^{t-1}}}}{\boldsymbol {x_{j,i}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

$이때{\displaystyle {}_{}^{}}$ Z ${\displaystyle C_{}^{}}$ ${\displaystyle O_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$을(를) 로 다시 쓸 수 있다$$.

${\displaystyle Z_{j}^{j}=\sum _{i=1}{n_{t}^{j}e^{-{\hat {y_{i}}}\alpha _{t}^{j}g_{t}^{\boldsymbol {x_{j,i}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

에이다부스트의 방정식과 동일한 것이다.Thus the same process can be used to update the values of ${\displaystyle \alpha _{t}^{j}}$ as in AdaBoost using ${\displaystyle {\hat {y_{i}}}}$ and ${\displaystyle D_{t}^{j}}$. By alternating this, the minimization of ${\displaystyle Z_{CO}^{1}}$ and ${\displaystyle Z_{CO}^2}$$$이 패션에서$$ ${\displaystyle Z_{CO}^{2}}$ $Z{\displaystyle {}_{}}$ ${\displaystyle C_{}}$ ${\displaystyle O_{}}$ ${\$는 욕심 많은 패션으로 최소화된다$$.

참조

각주