LogitBoost

기계학습 및 계산학습 이론에서 LogitBoost는 제롬 프리드먼, 트레버 해스티, 로버트 티비라니에 의해 공식화된 부스팅 알고리즘입니다.원본 논문은 AdaBoost 알고리즘을 통계 ^[1]프레임워크에 캐스팅합니다.구체적으로 AdaBoost를 일반화 가법 모델로 간주하고 로지스틱 회귀의 비용 함수를 적용하면 LogitBoost 알고리즘을 도출할 수 있다.

LogitBoost 비용 함수 최소화

LogitBoost는 볼록한 최적화로 볼 수 있습니다.특히, 우리가 형태의 가법적 모델을 찾는다는 것을 고려할 때

$\displaystyle f=\sum _{t}\alpha _{t}h_{t}$

LogitBoost 알고리즘은 로지스틱 손실을 최소화합니다.

$\displaystyle \sum _{i}\log \left(1+e^{-y_{i}f(x_{i})}\right)}$

「 」를 참조해 주세요.

• 그라데이션 부스트
• 로지스틱 모형 트리

레퍼런스