반복적으로 가중치가 재조정된 최소 제곱

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

반복적으로 재가중 최소 제곱법(IRLS)은 p-규격 형태의 객관적 함수로 특정 최적화 문제를 해결하는 데 사용된다.

${\displaystyle {\big symbol {\big}{arg\,min}}}}}{{i=1}^{n}{\big }y_{f_{i}}({\big symbol {\bol}}}{\big ^{p}}}}}}}}}}}}}$

각 단계가 양식의 가중 최소 제곱 문제 해결을 포함하는 반복적 방법에 의해:^[1]

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}w_{i}({\boldsymbol {\beta }}^{(t)}){\big }y_{i}-f_{i}({\boldsymbol {\beta }}){\big }^{2}.}$

IRLS는 일반화된 선형 모델의 최대우도 추정치를 찾는 데 사용되며, 다른 정규 분포를 따르는 데이터 집합에서 특이치의 영향을 완화하기 위한 방법으로 M-추정기를 찾는 강력한 회귀 분석에서 사용된다. 예를 들어, 최소 제곱 오차보다 최소 절대 오차를 최소화함으로써,

선형 프로그래밍과 볼록 프로그래밍에 비해 IRLS의 장점 중 하나는 가우스-뉴턴, 레벤베르크-마르콰르트 수치 알고리즘과 함께 사용할 수 있다는 점이다.

예

L₁ 희박한 복구를 위한 최소화

IRLS는 압축 감지 문제에서 ℓ₁ 최소화 및 평활화 minim_p 최소화 p < 1에 사용할 수 있다. 알고리즘은 제한된 등거리측정 속성 하에서 t < 1과 ℓ의_t for₁ 노멀과 초선형에 대한 선형 수렴률을 가지고 있다는 것이 증명되었으며, 이는 일반적으로 희소성 용액에 충분한 조건이다.^[2][3] 그러나 대부분의 실제 상황에서는 제한된 등거리측정 속성을 만족시키지 못한다.^{[citation needed]}

L^p 표준 선형 회귀 분석

선형 회귀 문제에 대한 L^p 규범을 최소화하는 매개변수 β = (β₁, …,β_k)^T를 찾으려면,

${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}{\big \ }\mathbf {y} -X{\boldsymbol {\beta }}\ _{p}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}\left y_{i}-X_{i}{\boldsymbol {\beta }}\right ^{p},}$

단계 t + 1에서 IRLS 알고리즘은 가중 선형 최소 제곱 문제 해결을 포함한다.^[4]

${\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}w_{i}^{(t)}\left y_{i}-X_{i}{\boldsymbol {\beta }}\right ^{2}=(X^{\rm {T}}W^{(t)}X)^{-1}X^{\rm {T}}W^{(t)}\mathbf {y} ,}$

여기서 W는^(t) 일반적으로 모든 원소가 처음에 다음과 같이 설정된 무게의 대각 행렬이다.

${\displaystyle w_{i}^{(0)=1}$

그리고 각 반복 후 다음 항목으로 업데이트:

${\displaystyle w_{i}^{t}={\big }y_{i}-X_{i}{\boldsymbol {\beta }}}{{{big}^{p-2}}.}$

사례 p = 1에서 이는 최소 절대 편차 회귀(이 경우 선형 프로그래밍 방법을 사용하여 문제를 접근하는 것이 좋으므로 결과가 정확할 것)^[5]에 해당하며 공식은 다음과 같다.

${\displaystyle w_{i}^{(t)}={\frac {1}{{\big }y_{i}-X_{}{\boldsymbol{}}}{\boldsymbol{}}}}{{bit}}{\big}}}}.}$

0으로 나누지 않으려면 정규화를 수행해야 하므로 실제로 공식은 다음과 같다.

${\displaystyle w_{i}^{(t)}={\frac {1}{\max \left\{\delta,\left y_{i}-X_{i}{\boldsymbol{}}}}{\beta }{}}}}\right\}}}}}}}}}}}}}}}}}}.}$

여기서 $\Delta {\displaystyle }$ ${\displaystyle \delta }$은(는) 0.0001과 같은 작은 값이다.^[5] 가중치 함수에서$$ $\Delta {\displaystyle }$ ${\displaystyle \delta }$을(를) 사용하는 것은 견실한 추정에서 Huber 손실 함수와 동일하다는 점에 유의하십시오. ^[6]

참고 항목

• 실현 가능한 일반화 최소 제곱
• IRLS의 특수한 경우로 볼 수 있는 Weiszfeld의 알고리즘(기하중선 근사치용)

메모들

참조

• åke Björck의 최소 제곱 문제에 대한 수치적 방법 (제4장: 일반화 최소 제곱 문제)
• 컴퓨터 그래픽에 대한 실제 최소 제곱. 시그그래프 과정 11

외부 링크

• 결정되지 않은 선형 시스템을 반복적으로 해결