투영 추적 회귀 분석
Projection pursuit regression통계에서 투영추구회귀(PPPR)는 제롬 H. 프리드먼과 베르너 스투에틀이 개발한 통계모델로, 가법모델의 확장이다.이 모형은 이러한 설명 변수에 평활 함수를 적용하기 전에 먼저 설명 변수의 데이터 행렬을 최적의 방향으로 투영한다는 점에서 가법 모형을 채택한다.
모델 개요
모델은 능선 함수의 선형 조합: 설명 변수의 선형 조합의 비선형 변환으로 구성된다.기본 모델은 형태를 취한다.
여기서 x는i 설명 변수를 포함하는 설계 행렬의 1 × p 행이며, y는i 1 × 1 예측이고, {β}은(는j) 알 수 없는 파라미터를 포함하는 r 벡터(각각 길이 p의 단위 벡터)의 집합이며, {fj}은 ℝ → ℝ에서 매핑되는 r 초기에 알 수 없는 매끄러운 함수의 집합이며, r은 하이퍼 파라미터다.r에 대한 좋은 값은 교차 검증 또는 모델 적합성을 유의하게 개선할 수 없을 때 중지되는 전진 단계별 전략을 통해 결정할 수 있다.r이 무한대에 접근하고 적절한 기능 집합 {fj}을(를) 가지고 있을 때, PPR 모델은 범용 추정기로서, ℝ의p 모든 연속 함수에 근사할 수 있다.
모형 추정
지정된 데이터 집합에 ( , i ) = 오류 함수를 최소화하는 것이 목적이다.
와 벡터 j 에 걸쳐 모든 변수를 한 번에 해결하는 방법은 없지만 교대 최적화를 통해 해결할 수 있다.먼저 각 , j) 쌍을 개별적으로 고려하십시오. 다른 모든 파라미터를 고정하도록 하고, 다음과 같은 방법으로 다른 파라미터에 의해 설명되지 않은 출력의 분산인 "잔여"를 찾으십시오.
이제 오류 기능을 최소화하는 작업이 해결로 감소
각 j에 대해 차례로일반적으로 새로운( , ) 쌍이 전진 단계별 방식으로 모델에 추가된다.
별도로: 새로운 핏 페어가 백피팅이라고 알려진 알고리즘에 의해 결정되면 이전에 장착했던 페어를 재조정할 수 있으며, 이 알고리즘은 이전 페어를 재고하고, 다른 페어가 어떻게 변화했는지에 따라 잔차를 재계산하며, 새로운 정보를 고려하여 재장착하고, 매개변수가 수렴될 때까지 모든 핏 페어를 순환한다.e. 이 프로세스는 일반적으로 훈련하는 데 시간이 더 걸리지만 적은 수의 피트-페어로 더 나은 성능을 제공하는 모델을 만들며, 일반적으로 역피팅을 건너뛰고 단순히 모델에 더 많은 적합치를 추가함으로써 동일한 성능을 달성할 수 있다(r 증가).
, j 쌍을 결정하기 위한 단순화된 오류 함수의 해결은 교대 최적화를 수행할 수 있다. 여기서 먼저 랜덤 \을 1D 공간에 을 투영한 다음 최적의 즐겨찾는 산점도 회귀 분석 방법을 통해 해당 투영과 잔차 사이의 관계를 설명하는 것으로 확인됨.그런 다음 가 한 번 다를 수 있다고 가정하여 j displaystyle f_{j를 일정하게 유지하는 경우, 최적의 업데이트 가중치 는 가우스-뉴턴 방법인 두 번째 파생상품과 관련된 헤시안 부분을 폐기하는 준 뉴턴 방법을 통해 찾을 수 있다.이를 도출하기 위해 먼저 테일러는 f ( j i) f ( , l T x )+ ( ,o T i) - , T i) j}{j}}{j}}})를 확장한다. 그런 다음 단순 오류 함수 에 확장을 다시 연결하고 대수적 조작을 수행하여 폼에 넣으십시오.
이것은 가중치 있는 최소 제곱 문제다. 의 모든 가중치를 해결하여 대각 W{\W}에 배치하고 모든 대상 b 을(를) 벡터에 쌓고, 단일 예시 대신 전체 데이터 행렬 을 사용하면 최적 은(는) 폐쇄형식으로 주어진다.
업데이트된 를 사용하여 의 새 투영을 찾고 를 새 산점도에 다시 장착하십시오.그런 다음 새로운 j 를 사용하여 j 을(를) 업데이트하고 ( , ) 이 수렴될 때까지 이 교대 과정을 계속한다.
β 와 j 의 추정에 의해 수렴율, 치우침 및 분산이 영향을 받는 것으로 나타났다
토론
PPR 모델은 기본 가법 의 형태를 취하지만 추가적인 j 성분으로 각 은(는) j 의 산포도를 적합시킨다. : 원시 입력 자체를 사용하기보다는 훈련 중 잔류(설명되지 않은 분산) vs.이것은 각각의 를 낮은 차원으로 찾는 문제를 구속하여 일반적인 최소 사각형이나 스플라인 피팅 방법으로 해결할 수 있게 하고 훈련 중에 차원성의 저주를 피할 수 있게 한다. 은(는 X {\ X의 투영을 취하기 때문에 그 결과는 투영 차원에 직교하는 "ridge"처럼 보이기 때문에 { \{은 종종 "리지 함수"라고 불린다. 방향은 해당 능선 기능의 적합성을 최적화하기 위해 선택된다.
PPR은 데이터의 투영을 적합시키려 하기 때문에, 각 입력 변수를 복잡하고 다면적인 방법으로 설명했기 때문에 적합 모형을 전체적으로 해석하기가 어려울 수 있다.이는 개별 능선 함수를 시각화하고 모델이 발견하고 있는 투영 방법을 고려할 경우 어느 정도 통찰력을 얻을 수 있지만, 데이터를 이해하는 것보다 예측에 더 유용한 모델을 만들 수 있다.
PPR 추정의 장점
- 다변량 형태 대신 일변량 회귀함수를 사용하므로 차원성의 저주를 효과적으로 다룬다.
- 일변량 회귀 분석을 통해 단순하고 효율적인 추정 가능
- 일반화된 첨가제 모델에 비해 PPR은 훨씬 더 풍부한 종류의 함수를 추정할 수 있다.
- PPR은 국소 평균화 방법(k-neighly neighly neighbors 등)과 달리 설명력이 낮은 변수를 무시할 수 있다.
PPR 추정의 단점
- PPR은 를 추정하기 위해 M-차원 매개변수 공간을 검토해야 한다
- 에 대한 평활화 파라미터를 선택해야 한다
- 모형은 종종 해석하기 어렵다.
PPR의 확장
- 방사상 함수, 조화함수, 가법함수와 같은 대체 평활기가 제안되었고 그 성능은 사용된 데이터 세트에 따라 달라진다.
- 표준 절대 편차 및 평균 절대 편차와 같은 대체 최적화 기준도 사용되었다.
- 데이터에 강한 비선형성이 없는 경우가 많으면 일반적인 최소 제곱을 사용하여 계산을 단순화할 수 있다.
- 슬라이스 역 회귀 분석(SIR)은 PPR의 방향 벡터를 선택하는 데 사용되었다.
- 일반화된 PPR은 정규 PPR과 반복적으로 재가중 최소 제곱(IRLS)을 결합하고 이항 데이터를 추정하기 위한 연결 함수를 결합한다.
PPR 대 신경망(NN)
투영추구회귀와 신경망 모델 모두 입력 벡터를 1차원 하이퍼플레인에 투영한 다음 선형 방식으로 추가된 입력 변수의 비선형 변환을 적용한다.따라서 둘 다 차원성의 저주를 극복하기 위해 같은 단계를 따른다.주요 차이점은 PPR에 장착되는 f 는 입력 변수의 조합마다 다를 수 있으며 한 번에 하나씩 추정된 후 가중치로 업데이트되는 반면, NN에서는 이러한 기능들이 모두 미리 지정되고 동시에 동시에 추정된다는 것이다.
따라서, PPR 추정은 NN보다 더 간단하고 PPR에서 변수의 변환은 데이터 기반인 반면, NN에서는 이러한 변환이 고정되어 있다.
참고 항목
참조
- Friedman, J.H.와 Stuetzle, W. (1981) 투영 추적 회귀 분석.미국통계협회지, 76, 817–823.
- 손, D, 마닐라, H. 및 Smyth, P,(2001) 데이터 마이닝의 원리.MIT 프레스 ISBN0-262-08290-X
- 홀, P. (1988) 데이터 세트가 가장 흥미로운 방향의 추정, Provab.이론 관련 분야, 80, 51–77.
- 헤스티, T.J. 티비시라니 R.J.와 프리드먼 J.H. (2009)통계적 학습의 요소: 데이터 마이닝, 추론 및 예측.스프링거.ISBN 978-0-387-84857-0
- Klinke, S. 및 Grassmann, J.(2000) 평활 및 회귀: 접근, 계산 및 적용의 '투여 추적 회귀 분석'에드 시멕, M.G.와일리 인터사이언스
- Lingjarde, O. C. 및 Leestol, K.(1998) 일반 투영 추적 회귀 분석.SIAM 저널 과학 컴퓨팅, 20, 844-857.
