커널 회귀 분석

통계에서 커널 회귀 분석은 랜덤 변수의 조건부 기대치를 추정하기 위한 비모수 기법이다. 목적은 한 쌍의 랜덤 변수 X와 Y 사이의 비선형 관계를 찾는 것이다.

모든 비모수 회귀 분석에서 변수 $X$ $X$ 과 $Y$ ( $와$ ) 관련된변수 Y {\ $displaystyle$ Y}의 조건부 기대값은 다음과 같이 기록할 수 있다 $X$ .

$\operatorname {E}(Y X)=m(X)$

여기서 $m$ $m$ 은 $m$ (는) 알 수 없는 함수다.

나다라야-왓슨 커널 회귀 분석

Nadaraya와 Watson은 둘 다 1964년에 커널을 가중 함수로 사용하여 $m$ $m$ 을(를) 국부 가중 평균으로 $m$ 추정할 것을 제안했다.^[1]^[2]^[3] 나다라야-Watson 추정치는 다음과 같다.

${\widehat{m}_{h}(x)={\frac {\sum _{i=1}^{n_{h}(x-x_{i}y}}}{i}}}}{\sum _{i=1}^{n1}K_{h}(x-x_{i}}}}}})}})}}$

여기서 $K_{h}$ $K_{h}$ ${\$ 는 대역폭 $h$ $h$ 을(를) 가진 커널이다 $K_{h}$ $h$

파생

$\operatorname {E}(Y X=x)=\int yf(y x)dy=\int y{\frac {f(x,y)}{f(x)}dy$

커널 K에 대한 공동 분포 f(x,y) 및 f(x)에 대한 커널 밀도 추정치를 사용하여,

${\$ $K_{h}\왼쪽(y-y_{i}\오른쪽$
${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ( x ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ) ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ = ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ i ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ = ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ h ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ( ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ - ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ) ${\$ }^{n $}K_{h}\좌(x-x_{i}\오른쪽$ ,

우리는 얻는다.

${\begin}\operatorname {\e}(Y X=x)&=\int {\frac {y\sum _{i=1}^{n_{h}\왼쪽(x-x_{i}\오른쪽)K_{h}\좌(y-y_{i}\우)}{\sum _{j=1}^{n_{h}\좌(x-x_{j}\우)}}dy,\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\end{aligned}}$

나다라야-왓슨 추정기.

프리스틀리-차오 커널 추정기

${\widehat{m}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\좌측({\frac {x-x_{h}}}}}{h}\i_{i}}:{i}}}}}}}}}:{i}}}}}}}}}}}}}:{i}}}}}}}}}}}}}}}}}}}}}}}}}}$

여기서 $h$ $h$ 은 $h$ 대역폭(또는 평활 파라미터)이다.

가저-뮐러 커널 추정기

${\widehat{m}_{GM}}=h^{-1}\sum_{i=1}{n1}^{nt_{s_{i-1}^{s_{i-1}}K\left({\frac {x-u}}{h}\right)du_{i_{i}}}}}}}:{i}}}}}}}}}}}}}}}}}:{i}}}}}}}}}}}}}}}}}}{i}}}}}}$

여기서 $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ = x $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ - $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ + x $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$ ${\$

예

추정된 회귀 함수.

이 예는 1971년 캐나다 인구 조사 공공 사용 테이프에서 추출한 공통 교육을 받은 남성(13급)을 대상으로 한 무작위 표본으로 구성된 캐나다 횡단 임금 데이터에 기초한다. 모두 205개의 관측치가 있다.

오른쪽 그림은 2차 가우스 커널을 사용한 추정된 회귀 함수와 점근성 가변성 한계를 보여준다.

스크립트 예

R 프로그래밍 언어의 다음 명령은 npreg() 최적의 평활을 제공하고 위에 제시된 수치를 생성하는 기능. 이러한 명령은 커트 및 붙여넣기를 통해 명령 프롬프트에서 입력할 수 있다.

install.properties("np") 도서관(np) # 비 파라메트릭 라이브러리 자료(cps71) 붙이다(cps71)  m <- npreg(벌목 임금~나이를 먹다)  음모를 꾸미다(m, plot.properties.properties.clot.="비흡수적",      plot.csv.style.style="밴드",      이림=c(11, 15.2))  포인트(나이를 먹다, 벌목 임금, 열매를 맺다=.25)

통계적 구현

GNU 옥타브 수학 프로그램 패키지
줄리아: 커널에스티메이터.jl
MATLAB: 커널 회귀 분석, 커널 밀도 추정, 위험 함수의 커널 추정 등의 구현이 포함된 무료 MATLAB 도구 상자(이 도구 상자는 책의 일부임)
파이톤: 더 KernelReg 의 혼합 데이터 유형에 대한 클래스 statsmodels.nonparametric 하위 프로세서(다른 커널 밀도 관련 클래스 포함), sklearn의 확장 기능으로 패키지 커널_message(메모리 측면에서, 소규모 데이터셋에만 유용)
R: 함수 npreg np 패키지의 커널 회귀 분석을 수행할 수 있다.^[6]^[7]
통계분석: nprefrase, kernreg2

참고 항목

참조

^ Nadaraya, E. A. (1964). "On Estimating Regression". Theory of Probability and Its Applications. 9 (1): 141–2. doi:10.1137/1109020.
^ Watson, G. S. (1964). "Smooth regression analysis". Sankhyā: The Indian Journal of Statistics, Series A. 26 (4): 359–372. JSTOR 25049340.
^ Bierens, Herman J. (1994). "The Nadaraya–Watson kernel regression function estimator". Topics in Advanced Econometrics. New York: Cambridge University Press. pp. 212–247. ISBN 0-521-41900-X.
^ Salsburg, D. (2002). The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. pp. 290–91. ISBN 0-8050-7134-2.
^ Horová, I.; Koláček, J.; Zelinka, J. (2012). Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. ISBN 978-981-4405-48-5.
^ np: 혼합 데이터 유형에 대한 비모수 커널 평활 방법
^ Kloke, John; McKean, Joseph W. (2014). Nonparametric Statistical Methods Using R. CRC Press. pp. 98–106. ISBN 978-1-4398-7343-4.

추가 읽기

Henderson, Daniel J.; Parmeter, Christopher F. (2015). Applied Nonparametric Econometrics. Cambridge University Press. ISBN 978-1-107-01025-3.
Li, Qi; Racine, Jeffrey S. (2007). Nonparametric Econometrics: Theory and Practice. Princeton University Press. ISBN 0-691-12161-3.
Pagan, A.; Ullah, A. (1999). Nonparametric Econometrics. Cambridge University Press. ISBN 0-521-35564-8.
Simonoff, Jeffrey S. (1996). Smoothing Methods in Statistics. Springer. ISBN 0-387-94716-7.

외부 링크

스케일 적응형 커널 회귀 분석(Matlab 소프트웨어 포함)
스프레드시트를 사용한 커널 회귀 분석 자습서(Microsoft Excel 포함)
온라인 커널 회귀 분석 시연 필요.NET 3.0 이상.
자동 대역폭 선택을 통한 커널 회귀 분석(Python 포함)

[1] Nadaraya, E. A. (1964). "On Estimating Regression". Theory of Probability and Its Applications. 9 (1): 141–2. doi:10.1137/1109020.

[2] Watson, G. S. (1964). "Smooth regression analysis". Sankhyā: The Indian Journal of Statistics, Series A. 26 (4): 359–372. JSTOR 25049340.

[3] Bierens, Herman J. (1994). "The Nadaraya–Watson kernel regression function estimator". Topics in Advanced Econometrics. New York: Cambridge University Press. pp. 212–247. ISBN 0-521-41900-X.

[4] Salsburg, D. (2002). The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. pp. 290–91. ISBN 0-8050-7134-2.

[HorKolZel-5] Horová, I.; Koláček, J.; Zelinka, J. (2012). Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. ISBN 978-981-4405-48-5.

[6] : 혼합 데이터 유형에 대한 비모수 커널 평활 방법

[7] Kloke, John; McKean, Joseph W. (2014). Nonparametric Statistical Methods Using R. CRC Press. pp. 98–106. ISBN 978-1-4398-7343-4.

[1]

[2]

[3]

[4]

[6]

[7]

Search