축소(통계)
Shrinkage (statistics)통계에서 수축은 표본 변동의 효과의 감소다.회귀 분석에서 적합 관계는 적합에 사용된 데이터 집합보다 새 데이터 집합에서 더 잘 수행되지 않는 것으로 나타난다.[1]특히 결정계수 '축소'의 값.이 아이디어는 과대 적합을 보완하고, 별도로, 모델을 우연한 기회에 개선한 새로운 설명 용어의 잠재성을 제어하는 것과 같이, 추가 샘플링의 부수적 효과를 보상하기 위해 결정 계수에 만들어진 표준 조정(즉, 조정 공식 자체가 "축소"를 제공한다.그러나 조정식에서는 인위적인 수축이 일어난다.
수축 추정기는 명시적이거나 암묵적으로 수축 효과를 통합하는 추정기다.느슨한 용어로 이것은 순진하거나 생소한 견적이 다른 정보와 결합하여 개선된다는 것을 의미한다.이 용어는 개선된 추정치가 원시 추정치보다 '기타 정보'가 제공하는 가치에 더 가깝게 만들어진다는 개념과 관련이 있다.이런 의미에서 수축은 잘못된 추론 문제를 정규화하는 데 사용된다.
수축은 베이지안 추론에 함축되어 있고, 처벌된 가능성 추론에 함축되어 있으며, 제임스에는 명시되어 있다.-스타인 유형의 추론.대조적으로, 단순 유형의 최대우도 추정 절차와 최소 제곱 추정 절차는 축소 추정 체계 내에서 사용될 수 있지만 축소 효과를 포함하지 않는다.
설명
많은 표준 추정기를 0(또는 기타 고정 상수 값)으로 축소하여 평균 제곱 오차(MSE) 측면에서 개선할 수 있다.즉, 신뢰구간의 폭 감소에 따른 추정치의 개선은 추정치를 0으로 편중시킴으로써 도입된 추정치의 악화를 능가할 수 있다(편향-분산 트레이드오프 참조).
원시 추정치의 기대값이 0이 아니라고 가정하고 원시 추정치에 특정 모수를 곱하여 얻은 다른 추정치를 고려한다.새 추정치의 MSE를 최소화하기 위해 이 모수의 값을 지정할 수 있다.이 모수 값에 대해 새 추정치는 원시 추정치보다 MSE가 작다.그래서 그것은 개선되었다.여기서의 효과는 편향되지 않은 원시 추정치를 개선된 편향 추정치로 전환하는 것일 수 있다.
예
잘 알려진 예는 표본 분산에 의한 모집단 분산 추정에서 나타난다.표본 크기가 n인 경우, 일반적인 공식(Besel의 보정)에서 divisor n - 1을 사용하면 치우침이 없는 추정기를 제공하는 반면, 다른 divisor는 치우침을 희생하여 MSE가 더 낮다.분산의 최적 선택은 평균 제곱 오차: 분산에서 논의된 바와 같이 모집단의 과도한 첨도에 따라 결정되지만 편향되지 않은 추정기보다 항상 (MSE 측면에서) 더 잘할 수 있다. 정규 분포의 경우 n + 1의 분점은 최소 제곱 오차를 갖는 분포를 제공한다.
방법들
수축 추정을 수반하는 회귀 분석의 유형으로는 정규 최소 제곱 회귀에서 도출된 계수를 상수(수축 계수)에 곱하여 0에 가깝게 하는 능선 회귀 분석과 상수를 추가하거나 빼서 계수를 0에 가깝게 하는 라소 회귀가 있다.
많은 수의 설명 변수가 있을 수 있는 회귀 분석의 맥락에서 수축 추정기의 사용은 코파스에 의해 설명되었다.[2]여기서 추정된 회귀 계수의 값은 새로운 데이터에 적용할 때 모형에서 예측 값의 평균 제곱 오차를 줄이는 효과와 함께 0으로 축소된다.코파스의[3] 후기 논문은 이항 설명 변수에 기초하여 이항 반응을 예측하는 것이 문제인 맥락에서 수축을 적용한다.
하우저와 스트림머는 "제임스-스타인형 수축 추정기를 개발하여, 계산적으로뿐만 아니라 통계적으로 매우 효율적인 절차를 도출한다.단순성에도 불구하고, 다양한 샘플링 시나리오와 데이터 생성 모델에서 8개의 다른 엔트로피 추정 절차를 능가한다. 심지어 심각한 과소 샘플링의 경우에도 말이다. 이 방법은 완전히 분석적이며 따라서 계산적으로 저렴하다.게다가, ...프로세서는 엔트로피와 셀 주파수의 추정치를 동시에 제공한다. ...제안된 엔트로피 및 상호 정보의 축소 추정기뿐만 아니라 조사된 모든 엔트로피 추정기도 R에서 구현되었다(R 개발 핵심팀, 2008).해당 R 패키지 "엔트로피"는 R 아카이브 CRAN에 입금되었으며 GNU 일반 공중 라이선스 아래의 URL https://cran.r-project.org/web/packages/entropy/에서 액세스할 수 있다.[4]
참고 항목
통계 소프트웨어
- Hausser, Jean. "entropy". entropy package for R. Retrieved 2013-03-23.
참조
- ^ 에버릿 B.S(2002) 케임브리지 통계사전(2판), CUP.ISBN 0-521-81099-X
- ^ Copas, J.B. (1983). "Regression, Prediction and Shrinkage". Journal of the Royal Statistical Society, Series B. 45 (3): 311–354. JSTOR 2345402. MR 0737642.
- ^ Copas, J.B. (1993). "The shrinkage of point scoring methods". Journal of the Royal Statistical Society, Series C. 42 (2): 315–331. JSTOR 2986235.
- ^ Hausser, Jean; Strimmer (2009). "Entropy Inference and the James-Stein Estimator, with Application to Nonlinear Gene Association Networks" (PDF). Journal of Machine Learning Research. 10: 1469–1484. Retrieved 2013-03-23.
