선형 최소 제곱에 대한 수치적 방법

선형 최소 제곱에 대한 수치적 방법은 선형 최소 제곱 문제의 수치적 분석을 수반한다.

소개

최소 제곱 문제 $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ n $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ - $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ 2 ${\$ \big $\}\big$ \ $mathbf$ { $y}$ -X ${\boldsymbol{\beta}}}{\big \}^{2$ }}에 대한 일반적인 접근법은 다음과 $\operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}$ 같다. XS가 X의 영상에 직교 투영되는 것과 같은 n by m 행렬 S를 찾을 수 있다고 가정합시다. 그 다음, 우리의 최소화 문제에 대한 해결책은 다음과 같다.

{\boldsymbol {\beta}}=S\mathbf {y}

단지 때문에

X{\boldsymbol {\beta}}=X(S\mathbf {y})=(XS)\mathbf {y}}}

X의 영상에 $\mathbf {y}$ y ${\$ 의 직교 투영에 대해 정확히 추구한다(아래 그림을 참조하고 다음 섹션에서 설명했듯이 X의 영상은 X의 열 벡터에 의해 생성된 하위 공간에 불과하다는 점에 유의하십시오). 그러한 행렬 S를 찾는 몇 가지 인기 있는 방법이 아래에 설명되어 있다.

정규 방정식의 행렬 반전

방정식 $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ ) $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ = $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ $(\mathbf {X} ^{\rm {T}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}y}$ 는 정규식으로 알려져 $(\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y$ 있다. 전체 순위 행렬 XX를^T 갖는 정규 방정식의 대수적 해법은 다음과 같이 쓸 수 있다.

{\hatsymbol {\baldsymbol {\beta}}=(\mathbf {X}^{\rm {T}\mathbf {X}^{\rm}\mathbf {y}=\mathbf {X}^{{}}}}}}

여기서 X는⁺ X의 무어-펜로스 사이비인버스다. 비록 이 방정식이 정확하고 많은 응용에서 작동할 수 있지만, 정규 등가 행렬(그래미안 행렬)을 뒤집는 것은 계산적으로 효율적이지 않다. 해석적 표현이 필요한 수치 평활과 분화에서는 예외가 발생한다.

행렬 XX가^T 완전 계수를 갖는다는 것을 암시하는 조건과 양수가 잘 정해져 있는 경우, 정상 방정식은 Cholesky 분해^T RR를 사용하여 직접 해결할 수 있으며, 여기서 R은 상위 삼각 행렬로 다음과 같은 것을 제공한다.

R^{\rm {T}R{\hat {\boldsymbol {\beta}}=X^{\rm {T}\mathbf {y}}

솔루션은 두 가지 단계, 즉 z에 대한 해결을 통해 얻는다.

R^{\rm {T}\mathbf {z} =X^{\rm {T}\mathbf {y},

${\hat {\boldsymbol {\beta }}}$ ${\$ 에 대한 해결 후 역 치환:

R{\hat {\boldsymbol {\beta }}=\mathbf {z}

두 가지 대체물은 모두 R의 삼각형 성격에 의해 촉진된다.

직교 분해법

최소 제곱 문제를 해결하기 위한 직교 분해 방법은 정규 방정식 방법보다 느리지만 제품 XX^T 형성을 피하기 때문에 수치적으로 더 안정적이다.

잔차는 행렬 표기법으로 다음과 같이 기록된다.

\mathbf {r} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}.

매트릭스 X는 직교 분해(예: 다음과 같은 QR 분해)를 받는다.

X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\

=

X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\

(

X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\

0

X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\

)

displaystyle X=Q{\begin{pmatrix}R\\\0

\end{pmatrix

X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\

여기서 Q는 m×m 직교 행렬(QQQ^T=I)이고 R은 $r_{ii}>0$ ×n 위쪽 삼각 행렬이며 r $r_{ii}>0$ > $r_{i}>0$ 이다 $r_{ii}>0$

잔류 벡터는 Q에^T 의해 왼쪽으로 곱한다.

Q^{\rm {T}}\mathbf {r} =Q^{\rm {T}}\mathbf {y} -\left(Q^{\rm {T}}Q\right){\begin{pmatrix}R\\0\end{pmatrix}}{\hat {\boldsymbol {\beta }}}={\begin{bmatrix}\left(Q^{\rm {T}}\mathbf {y} \right)_{n}-R{\hat {\boldsymbol {\beta }}}\\\left(Q^{\rm {T}}\mathbf {y} \right)_{m-n}\end{bmatrix}}={\begin{bmatrix}\mathbf {u} \\\mathbf {v} \end{bmatrix}

Q는 직교하므로 잔차의 제곱합 s는 다음과 같이 기록할 수 있다.

s=\ \mathbf {r} \ ^{2}=\mathbf {r} ^{\rm {T}}\mathbf {r} =\mathbf {r} ^{\rm {T}}QQ^{\rm {T}}\mathbf {r} =\mathbf {u} ^{\rm {T}}\mathbf {u} +\mathbf {v} ^{\rm {T}}\mathbf {v}

v는 β에 의존하지 않기 때문에 s의 최소값은 상부 블록인 u가 0일 때 얻어진다. 따라서 매개변수는 다음을 해결함으로써 찾을 수 있다.

R{\hat {\boldsymbol {\beta }}=\왼쪽(Q^{\rm {T}\mathbf {y}\right)_{n}}

R이 삼각형 위쪽에 있으므로 이러한 방정식은 쉽게 풀린다.

X의 대체 분해는 단수 값 분해(SVD)^[1]이다.

X=U\Sigma V^{\rm {T}}\

=

X=U\Sigma V^{\rm {T}}\

X=U\Sigma V^{\rm {T}}\

X=U\Sigma V^{\rm {T}}\

X=U\Sigma V^{\rm {T}}\

displaystyle X=U\Sigma

V

^{\rm {T

여기서 U는 m by m 직교 행렬, V는 n by n 직교 행렬, $\Sigma$ $\Sigma$ 은 주 대각선 바깥의 모든 요소가 0인 m by n 행렬이다 $\Sigma$ . $\Sigma$ $\Sigma$ 의 의사역할은 0이 아닌 대각선 원소를 반전시켜 전치함으로써 쉽게 얻을 수 있다 $\Sigma$ . 그러므로,

\mathbf {X} \mathbf {X}^{+}=U\Sigma V^{T}V\Sigma ^{+}U^{\rm}=UPU^{\rm{T},

여기서 P는 0이 아닌 대각선 요소를 1로 교체하여 $\Sigma$ $\Sigma$ {\ $displaystyle$ \ $Sigma }$ 에서 얻는다. Since $(\mathbf {X} \mathbf {X} ^{+})^{*}=\mathbf {X} \mathbf {X} ^{+}$ (the property of pseudoinverse), the matrix $UPU^{\rm {T}}$ is an orthogonal projection onto the image (column-space) of X. 위의 소개에 설명된 일반적인 접근법에 따라(직교 투영인 XS 찾기)

S=\mathbf {X} ^{+}

=

S=\mathbf {X} ^{+}

+

{\

S=\mathbf {X} ^{+}

그래서,

\beta =V\Sigma ^{+}U^{\rm {T}\mathbf {y}}

최소 제곱 문제의 해결책이다. 이 방법은 가장 계산적으로 집약적이지만, 정규 방정식 행렬인 XX가^T 매우 불량한 경우(즉, 조건 번호에 기계의 상대 반올림 오차를 곱한 경우)에 특히 유용하다. 이 경우 반전에서 가장 작은 단수값을 포함하면 해법에 수치적 노이즈만 추가된다. 이는 잘린 SVD 접근법으로 치료할 수 있으며, 모든 단수값을 특정 임계값 이하로 명시적으로 0으로 설정하여 이를 무시함으로써 보다 안정적이고 정확한 답변을 제공한다.

토론

선형 최소 제곱에 대한 수치적 방법은 선형 회귀 모형이 공식 통계적 모델로서 그리고 데이터 집합 탐구에 있어 가장 중요한 모형의 유형 중 하나이기 때문에 중요하다. 대부분의 통계적 컴퓨터 패키지는 선형 최소 제곱 계산을 사용하는 회귀 분석을 위한 시설을 포함한다. 따라서 이러한 계산이 효율적이고 반올림 오류와 관련하여 수행되도록 하는 작업에 상당한 노력을 기울인 것이 적절하다.

개별 통계적 분석은 거의 단독으로 수행되지 않지만, 오히려 일련의 조사 단계의 일부분이다. 선형 최소 제곱에 대한 숫자 방법을 고려하는 데 포함된 일부 주제들은 이 점과 관련이 있다. 따라서 중요한 주제는 다음과 같다.

다수의 유사하고 종종 내포되는 모델이 동일한 데이터 집합에 대해 고려되는 계산. 즉, 기본적으로 동일한 데이터 포인트 집합에 대해 종속 변수는 같지만 독립 변수 집합은 다른 모형을 고려해야 한다.
데이터 포인트의 수가 증가함에 따라 순차적으로 발생하는 분석에 대한 계산.
매우 광범위한 데이터 집합에 대한 특별 고려 사항.

선형 모형을 최소 제곱으로 적합시키는 것은 통계적 분석의 맥락에서 종종 발생한다. 따라서 이러한 문제에 대한 계산 효율성의 고려는 그러한 분석에 필요한 모든 보조 양까지 확장되며 선형 최소 제곱 문제의 공식 해법으로 제한되지 않는 것이 중요할 수 있다.

매트릭스 계산은 다른 계산과 마찬가지로 반올림 오류의 영향을 받는다. 이러한 효과의 초기 요약은 매트릭스 역전에 대한 계산 방법의 선택과 관련하여 Wilkinson에 의해 제공되었다.^[2]

참고 항목

참조

^ Lawson, C. L.; Hanson, R. J. (1974). Solving Least Squares Problems. Englewood Cliffs, NJ: Prentice-Hall. ISBN 0-13-822585-0.
^ 윌킨슨, J.H. (1963) "제3장: 매트릭스 연산", 런던 대수학 과정의 반올림 오류: 영국 여왕 문방구 사무소(국립물리연구소, 응용과학 노트, 32호)

추가 읽기

Ake Bjorck, SIAM, 1996년 최소 제곱 문제에 대한 수치적 방법.
R. W. Fair Brother, 선형 최소 제곱 계산, CRC 프레스, 1988.
Barlow, Jesse L. (1993), "Chapter 9: Numerical aspects of Solving Linear Least Squares Problems", in Rao, C. R. (ed.), Computational Statistics, Handbook of Statistics, vol. 9, North-Holland, ISBN 0-444-88096-8
Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
Goodall, Colin R. (1993), "Chapter 13: Computation using the QR decomposition", in Rao, C. R. (ed.), Computational Statistics, Handbook of Statistics, vol. 9, North-Holland, ISBN 0-444-88096-8
National Physical Laboratory (1961), "Chapter 1: Linear Equations and Matrices: Direct Methods", Modern Computing Methods, Notes on Applied Science, vol. 16 (2nd ed.), Her Majesty's Stationery Office
National Physical Laboratory (1961), "Chapter 2: Linear Equations and Matrices: Direct Methods on Automatic Computers", Modern Computing Methods, Notes on Applied Science, vol. 16 (2nd ed.), Her Majesty's Stationery Office

[1] Lawson, C. L.; Hanson, R. J. (1974). Solving Least Squares Problems. Englewood Cliffs, NJ: Prentice-Hall. ISBN 0-13-822585-0.

[2] 윌킨슨, J.H. (1963) "제3장: 매트릭스 연산", 런던 대수학 과정의 반올림 오류: 영국 여왕 문방구 사무소(국립물리연구소, 응용과학 노트, 32호)

[1]

[2]

Search

선형 최소 제곱에 대한 수치적 방법

네임스페이스

더

목차

소개

정규 방정식의 행렬 반전

직교 분해법

토론

참고 항목

참조

추가 읽기