접합구배법의 유도

수치 선형대수학에서 결합구배법은 선형계통을 수치적으로 해결하기 위한 반복적인 방법이다.

${\displaystyle {\boldsymbol {Ax}={\boldsymbol {b}}$

여기서 $A{\displaystyle \mathit{}}$ ${\$은(는) 대칭 양수-확정이다.결합 그라데이션 방법은 최적화를 위한 결합 방향 방법의^[1] 전문화, 고유값 문제에 대한 아놀디/란크조스 반복의 변화 등 여러 가지 다른 관점에서 도출할 수 있다.

이 글의 목적은 이러한 파생에서 중요한 단계를 문서화하는 것이다.

결합방향법으로부터의 유도

이 구간은 확장이 필요하다.추가하면 도움이 된다.(2010년 4월)

공차 구배법은 2차 함수의 최소화를 위해 적용된 공차 방향법의 특수한 경우로 볼 수 있다.

${\displaystyle f({\boldsymbol{x}}}={\boldsymbol {x}}{\boldsymbol {A}{\b}}}}{\boldsymbol{t}}}}{\boldsymbol}}}{x}}}텍스트.}}}$

접합 방향법

최소화를 위한 접합 방향 방법

${\displaystyle f({\boldsymbol{x}}}={\boldsymbol {x}}{\boldsymbol {A}{\b}}}}{\boldsymbol{t}}}}{\boldsymbol}}}{x}}}텍스트.}}}$

초기 추측 $x{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle$ {$x}_{0},$ 해당하는$$ ${\displaystyle {\mathrm{}}_{}}$ r 0${\displaystyle {}_{}}$= b${\displaystyle }$- ${\displaystyle a\mathit{}}$ ${\displaystyle {\mathit{x}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$ 포뮬레이별로 반복과 잔차를 계산한다.

${\displaystyle{\begin{정렬}\alpha _{나는}&, ={\frac{{\boldsymbol{p}}_{나는}^{\mathrm{T}}{\boldsymbol{r}}_{나는}}{{\boldsymbol{p}}_{나는}^{\mathrm{T}}{\boldsymbol{Ap}}_{나는}}}{\text{,}}\\{\boldsymbol{)}}_{i+1}&, ={\boldsymbol{)}}_{나는}+\alpha _{나는}{\boldsymbol{p}}_{나는}{\text{,}}\\{\boldsymbol{r}}_{i+1}&, ={\boldsymbol{r}}_{나는}-\alpha _{나는}{\bold.상징{Ap}}_{i}\end{aigned}}}$

여기서 p ${\displaystyle {}_{}}$ ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$,${\displaystyle {}_{}}$p ${\displaystyle {\mathrm{}}_{}}$… ${\displaystyle {\displaystyle$ {$p}_{0},{\displaysymbol {{p}_{1},{\\pdots}}$은(는) 상호 결합 방향의 연속이다$$.

${\displaystyle {\boldsymbol {p}_{i}^{\mathrm {T}{\boldsymbol {Ap}_{j}=0}$

${\displaystyle \mathrm{모든}}$ $i{\displaystyle }$ ${\displaystyle \ne }$ j ${\displaystyle i\neq$ j$}$에 대해$.$

The conjugate direction method is imprecise in the sense that no formulae are given for selection of the directions ${\displaystyle {\boldsymbol {p}}_{0},{\boldsymbol {p}}_{1},{\boldsymbol {p}}_{2},\ldots }$. Specific choices lead to various methods including the conjugate gradient method and Gaussian eli채굴

Arnoldi/Lanczos 반복에서 파생됨

또한 결합 그라데이션 방법은 선형 시스템 해결에 적용된 아놀디/란크조스 반복의 변형으로 볼 수 있다.

일반 아놀디법

In the Arnoldi iteration, one starts with a vector ${\displaystyle {\boldsymbol {r}}_{0}}$ and gradually builds an orthonormal basis ${\displaystyle \{{\boldsymbol {v}}_{1},{\boldsymbol {v}}_{2},{\boldsymbol {v}}_{3},\ldots \}}$ of the Krylov subspace

${\displaystyle {\mathcal {K}}({\boldsymbol {A}},{\boldsymbol {r}}_{0})=\mathrm {span} \{{\boldsymbol {r}}_{0},{\boldsymbol {Ar}}_{0},{\boldsymbol {A}}^{2}{\boldsymbol {r}}_{0},\ldots \}}$

${\displaystyle {}_{}}$= ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ /${\displaystyle {}_{}\Vert }$ ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}}: 여기서$$

${\displaystyle {\boldsymbol {v}}_{i}={\begin{cases}{\boldsymbol {r}}_{0}&{\text{if }}i=1{\text{,}}\\{\boldsymbol {Av}}_{i-1}-\sum _{j=1}^{i-1}({\boldsymbol {v}}_{j}^{\mathrm {T} }{\boldsymbol {Av}}_{i-1}){\boldsymbol {v}}_{j}&{\text{if }}i>1{\text{.}}}\end{case}}$

즉, 거야. 1{\displaystyle i> 1}, vi{\displaystyle{\boldsymbol{v}}_{나는}}Gram-Schmidt에 의해}{v1, v2,…, 나는 v− 1}{\displaystyle\와 같이{{\boldsymbol{v}}_{1},{\boldsymbol{v}}_{2},\ldots에 나는 1{\displaystyle{\boldsymbol{쉬밭}}_{i-1}− vorthogonalizing 발견된다입니다..,{\bo$ldsymbol{v}_{i-1}\}}$ 뒤에 정상화된다$$.

행렬 형식에 입력하면 반복이 방정식에 의해 캡처됨

${\displaystyle {\boldsymbol {AV}_{i}={\boldsymbol {V}_{i+1}{\boldsymbol {\\tile{H}}_{i}}}}}}}}}$

어디에

${\displaystyle{\begin{정렬}{\boldsymbol{V}}_{나는}&, ={\begin{bmatrix}{\boldsymbol{v}}_{1}&,{\boldsymbol{v}}_{2}&, \cdots &,{\boldsymbol{v}}_{나는}\end{bmatrix}}{\text{,}}\\{\boldsymbol{\tilde{H}}}_{나는}&, ={\begin{bmatrix}h_{11}&, h_{12}&, h_{13}&, \cdots &, h_{1,i}\\h_{21}&, h_{22}&, h_{23}&, \cdots &, h_{2,i}\\&amp을 말한다.h_{32}&, h_{33}&, \cdots &, h_{3,i}\\&,&\ddots &, \ddots &, \vdots\\&&&h_{i,i-1}&h_{i,i}\\&&&&h_{i+1,i}\end{bmatrix}}={\begin{bmatrix}{\boldsymbol {H}}_{i}\\h_{i+1,i}{\boldsymbol {e}}_{i}^{\mathrm {T} }\end{bmatrix}}\end{aligned}}}$

와 함께

${\displaystyle h_{ji}={\begin{cases}{\boldsymbol {v}}_{j}^{\mathrm {T} }{\boldsymbol {Av}}_{i}&{\text{if }}j\leq i{\text{,}}\\\lVert {\boldsymbol {w}}_{i+1}\rVert _{2}&{\text{if }}j=i+1{\text{,}}\\0&{\text{if }}j>i+1{\text{.}}}\end{case}}$

When applying the Arnoldi iteration to solving linear systems, one starts with ${\displaystyle {\boldsymbol {r}}_{0}={\boldsymbol {b}}-{\boldsymbol {Ax}}_{0}}$, the residual corresponding to an initial guess ${\displaystyle {\boldsymbol {x}}_{0}}$. After each step of iteration, one computes ${\displaystyle {}_{}}$${\displaystyle {\boldsymbol {y}}_{i}={\boldsymbol {H}}_{i}^{-1}(\lVert {\boldsymbol {r}}_{0}\rVert _{2}{\boldsymbol {e}}_{1})}$ and the new iterate ${\displaystyle {\boldsymbol {x}}_{i}={\boldsymbol {x}}_{0}+{\boldsymbol {V}}_{i}{\boldsym$$볼{y}}_{i}}}$.

직접 란초스법

나머지 논의에 대해서는 $A{\displaystyle \mathit{}}$ ${\$이(가) 대칭 긍정-확정이라고 가정한다.With symmetry of ${\displaystyle {\boldsymbol {A}}}$, the upper Hessenberg matrix ${\displaystyle {\boldsymbol {H}}_{i}={\boldsymbol {V}}_{i}^{\mathrm {T} }{\boldsymbol {AV}}_{i}}$ becomes symmetric and thus tridiagonal.그러면 그것은 보다 분명히 에 의해 가리킬 수 있다.

${\displaystyle {\boldsymbol {H}}_{i}={\begin{bmatrix}a_{1}&b_{2}\\b_{2}&a_{2}&b_{3}\\&\ddots &\ddots &\ddots \\&&b_{i-1}&a_{i-1}&b_{i}\\&&&b_{i}&a_{i}\end{bmatrix}}{\text{.}}}$

이를 통해 반복에서$$ $v{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ ${\$에 대해 짧은 3개월의 재발이 가능하며, 아놀디 반복은 란초스 반복으로 축소된다.

$A{\displaystyle \mathit{}}$ ${\$은(는) 대칭 양립성이 있으므로 ${\displaystyle {}_{}}$ ${\$ {$H}_{i$ 따라서 ${\displaystyle {}_{}}$ ${\$}}}}}}}}}}}}}}은(으)로 부분 회전하지 않고 LU 인수할 수 있다$$.

${\displaystyle{\boldsymbol{H}}_{나는}={L\boldsymbol{}}_{나는}{\boldsymbol{U}}_{나는}={\begin{bmatrix}1\\c_{2}&, 1\\&, \ddots, \ddots \\&, &, c_{i-1}&, 1\\& &,&&c_{나는}&, 1\end{bmatrix}}{\begin{bmatrix}d_{1}&, b_{2}\\&, d_{2}&, b_{3}\\&,&\ddots, \ddots \\& &,&&d_{i-1}&, b_{나는}\\&,&&&d_{나는}\e.nd{bmatrix}}}$

$c$ ${\displaystyle i_{}}$ ${\$ 및 ${\displaystyle {di}_{}}$ ${\$에 대한 편리한 반복$:$

${\displaystyle {\begin{aligned}c_{i}&=b_{i}/d_{i-1}{\text{,}}\\d_{i}&={\begin{cases}a_{1}&{\text{if }}i=1{\text{,}}\\a_{i}-c_{i}b_{i}&{\text{if }}i>1{\text{.}}}\end{case}\end{aigned}}$

rewrite $x{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$= ${\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$+ V ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\${\$boldsymbol {x}_{i}={\boldsymbol {x}_{0}+{\boldsymbol {V}{\boldsymbol {y}_{i}}}}}$로 다시 쓰십시오.

${\displaystyle{\begin{정렬}{\boldsymbol{)}}_{나는}&, ={\boldsymbol{)}}_{0}+{\boldsymbol{V}}_{나는}{\boldsymbol{H}}_ᆱ^ᆲ(\lVert{\boldsymbol{r}}_{0}일 경우 \rVert_{2}{\boldsymbol{e}}_{1})\\&, ={\boldsymbol{)}}_{0}+{\boldsymbol{V}}_{나는}{\boldsymbol{U}}_{나는}^{)}{L\boldsymbol{}}_{나는}^{)}(\lVert{\boldsymbol{r}}_{0}\rVert _{2}{\boldsymbol{e}}_.{1})\\&, ={\boldsymbol {x}_{0}+{\boldsymbol {P}_{i}{\boldsymbol {z}_{i}\ended}}}}}}}$

와 함께

${\displaystyle {\begin{aligned}{\boldsymbol {P}}_{i}&={\boldsymbol {V}}_{i}{\boldsymbol {U}}_{i}^{-1}{\text{,}}\\{\boldsymbol {z}}_{i}&={\boldsymbol {L}}_{i}^{-1}(\lVert {\boldsymbol {r}}_{0}\rVert _{2}{\boldsymbol {e}}_{1}){\text{.}}}\end{정렬}}$

이제 는 것을 관찰하는 것이 중요하다.

${\displaystyle {\begin{aligned}{\boldsymbol {P}}_{i}&={\begin{bmatrix}{\boldsymbol {P}}_{i-1}&{\boldsymbol {p}}_{i}\end{bmatrix}}{\text{,}}\\{\boldsymbol {z}}_{i}&={\begin{bmatrix}{\boldsymbol {z}}_{i-1}\\\zeta _{i}\end{bmatrix}}{\text{.}}}\end{정렬}}$

실제로 p ${\displaystyle {}_{}}$ ${\$와 $and{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$에도 짧은 반복이 있다.

${\displaystyle {\begin{aligned}{\boldsymbol {p}}_{i}&={\frac {1}{d_{i}}}({\boldsymbol {v}}_{i}-b_{i}{\boldsymbol {p}}_{i-1}){\text{,}}\\\zeta _{i}&=-c_{i}\zeta _{i-1}{\text{.}}}\end{정렬}}$

이 제형으로 x ${\displaystyle {}_{}}$ ${\$:에 대한 간단한 재발에 도달한다.

${\displaystyle {\begin{aligned}{\boldsymbol {x}}_{i}&={\boldsymbol {x}}_{0}+{\boldsymbol {P}}_{i}{\boldsymbol {z}}_{i}\\&={\boldsymbol {x}}_{0}+{\boldsymbol {P}}_{i-1}{\boldsymbol {z}}_{i-1}+\zeta _{i}{\boldsymbol {p}}_{i}\\&={\boldsymbol {x}}_{i-1}+\zeta _{i}{\boldsymbol {p}}_{i}{\text{.}}}\end{정렬}}$

위의 관계는 직설적으로 랑크조스 직접법으로 이어지며, 이는 조금 더 복잡한 것으로 판명된다.

직교율과 결합율의 부과에 따른 결합구배법에 관한 연구

$p{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ ${\$을(를) 상수 인자의 스케일링 및 보정할$$ 수 있도록 허용하면 다음과 같은 형식의 반복이 더 간단해질 수 있다.

${\displaystyle {\begin{aligned}{\boldsymbol {x}}_{i}&={\boldsymbol {x}}_{i-1}+\alpha _{i-1}{\boldsymbol {p}}_{i-1}{\text{,}}\\{\boldsymbol {r}}_{i}&={\boldsymbol {r}}_{i-1}-\alpha _{i-1}{\boldsymbol {Ap}}_{i-1}{\text{,}}\\{\boldsymbol {p}}_{i}&={\boldsymbol {r}}_{i}+\beta _{i-1}{\boldsymbol {p}}_{i-1}{\text{.}}}\end{정렬}}$

단순화의 전제로서, $우리$는 ${\displaystyle {}_{}}$ r ${\displaystyle {}_{}}$ ${\$의 직교성과 p $i{\displaystyle {\mathit{}}_{}}$ ${\$ 즉 $i{\displaystyle }$≠ ${\displaystyle j}$ ${\displaysty$ i$\neq$ j$}$의 결합성을 도출한다$.$

${\displaystyle {\begin{aligned}{\boldsymbol {r}}_{i}^{\mathrm {T} }{\boldsymbol {r}}_{j}&=0{\text{,}}\\{\boldsymbol {p}}_{i}^{\mathrm {T} }{\boldsymbol {Ap}}_{j}&=0{\text{.}}}\end{정렬}}$

The residuals are mutually orthogonal because ${\displaystyle {\boldsymbol {r}}_{i}}$ is essentially a multiple of ${\displaystyle {\boldsymbol {v}}_{i+1}}$ since for ${\displaystyle i=0}$, ${\displaystyle {\boldsymbol {r}}_{0}=\lVert {\boldsymbol {r}}_{0$$}\rVert _{2}{\boldsymbol {v}_$$1$}, > 0 ${\displaystyle$ i$>0$

${\displaystyle {\begin{aligned}{\boldsymbol {r}}_{i}&={\boldsymbol {b}}-{\boldsymbol {Ax}}_{i}\\&={\boldsymbol {b}}-{\boldsymbol {A}}({\boldsymbol {x}}_{0}+{\boldsymbol {V}}_{i}{\boldsymbol {y}}_{i})\\&, ={\boldsymbol{r}}_{0}-{\boldsymbol{AV}}_{나는}{\boldsymbol{y}}_{나는}\\&, ={\boldsymbol{r}}_{0}-{\boldsymbol{V}}_{i+1}{\boldsymbol{\tilde{H}}}_{나는}{\boldsymbol{y}}_{나는}\\&, ={\boldsymbol{r}}_{0}-{\boldsymbol{V}}_{나는}{\boldsymbol{H}}_{나는}{\boldsymbol{y}}_ᆾ-h_ᆿ({\boldsymbol{e}}_{나는}^{\mathrm{T}}{\boldsymbol{y}}_{나는}){\boldsymbo.나는{v}}_{i+1}\\&,=\lVert{\boldsymbol{r}}_{0}\rVert _{2}{\boldsymbol{v}}_{1}-{\boldsymbol{V}}_ᆱ(\lVert{\boldsymbol{r}}_{0}일 경우 \rVert_{2}{\boldsymbol{e}}_{1})-h_ᆲ({\boldsymbol{e}}_{나는}^{\mathrm{T}}{\boldsymbol{y}}_{나는}){\boldsymbol{v}}_{i+1}\\&, =-h_ᆵ({\boldsymbol{e}}_{나는}^{\mathrm{T}}{\boldsymbol{y}}_{나는}){\boldsymbol{v}}_{i+1}{\text.{.}}}\end{정렬}}$

$p{\displaystyle {\mathit{}}_{}}$ ${\displaystyle {}_{}}$ ${\$의 결합도를 보려면 ${\displaystyle {}_{}^{}}$ T ${\displaystyle A_{}^{}{\mathit{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {\mathit{i}}_{}}$ ${\$은(으$)$ 대각$$:

${\displaystyle{\begin{정렬}{\boldsymbol{P}}_{나는}^{\mathrm{T}}{\boldsymbol{AP}}_{나는}&, ={\boldsymbol{U}}_{나는}^{-\mathrm{T}}{\boldsymbol{V}}_{나는}^{\mathrm{T}}{\boldsymbol{AV}}_{나는}{\boldsymbol{U}}_{나는}^{)}\\&, ={\boldsymbol{U}}_{나는}^{-\mathrm{T}}{\boldsymbol{H}}_{나는}{\boldsymbol{U}}_{나는}^{)}\\&, ={\boldsymbol{U}}_{나는}^{-\mathrm{T.}}{\boldsymvol{{L}_{{I}}{\boldsymbol{U}_{{I}}{{I}^{-1}\\\\={\boldsymbol{{U}}^{\boldsymbol{{{I}}}^{\boldsymbmbold}}}}}}}}$

대칭과 하삼각형이 동시에 있으므로 대각선이어야 한다.

Now we can derive the constant factors ${\displaystyle \alpha _{i}}$ and ${\displaystyle \beta _{i}}$ with respect to the scaled ${\displaystyle {\boldsymbol {p}}_{i}}$ by solely imposing the orthogonality of ${\displaystyle {\boldsymbol {r}}_{i}}$ and conjugacy of ${\displa$$ystyle {\hbsymbol{p}$_$\{$$i$}}.

Due to the orthogonality of ${\displaystyle {\boldsymbol {r}}_{i}}$, it is necessary that ${\displaystyle {\boldsymbol {r}}_{i+1}^{\mathrm {T} }{\boldsymbol {r}}_{i}=({\boldsymbol {r}}_{i}-\alpha _{i}{\boldsymbol {Ap}}_{i})^{\mathrm {T} }{$$\$볼드심볼{$r}_{i}=0$ 그 결과

${\displaystyle{\begin{정렬}\alpha _{나는}&, ={\frac{{\boldsymbol{r}}_{나는}^{\mathrm{T}}{\boldsymbol{r}}_{나는}}{{\boldsymbol{r}}_{나는}^{\mathrm{T}}{\boldsymbol{Ap}}_{나는}}}\\&, ={\frac{{\boldsymbol{r}}_{나는}^{\mathrm{T}}{\boldsymbol{r}}_{나는}}{({\boldsymbol{p}}_{나는}-\beta_{}i-1{\boldsymbol{p}}_{i-1})^{\mathrm{T}}{\boldsymbol{Ap}}_{나는}}}\\.&){\frac{{\boldsymbol{r}_{i}^{}}{{\boldsymbol{r}}_{i}}{{\boldsymbol{p}_{i}^{\boldsymbol{T}}}{\boldsymbol{Ap}}}}}{i}}}}}\text{{{}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}\text}}}}}}}}}}}}}\end{정렬}}$

Similarly, due to the conjugacy of ${\displaystyle {\boldsymbol {p}}_{i}}$, it is necessary that ${\displaystyle {\boldsymbol {p}}_{i+1}^{\mathrm {T} }{\boldsymbol {Ap}}_{i}=({\boldsymbol {r}}_{i+1}+\beta _{i}{\boldsymbol {p}}_{i})^{$$\mathrm {T}{{\boldsymbol {Ap}_{i}=0}$. 그 결과

${\displaystyle{\begin{정렬}\beta _{나는}&, =-{\frac{{\boldsymbol{r}}_{i+1}^{\mathrm{T}}{\boldsymbol{Ap}}_{나는}}{{\boldsymbol{p}}_{나는}^{\mathrm{T}}{\boldsymbol{Ap}}_{나는}}}\\&, =-{\frac{{\boldsymbol{r}}_{i+1}^{\mathrm{T}}({\boldsymbol{r}}_{나는}-{\boldsymbol{r}}_{i+1})}{\alpha_{나는}{\boldsymbol{p}}_{나는}^{\mathrm{T}}{\boldsymbol{Ap}}_{i.}}}\\&^{\frac {{\boldsymbol{r}_{i+1}^{{\mathrm{T}{{r}}{{\boldsymbol{r}}1}{{i}^{\boldsymbol {}}}{{{}}}}}{\boldsymboldmbol}{}}{{{}}}}}}}.}}}\end{정렬}}$

이로써 파생은 완성되었다.

참조

1. Hestenes, M. R.; Stiefel, E. (December 1952). "Methods of conjugate gradients for solving linear systems" (PDF). Journal of Research of the National Bureau of Standards. 49 (6).
2. Saad, Y. (2003). "Chapter 6: Krylov Subspace Methods, Part I". Iterative methods for sparse linear systems (2nd ed.). SIAM. ISBN 978-0-89871-534-7.