비선형 접합구배법

수치최적화에서 비선형 결합구배법은 비선형 최적화에 대한 결합구배법을 일반화한다.2차 함수 $\displaystyle f(x)$ ( $\displaystyle f(x)$ ) ${\$ 의 경우

\displaystyle f(x)=\ Ax-b\ ^{2},

그라데이션이 0일 때 $최소$ f $f$ 을(를) 얻음 $f$ :

\nabla _{x}f=2A^{T}(Ax-b)=0

\nabla _{x}f=2A^{T}(Ax-b)=0

=

\nabla _{x}f=2A^{T}(Ax-b)=0

\nabla _{x}f=2A^{T}(Ax-b)=0

\nabla _{x}f=2A^{T}(Ax-b)=0

(

\nabla _{x}f=2A^{T}(Ax-b)=0

\nabla _{x}f=2A^{T}(Ax-b)=0

- b

\nabla _{x}f=2A^{T}(Ax-b)=0

)

\nabla _{x}f=2A^{T}(Ax-b)=0

=

\nabla _{x}f=2A^{T}(Ax-b)=0

{\displaystyle \nabla _{x}f=2A^{T}(Ax-b)=0

.

선형 결합 그라데이션은 선형 방정식 A $\displaystyle A^{T}Ax=A^{T}b$ $\displaystyle A^{T}Ax=A^{T}b$ = $\displaystyle A^{T}Ax=A^{T}b$ $\displaystyle A^{T}Ax=A^{T}b$ b ${\displaystyle A$ ^{ $T}Ax=A^{T}b}$ 에 대한 해결책을 찾는 반면 $\displaystyle A^{T}Ax=A^{T}b$ 비선형 결합 그라데이션 방법은 일반적으로 구배 $\nabla _{x}f$ x $\nabla _{x}f$ ${\display$ style $\nabla _{x}f}f$ }만을 사용하여 비선형 함수의 국소 최소값을 찾는 데 사용된다.함수가 최소값 근처에 근사적으로 2차적일 때 작동하는데, 이는 함수가 최소 두 배 이상 차이가 나고 두 번째 파생상품이 비음속적인 경우다.

최소화할 $N$ {\ $displaystyle N}$ 변수의 $\displaystyle f(x)$ $N$ $\displaystyle f(x)$ ) ${\$ 함수를 지정하면 그 그라데이션 $\nabla _{x}f$ $\nabla _{x}f$ $\nabla _{x}f$ $\nabla _{x}f$ 는 최대 증가 방향을 나타낸다 $\nabla _{x}f$ .단순히 반대 방향(스티븐 강하)에서 출발한다.

\Delta x_{0}=-\nabla _{x}f(x_{0})

$\displaystyle f$ 길이 $\displaystyle \alpha$ ${\$ \displaystyle \ $displaystyle$ $\$ displaystyle f}이(가 $)$ 최소 f {\ $displaystyle f}$ 에 도달할 때까지 이 방향으로 라인 검색을 수행하십시오 $\displaystyle f$

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

(

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

0

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

+

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

\displaystyle \alpha _{0}:=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0})

)

{\

\alpha

_{0}=\arg \min _{\alpha }f(x_{0}+\alpha \Delta x_{0

\displaystyle x_{1}=x_{0}+\알파 _{0}\Delta x_{0}}

가장 가파른 방향 $\displaystyle \Delta x_{0}$ x $\displaystyle \Delta x_{0}$ ${\$ 에서 이 첫 번째 반복 후에 다음 단계는 후속 결합 방향 $\displaystyle s_{n}$ n ${\$ 을 따라 이동하는 하나의 반복을 구성한다 $\displaystyle s_{n}$ 여기서 $\displaystyle s_{0}=\Delta x_{0}$ $\displaystyle s_{0}=\Delta x_{0}$ = $\displaystyle s_{0}=\Delta x_{0}$ x ${0}=\displaystystyle s_{$ 0}}}}}}\ $Deltax_{0}$ :

가장 가파른 방향 계산: $\Delta x_{n}=-\nabla _{x}f(x_{n})$ x $\Delta x_{n}=-\nabla _{x}f(x_{n})$ = - $\Delta x_{n}=-\nabla _{x}f(x_{n})$ $\Delta x_{n}=-\nabla _{x}f(x_{n})$ f $\Delta x_{n}=-\nabla _{x}f(x_{n})$ ( $\Delta x_{n}=-\nabla _{x}f(x_{n})$ $\Delta x_{n}=-\nabla _{x}f(x_{n})$ ) ${\displaystyle \Delta x_{n}=-\nabla _{x}f(x_{n$
아래 공식 중 하나에 따라 $\displaystyle \beta _{n}$ $\displaystyle \beta _{n}$ $\displaystyle \beta _{n}$ ${\$ 을 계산하십시오.
결합 방향 업데이트: $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ = $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ x $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ + $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ $\displaystyle s_{n}=\Delta x_{n}+\beta _{n}s_{n-1}$ - 1 ${\$
라인 검색을 수행하십시오. $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ = $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ + $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ n $\displaystyle \alpha _{n}=\arg \min _{\alpha }f(x_{n}+\alpha s_{n})$ ) ${\$ \ $alpha$ \ \ $alpha _{n}=\$ arg $\min \\\\lpha }f(x_{n}+\alpha s_{n}})},$ .
위치 업데이트: $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ n $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ + 1 $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ = x $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ + $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ s $\displaystyle x_{n+1}=x_{n}+\alpha _{n}s_{n}$ ${\$

순수 2차 함수의 경우 N 반복(반올림 오류 제외) 내에서 최소값에 도달하지만, 비 2차 함수의 경우 진행이 느리게 된다.후속 검색 방향은 최소 N번 반복마다 또는 진행이 중단되는 경우 더 빨리 검색 방향을 가장 가파른 하강 방향으로 재설정해야 하는 결합력을 상실한다.그러나 모든 반복을 재설정하면 방법이 가장 가파른 내리막길로 바뀐다.알고리즘은 방향 재설정(즉, 가장 가파른 하강 방향) 후 진척이 없을 때 또는 일부 허용오차 기준에 도달할 때 결정되는 최소값을 찾으면 정지한다.

선형 근사치 내에서 매개변수 $\displaystyle \alpha$ ${\$ } 및 $\displaystyle \alpha$ $\displaystyle \beta$ ${\\$ }은 $\displaystyle \beta$ 선형 결합 그라데이션 방법과 동일하지만 선 검색을 통해 얻었다.공차 구배법은 가장 가파른 내리막길이 속도가 느려지고 십자형 패턴을 따르는 좁은(조건이 없는) 계곡을 따라갈 수 있다.

$\displaystyle \beta _{n}$ ${\$ 에 대해 가장 잘 알려진 공식 4개는 개발자의 이름을 따서 다음과 같이 명명되었다 $\displaystyle \beta _{n}$ .

플레처-리브스:^[1]

\displaystyle \property _{n}^{FR}={\frac {\Delta x_{n}^{T}\Delta x_{n}}{{n}}{\Delta x_{n-1}{T}\Delta x_{n-1}}}.}

폴락-리비에르:^[2]

\displaystyle \property _{n}^{PR}={\frac {\Delta x_{n}^{T}(\Delta x_{n}-\Delta x_{n-1}}}{\Delta x_{n-1}}}}}{T}\Delta x_{n-1}}}.}

헤스테네스-스티펠:^[3]

\displaystyle \property _{n}^{HS}={\frac {\delta x_{n}^{T}(\Delta x_{n}-\Delta x_{n-1})}{-s_{n-1}^{T}(\Delta x_{n}-{n-1})}}}.}

다이위안:^[4]

{\displaystyle \beta _{n}^{

DY}={\frac {\Delta x_{n}^{T}\Delta x_{n}}}{-s_{n-1}^{T}(\Delta x_{n}-\Delta x_{n-1

이러한 공식은 2차 함수와 동일하지만 비선형 최적화의 경우 선호 공식은 경험적 접근성 또는 취향의 문제다. $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ = $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ { $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ , $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ P $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ ${\$ 이 $\displaystyle \beta =\max\{0,\beta ^{PR}\}$ 가) 일반적인 선택이며, 이는 자동으로 방향 재설정을 제공한다.^[5]

뉴턴의 방법에 기초한 알고리즘은 잠재적으로 훨씬 더 빨리 수렴할 수 있다.여기서 단계 방향과 길이 모두 등식의 선형 시스템의 해법으로 구배에서 계산되며, 계수 행렬은 정확한 헤시안 행렬(뉴턴의 방법 적절한 경우) 또는 그 추정치(준 뉴턴 방법에서, 반복 중 구배에서 관찰된 변화가 Hess를 업데이트하는 데 사용된다.이안 추정치).고차원적인 문제의 경우, Hessian의 정확한 계산은 대개 엄청나게 비싸고, 그 저장장치도 문제가 될 수 있어 $O(N^{2})$ ( $O(N^{2})$ ) ${\디스플레이$ 스타일 $O(N^{2})$ 메모리가 $O(N^{2})$ 필요하다(그러나 제한된 메모리 L-BFGS 준 뉴턴 방법 참조).

또한 최적 제어 이론을 사용하여 결합 그라데이션 방법을 도출할 수 있다.^[6]이 가속 최적화 이론에서, 결합 그라데이션 방법은 비선형 최적 피드백 제어기로서 제외된다.

$u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ u $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ = $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ ( $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ , $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ ) : $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ - $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ ( $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ ) - $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ b $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ $u=k(x,{\dot {x}}):=-\gamma _{a}\nabla _{x}f(x)-\gamma _{b}{\dot {x}}$ ${\$ dot{x $}}}}}}}}}}}}}}}.$

${\ddot}{x}=u}$

$\gamma _{a}>0$ $\gamma _{a}>0$ $\gamma _{a}>0$ > 0 $\gamma _{a}0$ 과 $\gamma _{a}>0$ $\gamma _{b}>0$ $\gamma _{b}>0$ > 0 $\gamma _{b}}0$ 은 가변 피드백 이득이다 $\gamma _{b}>0$ .^[6]

참고 항목

참조

^ Fletcher, R.; Reeves, C. M. (1964). "Function minimization by conjugate gradients". Comput. J. 7 (2): 149–154. doi:10.1093/comjnl/7.2.149.
^ Polak, E.; Ribière, G. (1969). "Note sur la convergence de méthodes de directions conjuguées". Rev. Française Informat Recherche Opérationelle. 3 (1): 35–43.
^ Hestenes, M. R.; Stiefel, E. (1952). "Methods of Conjugate Gradients for Solving Linear Systems". J. Research Nat. Bur. Standards. 49 (6): 409–436. doi:10.6028/jres.049.044.
^ Dai, Y.-H.; Yuan, Y. (1999). "A nonlinear conjugate gradient method with a strong global convergence property". SIAM J. Optim. 10 (1): 177–182. doi:10.1137/S1052623497318992.
^ Shewchuk, J. R. (August 1994). "An Introduction to the Conjugate Gradient Method Without the Agonizing Pain" (PDF).
^ ^a ^b Ross, I. M. (2019). "An Optimal Control Theory for Accelerated Optimization". arXiv:1902.09004.

[1] Fletcher, R.; Reeves, C. M. (1964). "Function minimization by conjugate gradients". Comput. J. 7 (2): 149–154. doi:10.1093/comjnl/7.2.149.

[2] Polak, E.; Ribière, G. (1969). "Note sur la convergence de méthodes de directions conjuguées". Rev. Française Informat Recherche Opérationelle. 3 (1): 35–43.

[3] Hestenes, M. R.; Stiefel, E. (1952). "Methods of Conjugate Gradients for Solving Linear Systems". J. Research Nat. Bur. Standards. 49 (6): 409–436. doi:10.6028/jres.049.044.

[4] Dai, Y.-H.; Yuan, Y. (1999). "A nonlinear conjugate gradient method with a strong global convergence property". SIAM J. Optim. 10 (1): 177–182. doi:10.1137/S1052623497318992.

[5] Shewchuk, J. R. (August 1994). "An Introduction to the Conjugate Gradient Method Without the Agonizing Pain" (PDF).

[:0-6] Ross, I. M. (2019). "An Optimal Control Theory for Accelerated Optimization". arXiv:1902.09004.

[1]

[2]

[3]

[4]

[5]

[6]

Search

비선형 접합구배법

네임스페이스

더

참고 항목

참조