다비던-플레처-파월 공식

다비던-플레처-파월 공식(또는 DFP, William C의 이름을 따서 명명) 데이비드슨, 로저 플레처, 그리고 마이클 J. D. 파월)은 현재 추정치에 가장 가깝고 곡률 조건을 만족하는 제2차 방정식의 해결책을 찾는다.다차원적인 문제로 세컨트 방법을 일반화한 최초의 준뉴턴 방식이었다.이 업데이트는 헤시안 매트릭스의 대칭성과 양의 정의를 유지한다.

${\displaystyle \mathrm{함수}}$ $f{\displaystyle }$( x${\displaystyle }$) ${\displaystyle f(x$ 그 그라데이션${\displaystyle \mathrm{}}$ ${\displaystyle f}$ f ${\displaystyle \nabla f})$ 및 양확정 헤시안 행렬 $B{\displaystyle }$ ${\displaystyle B}$을$($를) 지정하면 Taylor 시리즈는 다음과 같다.

${\displaystyle f(x_{k}+s_{k})=f(x_{k})+\proxla f(x_{k}})^{{}}T}s_{k}+{\frac {1}{1}{2}}s_{k}^{T}{B}s_{k}+\dots ,}$

그라데이션 자체의 테일러 시리즈(등방정식)

${\displaystyle \nabla f(x_{k}+s_{k}=\properla f(x_{k})+Bs_{k}+\dots }$

$B{\displaystyle }$ ${\displaystyle B}$ 업데이트에 사용된다$.$

DFP 공식은 대칭적이고 양립성이 있으며 현재 대략적인 ${\$에 가장 가까운 솔루션을 찾는다$.$

${\displaystyle B_{k+1}=(I-\gamma _{k}y_{k}s_{k}^{T})B_{k}(I-\gamma _{k}s_{k}y_{k}^{T}+\gamma _{k}y_{k}y_{k}^{T}}}}})$

어디에

${\displaystyle y_{k}=\javla f(x_{k}+s_{k}-\javla f(x_{k}),}$

${\displaystyle \gamma_{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

및 $B{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$는 대칭적이고 양립성이 확실한 행렬이다.

헤시안 근사 $H{\displaystyle {}_{}}$ ${\displaystyle k_{}}$= ${\displaystyle B_{}^{}}$ k${\displaystyle {}_{}^{}}$- ${\displaystyle 1_{}^{}}$ ${\$}^{-$1}$에 해당하는 업데이트는$$ 다음과 같다.

${\displaystyle H_{k+1}=H_{k}-{\frac {H_{k}y_{k}y_{k}y_{k}^{T}H_{k}}{{k}}^{T}H_{k}Y_{k}}}}+{\frac {s_{k}s}s_{k}^{k}^{{{}}}}}^{{{}}}}}}}}}}}}^{{}}}}}}}}}}}}}}^{{{{{}}}}}}}}}}}}T}}{y_{k}^{T}s_{k}}}}.}$

${\displaystyle B}$ ${\displaystyle B}$은(는) 양의 정의로 가정하며, $벡터$의 k ${\displaystyle {}_{}^{}}${\$displaystyle s_{k}^{T}$ 및$$ $y{\displaystyle }${\$displaysty y}$은(는) 곡률 조건을 만족해야 한다$$.

${\디스플레이 스타일 s_{k}^{T}y_{k}=s_{k}^{T}Bs_{k}>0.}$

DFP 공식은 상당히 효과적이지만, 곧 브로이든-로 대체되었다.Fletcher-Goldfarb-Shanno 공식은 이중(y와 s의 역할 교체)이다.^[1]

참고 항목

• 뉴턴의 방법
• 뉴턴의 최적화 방법
• 준뉴턴법
• 브로이든-플레처-골드파브-샨노(BFGS) 방식
• 유한메모리 BFGS 방식
• 대칭 순위 1 공식
• 넬더-메드법

참조

추가 읽기

• Davidon, W. C. (1959). "Variable Metric Method for Minimization". AEC Research and Development Report ANL-5990. doi:10.2172/4252678.
• Fletcher, Roger (1987). Practical methods of optimization (2nd ed.). New York: John Wiley & Sons. ISBN 978-0-471-91547-8.
• Kowalik, J.; Osborne, M. R. (1968). Methods for Unconstrained Optimization Problems. New York: Elsevier. pp. 45–48. ISBN 0-444-00041-0.
• Nocedal, Jorge; Wright, Stephen J. (1999). Numerical Optimization. Springer-Verlag. ISBN 0-387-98793-2.
• Walsh, G. R. (1975). Methods of Optimization. London: John Wiley & Sons. pp. 110–120. ISBN 0-471-91922-5.