바르질라이-보르와인 방법

Barzilai-Borwein 방법은^[1] 가장 최근의 두 반복의 선형 추세에서 파생된 두 단계 크기 중 하나를 사용하여 제한되지 않은 최적화를 위한 반복 그레이디언트 강하 방법입니다.이 방법과 수정은 가벼운 ^[2][3]조건에서 전체적으로 수렴하며, 많은 ^[4]문제에 대해 공역 그레이디언트 방법과 경쟁적으로 수행됩니다.목적 자체에 의존하지 않고, 선형 및 비선형 방정식의 일부 시스템도 해결할 수 있습니다.

방법

볼록 함수 f: Rn → R{displaystyle f:\mathbb {R}^{n}\rightarrow \mathbb {R} 점 x에서 기울기 벡터 g{displaystyle g}를 갖는 두 개의 선행 반복이 존재하도록 하자: gk - 1 (x k - 1 )와 g (x - k - k ) k - k (k - k - 1 k - k = 1 k - k - k - k - k - k - k - k )isplaystyle x_{k}=x_{k-1}-\alpha_{k-1}g_{k-1} 여기서 α k-1 디스플레이 스타일 \alpha \alpha_{k-1}은 이전 반복의 단계 크기(반드시 바르질라이-보윈 단계 크기는 아님)이며, 간략화를 위해 Δ x = x - k - k - 1 디스플레이 스타일 \Delta x_{k_{k_1} 및 G_{k_{k_stylepha = G_{k}이다.

Barzilai-Borwein(BB) $반복$은 ${\displaystyle x_{}}$k + $=$ ${\displaystyle x_{}{}_{}}$ - ${\displaystyle {\alpha }_{}}$ ${\displaystyle k_{}}$k k { \ $displaystyle x$_ {$k$+ 1 = $x_{k}-\ alpha$_ {$k}$이며, 여기서 단계 $크기{\displaystyle {}_{}}$ ${\displaystyle {\alpha }_{}}$k \ $displaystyle$\$alpha$_ {$k}$는 다음 중 하나입니다.

[$긴{\displaystyle {}_{}^{}}$ BB 단계] ${\displaystyle {}_{}^{}}$ k ${\displaystyle {\mathrm{LONG}}_{}^{}}$ $=$ ${\displaystyle \frac{\Delta }{}}$ x ${\displaystyle \frac{\Delta }{}}$ x ${\displaystyle \frac{\mathrm{}}{}}$ x$$ g{$displaystyle \alpha_{k}^{LONG$$델타$ x$\cdot \Deltag$ 또는

[$짧은{\displaystyle {}_{}^{}}$ BB 단계] ${\displaystyle {}_{}^{}}$ k $=$ ${\displaystyle \frac{\mathrm{\delta }}{}}$ x ${\displaystyle \frac{\mathrm{}}{}}$ g ${\displaystyle \frac{\mathrm{\delta }}{}}$ g ${\displaystyle \frac{\delta }{}}$ g$$ g \ $displaystyle$ \ $alpha _{k$}^{SHORT}=⋅$frac${\ $Delta$g \ $cdot$\$Delta$ g$\}\}.$

바질라이-보르와인은 또한 g:Rn → Rn ({n}) \rightarrow \mathbb {R}^{n}에 대한 g (x) = 0 ({{displaystyle g(x) = 0)의 방정식에 적용된다.

파생

단순성과 최적성 특성에도 불구하고 제약 없는 최적화를 위한 Cauchy의 고전적인 가장^[5] 가파른 방법은 종종 ^[6]성능이 떨어집니다.이것은 많은 사람들이 공액 그라데이션 방법과 같은 대체 검색 방향을 제안하도록 동기를 부여했습니다.대신 조나단 바질라이와 조나단 보윈은 준뉴턴 방법을 근사화하여 그라디언트에 대한 새로운 단계 크기를 제안했고, 그라디언트의 두 평가 지점 사이의 유한한 차이로부터 추정된 헤시안의 스칼라 근사치를 생성했으며, 이는 가장 최근의 두 반복입니다.

준뉴턴 반복에서는

${\displaystyle x_{k+1}=x_{k}-B^{-1}g(x_{k})}$

$여기$서 B${displaystyle$ B$}$는 g${displaystyle$ g}($$$즉{\displaystyle }$, displaystyle g$)$의 야코비안 행렬의 근사치입니다.Bk Δ x k = Δ g k {\displaystyle B_{k}\Delta g_{k}=\Delta g_{k}. Barzilai와 Borwein은 일반적으로 정확하게 2차 방정식을 만족시킬 수는 없지만 1 α Δ X G로 근사하는 스칼라 1/α로 B {\displaystyle B}를 단순화한다rac ${1}{\alpha }}\Delta$ x$\approx$ \$Deltag$ 두 개의 최소 제곱 기준에 의한 근사치는 다음과 $같습니다$.

α${{\displaystyle \alpha$$}$에 대해$$$\delta {\displaystyle }$ ${\displaystyle x}$ /${\displaystyle \alpha }$- ${\displaystyle \delta }$ ${\displaystyle \mathrm{g}}$ ${\displaystyle {}^{}}{\displaystyle {2\mathrm{}}^{}}$ ${\$ -$\Delta g\^{2$$}}$를 최소화하여 긴 BB 단계를 생성하거나,

α${\displaystyle \alpha}$에 $대해$${\displaystyle \delta }$ x -${\displaystyle \alpha }$ ${\displaystyle \delta }$ g ${\displaystyle {}^{}}{\displaystyle {2\mathrm{}}^{}}$ ${\$를 최소화하여 짧은 BB 단계를 생성합니다.

특성.

한 차원에서, 두 BB 단계 크기는 고전적인 세컨트 방법과 동일하고 동일합니다.

긴 BB 단계 크기는 선형화된 Cauchy 단계와 동일합니다. 즉, 선 검색(선형 문제의 경우에도)에 secant-method를 사용한 첫 번째 추정치입니다.짧은 BB 단계 크기는 선형화된 최소 잔차 단계와 동일합니다.BB는 다른 라인 검색 단계처럼 이전 방향 벡터 대신 다음 반복에 대한 순방향 벡터에 단계 크기를 적용합니다.

Barzilai와 Borwein은 그들의 방법이 2차원에서 2차 최소화를 위해 R-초선형으로 수렴한다는 것을 증명했습니다.Raydan은^[2] 2차 문제에 대해 일반적으로 수렴을 보여줍니다.수렴은 일반적으로 단일하지 않습니다. 즉, 솔루션을 향한 성공적인 수렴을 따라 각 반복에 따라 목표 함수나 잔차 또는 기울기 크기가 반드시 감소하지 않습니다.

$만약{\displaystyle }$ f${displaystyle$ f$}$가 $헤시안{\displaystyle }$A({$displaystyle$A$\})$를 갖는 2차 함수라면, 1${\displaystyle }$/ $α$LONG$$}는 벡터$$x \$displaystyle \Deltax$에 의한 A$({displaystyle$A$\})$의 레일리 계수입니다.$그리고{\displaystyle \mathrm{}}$ 1${\displaystyle }$/ ${\displaystyle {\alpha }^{}}$ $({\$1/\$alpha ^{$SHORT$$})는 벡터 ${\displaystyle A\mathrm{}}$$$$δ$x ({\displaystyle {\$sqrt${$A$$}\Deltax}$에 의한$$A $디스플레이$$$$스타일$의 레일리 계수입니다 ($여기$서 A ($A$${\displaystyle ){}^{}}$에 대한 솔루션으로 A$$$sqrt}).$$T}{\sqrt {A}}=A$ 한정된 행렬에서 더 많이.

Fletcher는^[4] 계산 성능을 CG(conjougate gradient) 방법과 비교하여 선형 문제에 대해 CG 경향이 더 빠르지만 BB는 적용 가능한 CG 기반 방법에 비해 비선형 문제에 대해 종종 더 빠릅니다.

BB는$$x{$displaystyle$x$\}$에 $수백만{\displaystyle }$ 개의 요소가 있는 대규모 시스템에 적합한 낮은 스토리지 요구사항을 가지고 있습니다.

${\displaystyle \frac{{\alpha }^{}}{}}$ ${\displaystyle \frac{{\mathrm{SHOR}}^{}}{}}$ ${\displaystyle \frac{T^{}}{}}$ ${\displaystyle \frac{{\alpha }^{}}{}}$ $LONG$ $=$$$ 2$({{frac {{alpha ^{SHORT}{\alpha ^{LONG$}}) =${\displaystyle \cos }$$^{2$$}({\displaystyle$$\Deltax$$}$와$Δg$사이의 각도)

수정사항 및 관련 방법

Raydan에 ^[3]의해 입증된 이후, BB는 종종 그리포, 람파리엘로, 그리고 루시디의 ^[7]비모노톤 보호 전략을 적용합니다.이는 목표의 상승을 어느 정도 허용하지만, 과도한 상승은 글로벌 수렴을 보장하기 위해 더 작은 단계 크기를 사용한 역추적 라인 검색을 시작합니다.Fletcher는^[4] 비일조성에 대한 더 넓은 한계를 허용하는 것이 더 효율적인 수렴을 초래하는 경향이 있다는 것을 발견했습니다.

다른^{[8][9][10][11]} 사람들은 유사한 특성을 나타내는 긴 BB 스텝 크기와 짧은 BB 스텝 크기 사이의 기하학적 평균인 스텝 크기를 식별했습니다.

레퍼런스

외부 링크

• 조너선 바르질라이