하강 방향

In optimization, a descent direction is a vector ${\displaystyle \mathbf {p} \in \mathbb {R} ^{n}}$ that, in the sense below, moves us closer towards a local minimum ${\displaystyle \mathbf {x} ^{*}}$ of our objective function ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$.

라인 검색과 같은 반복적인 방법으로$$ $x{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\$을(를) 계산한다고 가정합시다.우리는 ∈}은 k개의{k\displaystyle}월 iterate에 pk(_{k}}가⟨ pk,∇ f()k)⟩<0{\displaystyle\langle \mathbf{p}_{k},\nabla f(\mathbf{x}_{k})\rangle 하강 방향 pkRn{\displaystyle \mathbf{p}_{k}\in\mathbb{R}^{n}을 정의한다. <0$\}{\displaystyle }$, 여기서 where ,${\displaystyle ⟩}$ ${\displaystyle \langle ,\rangele }$은 내부 제품을 의미한다$$.그러한 접근방법의 ${\displaystyle {}_{}}$는 테일러의 $정리대$로 p ${\$$$\$mathbf {p} _{k}$를 따라 작은 걸음으로 $f{\displaystyle {\displaystyle }}${\$displaystyle f}$이(가) 줄어든다는 것을$$ 보증하기 때문이다.

⟨− ∇ f()k),∇ f()k)⟩)−⟨ ∇ f()k),∇ f()k)⟩<0{\displaystyle\langle -\nabla f(\mathbf{x}_{k}),\nabla f(\mathbf{x}_{k})\rangle=-\langle \nabla f(\mathbf{x}_{k}),\nabla f(\mathbf{x}_{k})\rangl로 이 정의를 이용하여,이 0은 아닌 그라데이션에 대한 부정적은 항상 하강 방향,.e<>$0}$.

하강 방향을 계산하기 위한 수많은 방법들이 존재하는데, 모두 다른 장점을 가지고 있다.예를 들어, 구배 강하 또는 결합 구배 방법을 사용할 수 있다.

$보다{\displaystyle {}_{}}$ 일반적으로 $P{\displaystyle }$ ${\displaystyle P}$이(가) 양의 한정 ${\displaystyle \mathrm{행렬}}$이라면 p ${\displaystyle k_{}}$=${\displaystyle }$- ${\displaystyle P\mathrm{}}$∇ f${\displaystyle }$( x ${\displaystyle k_{}}$) ${\displaystyle p_{k}=-P\nabla$ f$(x_{k}})$는 x ${\displaystyle k_{}}$ ${\$에서 하강 방향이다$.$^[1]이 일반성은 전제된 구배 강하 방법에 사용된다.

참고 항목

• 방향파생상품

참조