동시 섭동 확률 근사치

동시 섭동 확률 근사치(SPSA)는 복수의 알 수 없는 매개변수를 가진 시스템을 최적화하는 알고리즘 방법이다.그것은 확률적 근사 알고리즘의 일종이다.최적화 방법으로서 대규모 모집단 모델, 적응 모델링, 시뮬레이션 최적화, 대기 모델링 등에 적합하다.많은 예가 SPSA 웹사이트 http://www.jhuapl.edu/SPSA에서 제시된다.이 주제에 관한 포괄적인 최근 책은 Bhatnagar 외 (2013)이다.그 주제에 대한 초기 논문은 스폴(1987)이고, 핵심 이론과 정당성을 제공하는 기초 논문은 스폴(1992)이다.

SPSA는 전지구적 미니마를 찾을 수 있는 하강법으로, 이 속성을 시뮬레이션된 어닐링과 같은 다른 방법과 공유한다.그것의 주요 특징은 최적화 문제의 치수에 관계 없이 목표함수의 두 가지 측정만을 필요로 하는 구배 근사값이다.손실 함수 $J{\displaystyle (u}$) ${\displaystyle J(u)}$이(가) 있는 최적의 컨트롤 $u{\displaystyle {}^{}}$u$$u$^{*}$을(를) 찾고 싶다는 점을 상기하십시오$.$

$\displaystyle u^{*}=\arg \min _{u\in U}J(u).}$

유한 차이 확률 근사치(FDSA)와 SPSA는 모두 동일한 반복 프로세스를 사용한다.

${\displaystyle u_{n+1}=u_{n}-a_{n}{\hat {g}{n}(u_{n}),}$

여기서 $u{\displaystyle {}_{}}$ ${\displaystyle n_{}}$=${\displaystyle }$(${\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ) 1${\displaystyle }$, ( ${\displaystyle u_{}{}_{}}$n ) ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$… , (${\displaystyle u_{}{}_{}}$n )${\displaystyle {}_{}{}^{}{p}_{}}$ ) ${\displaystyle T^{}}${\$displaystyle u_{n}=(u_{n})=(u_${n$})_${1$},$ ($u_{n}}}}},\ldots,$ $(u_{n}_{p$}}}^{p$}}}}}^{$p}}}}}}}}}}}}^{p}}}}}}}}}}}}}}}}}}$T}}$ represents the ${\displaystyle n^{th}}$ iterate, ${\displaystyle {\hat {g}}_{n}(u_{n})}$ is the estimate of the gradient of the objective function ${\displaystyle g(u)={\frac {\partial }{\partial u}}J(u)}$ evaluated at ${\displaystyle {u_{n}}}$$$, 및${\displaystyle }${${\displaystyle n_{}}$ ${\displaystyle \{a_{n}\}}}$은(는) 0으로 수렴되는 양의 숫자 시퀀스입니다$$.$u{\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\$이 p-차원 벡터인$$ 경우 대칭 유한차 구배 추정기의 $i{\displaystyle {}^{}}$ t ${\displaystyle h^{}}$ ${\$ i$^{th}}$ 성분$$:

FD: ${\displaystyle({\hat {g_{n}}(u_{n}})({n}}={\frac {J(u_{n}+c_{n}e_{i}})-J(u_{n}-c_{n}e_{n}}}}}}}}}}}}}}}},},}$

1 ≤i ≤p, $여기$서 ${\displaystyle e_{}}$ i ${\$는 $i{\displaystyle {}^{}}$ ${\displaystyle t^{}}$ h ${\$위에$$ 1이 있는 단위 벡터, ${\displaystyle {cn}_{}}$ ${\$는 n과 함께 감소하는 작은 양수다$$.이 방법을 사용하면 각 ${\displaystyle g_{}}$ ${\$에 대한 J의 2p 평가가$$ 필요하다.분명히 p가 크면 이 추정기는 효율을 잃는다.

이제 ${\displaystyle {\Delta n}_{}}$ ${\$를 임의 섭동 벡터가 되도록$$ 하자.확률적 섭동 구배 추정기의 $it{\displaystyle {}^{}}$ ${\displaystyle h^{}}$ ${\$ 성분은 다음과$$ 같다.

SP: ${\displaystyle({\hat{g_{n}})(u_{n}})({n}})_{n}={\frac {J(u_{n}+c_{n}\Delta_{n}}}}}{n}}}}}{n}}}}}\Delta _{n}}}}}}}}}}}}}}}}}.}$

FD는 한 번에 한 방향만 교란하는 반면 SP 추정기는 모든 방향을 동시에 교란(분자는 모든 p 구성 요소에서 동일)한다고 언급한다.${\displaystyle {각}_{}}$ $g{\displaystyle {}_{}}$ ${\$에 대한 SPSA 방법에 필요한 손실 함수 측정 횟수는 치수 p와 무관하게 항상 2회다$$.따라서 SPSA는 FDSA보다 기능평가를 p배 적게 사용하므로 효율성이 훨씬 높다.

p=2를 이용한 간단한 실험에서는 SPSA가 FDSA와 동일한 수의 반복으로 수렴하는 것으로 나타났다.후자는 경사도법처럼 작용하면서 대략 가장 가파른 하강 방향을 따른다.반면 SPSA는 무작위 검색 방향이 구배 경로를 정확히 따르지 않는다.그러나 평균적으로 그것은 거의 구배 근사치가 다음 보조정리법에서 보듯이 구배 추정기의 거의 편향되지 않은 추정기이기 때문에 이를 추적한다.

수렴 보조정리

다음을 가리킴

${\displaystyle b_{n}=E[{\hat {{g}_{n} u_{n}]-\나블라 J(u_{n}}})}$

the bias in the estimator ${\displaystyle {\hat {g}}_{n}}$. Assume that ${\displaystyle \{(\Delta _{n})_{i}\}}$ are all mutually independent with zero-mean, bounded second moments, and ${\displaystyle E( (\Delta _{n})_{i} ^{-1})}$ uniformly bounded.그 다음 $b{\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\$→0 w.p. 1.

증거의 스케치

The main idea is to use conditioning on ${\displaystyle \Delta _{n}}$ to express ${\displaystyle E[({\hat {g}}_{n})_{i}]}$ and then to use a second order Taylor expansion of ${\displaystyle J(u_{n}+c_{n}\Delta _{n})_{i}}$ and ${\displaystyle J(u_n-c_n{\mathrm{\Delta }}_{}}$${\displaystyle {}_{}}$$n$${\displaystyle {}_{}{}_{}}$) ${\displaystyle i_{}}$ ${\$${\displaystyle {Delta\_}_{}{}_{}}$$n}_{$$n$displaystyle \{{n}}\}의 0 평균과${\displaystyle }$독립성을 사용한 대수 조작 후, 우리는 알게 된다$.$

${\displaystyle E[({\hat {g}_{n})_{i}=(g_{n})_{i}+O(c_{n}^{2})}$

$결과$는 c ${\displaystyle n_{}}$ ${\$ $\to$0}이라는 가설에서 나타난다.

다음에는 $u{\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ${\$ ${\displaystyle \mathrm{u\_}}$${t}}$가 J ( $u{\displaystyle }$ )${\displaystyle J(u)}$의 글로벌 미니마 집합에 확률적으로 수렴되는$$ 가설 중 일부를 다시 시작한다$.$방법의 효율성은 $){\displaystyle j(u)}$의 형상$,$ ${\displaystyle n_{}}$ ${\$ $및{\displaystyle {}_{}}$ ${\displaystyle c_{}}$ ${\$의 매개변수 값, 섭동 용어 ${\displaystyle {\Delta n}_{}}$ ${\$의 분포에 따라 달라진다$.$ 먼저 알고리즘 매개변수가 다음 로 만족해야 한다.날개 조건:

• ${\displaystyle a_{n}}$ >0, ${\displaystyle a_{n}}$→0 when n→∝ and ${\displaystyle \sum _{n=1}^{\infty }a_{n}=\infty }$. A good choice would be ${\displaystyle a_{n}={\frac {a}{n}};}$ a>0;
• ${\displaystyle {cn}_{}}$= ${\displaystyle c\frac{}{}}$ ${\displaystyle \frac{{}^{}}{}}$ ${$}}}}}{\$frac$ {c}{n^{\program$$}}}, 여기서 c>${\displaystyle 0\frac{\mathrm{}}{},}$ style[ 1 6${\displaystyle ,}$ ${\displaystyle \frac{1}{}}$ ${\displaystyle ]}$ ${\$\{$1}{1},{1$}2$}}\right$]} $;\}$ ;} ;} ;} ;}
• ${\displaystyle \sum _{n=1}^{\inflt }({\frac {a_{n}}{c_{n}}}}^{2}<\inflty })$
• ${\displaystyle \Delta _{ni}}$ must be mutually independent zero-mean random variables, symmetrically distributed about zero, with ${\displaystyle \Delta _{ni}<a_{1}<\infty }$. The inverse first and second moments of the ${\displaystyle \Delta _{ni}}$ must be finite.

${\displaystyle {\Delta n}_{}}$ ${\displaystyle i_{}}$ ${\$에 대한 좋은 선택은 Rademacher 분포, 즉 확률 0.5의 베르누이 +-1이다$$.다른 선택도 가능하지만, 균일하고 정규적인 분포는 유한한 역모멘트 조건을 만족시키지 못하기 때문에 사용할 수 없다는 점에 유의한다.

그 손실 함수 J(u)세 차례 계속해서 3파생 상품의 개별 요소 경계해야 한다. J(u)<>(3), 3<∞{\displaystyle J^{(3)}(u)<>a_{3}<, \infty}. 또한, J너→ ∞{\displaystyle u\rig로∞{\displaystyle J(u)\rightarrow \infty}→(u)미분 가능해야 한다.htarrow \inf$ty }$.

또한 $\nabla {\displaystyle \mathrm{}}$ ${\displaystyle J}$ ${\displaystyle \nabla J}$은(는) 립스키츠 연속, 경계여야 하며$$ ODE $u{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{\dot{}}}$= g ($){\dot{u}=g(u)}$은(는) 각 초기 조건에 대해 고유한 솔루션을 가지고 있어야 한다$$.이러한 조건과 몇 가지 다른 조건 하에서 $u{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$는 확률로 J(u)의 글로벌 미니마 집합에 수렴한다(Maryak and Chin, 2008 참조).

연속성과 볼록성은 수렴에 충분하다는 점에서 차별성이 요구되지 않는 것으로 나타났다.^[1]

2차(Newton) 메서드로 확장

표준(결정론적) 뉴턴-Raphson 알고리즘의 확률적 버전("2차 순서" 방법)은 점증적으로 최적 또는 최적인 형태의 확률적 근사치를 제공하는 것으로 알려져 있다.또한 SPSA는 소음 손실 측정 또는 소음 구배 측정(스토크스틱 그라데이션)을 기반으로 손실 함수의 헤시안 매트릭스를 효율적으로 추정하는 데도 사용할 수 있다.기본 SPSA 방법과 마찬가지로 문제 치수 p와 관계없이 각 반복마다 소량의 고정된 손실 측정 또는 구배 측정만 필요하다.Stochastic gradient downs(스토크스틱 그라데이션 강하)의 간략한

참조

• Bhatnagar, S, Prasad, H. L. 및 Prashant, L. A.(2013), 최적화를 위한 확률적 재귀 알고리즘: 동시 섭동 방법, 스프링거 [1]
• 히로카미, T, 마에다, Y, 츠카다, H. (2006) "동시 섭동 확률 근사치를 이용한 파라미터 추정", 일본 전기공학, 154(2), 30–3 [2]
• Maryak, J.L. 및 Chin, D.C.(2008) "동시 섭동 스토크스틱 근사치에 의한 글로벌 무작위 최적화," IEEE 자동 제어에 관한 거래, vol. 53, 페이지 780-783.
• Spall, J. C. (1987), "최대우도 모수 추정치를 생성하기 위한 확률적 근사치 기법," 1987년 6월 미니애폴리스, MN, 1161–1167의 미국 통제 회의의 절차.
• Spall, J. C. (1992) "동시 섭동 구배 근사치를 사용한 다변량 확률 근사", IEEE 자동 제어에 관한 거래, 37(3), 페이지 332–341.
• 스폴, J.C. (1998)"효율적 최적화를 위한 동시 섭동 방법 개요" 2. 존스 홉킨스 APL 기술 다이제스트, 19(4), 482–492.
• 스폴, J.C. (2003) 확률론적 검색 및 최적화 소개: 추정, 시뮬레이션 및 제어, Wiley. ISBN0-471-33052-3 (7장)