Oracle 복잡성(최적화)

이 글은 고아로, 다른 어떤 기사도 그것에 연결되지 않는다.관련 문서에서 이 페이지에 대한 링크를 소개하고, 제안사항을 보려면 링크 찾기 도구를 사용하십시오.(2020년 7월)

수학적 최적화에서 오라클 복잡성은 최적화 문제의 클래스를 풀기 위한 계산적 요구사항을 연구하기 위한 표준 이론적 프레임워크다.다양한 지점(함수의 값, 구배, 헤시안 등)에서 객관적인 기능에 대한 현지 정보를 계산하여 진행하는 반복 알고리즘 분석에 적합하다.이 프레임워크는 몇 가지 중요한 최적화 문제 등급에 대해 필요한 반복 횟수에 대한 엄격한 최악의 경우 보증을 제공하기 위해 사용되어 왔다.

형식 설명

Consider the problem of minimizing some objective function ${\displaystyle f:{\mathcal {X}}\rightarrow \mathbb {R} }$ (over some domain ${\displaystyle {\mathcal {X}}}$), where ${\displaystyle f}$ is known to belong to some family of functions ${\displaystyle {\mathcal {F}}}$. Rather than direct$f{\displaystyle \mathcal{}}$ ${\$$mathcal$ ${f}$에 대한 액세스$,$ 알고리즘이 Oracle $O{\displaystyle \mathcal{}}$ ${\\$을$($를) 통해$$ f ${\$에 대한 정보를 얻을 수 있다고 가정하며$,$ 이 $정보$는 $X{\displaystyle \mathcal{}}$ ${\$에서 반환된다.$x{\displaystyle \mathbf{}}$ ${\$ 부근에 $있는$ ${\displaystyle \$mathbf {x} {x$\}$ {1} 알고리즘은 어떤 초기화 지점 ${\displaystyle {\mathrm{}}_{}}$ 1 ${\${$x}$$$$_{1$}에서 시작하여 Oracle이 제공한 정보를 사용하여 다음 지점 $x{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\\$now를 선택한다$.$다음 지점 $x{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$등을 선택하려면 on.

$구체적$인 예를 들면, X${\displaystyle }$= R ${\displaystyle {}^{}}$ ${\$ 디스플레이 스타일 ${\mathcal {X}=\mathb {R}^{d}($$d{\displaystyle }$ ${\displaystyled}$ -차원$$ $유클리드$ 공간)로, 어느 ${\displaystyle {}_{}}$에서 초기화되어$$재귀 방정식을 통해 $진행$되는 그라데이션 강하 알고리즘을 고려해보자$.$

${\displaystyle {\mathbf{x}}_{}}$ ${\displaystyle {}_{}}$+ ${\displaystyle 1_{}}$= ${\displaystyle {}_{}}$ ${\displaystyle {\mathbf{}}_{}}$ -${\displaystyle \mathrm{}\eta }$ ${\displaystyle f}$( ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle \mathbf {x} _{t+1}=\mathbf {x} _{t}-\eta \mathla$ f$(\mathbf$ {$x} _{t})$,

여기서 $\eta {\displaystyle }$ ${\displaystyle \eta }$은(는) 일부 단계 크기 매개 변수다.위의 프레임워크에서 이 ${\displaystyle {알고리즘}_{}}$을 모델링할 수 있으며, 여기서 x $t{\displaystyle {\mathbf{}}_{}}$ ${\$ ${\displaystyle {}_{}{mathbf\mathbf{}}_{}}$${x_{t}}$이($)$ 주어진 경우$,$ 오라클은 다음 $포인트{\displaystyle {\mathbf{}}_{}}$ x${\displaystyle {\mathbf{}t\mathbf{}}_{}}$ + ${\displaystyle {\mathbf{1}}_{}}$ + ${\$$${$x_{t$을(를) 선택할 때 사용되는 그라데이션 $\nabla {\displaystyle \mathrm{}f(}$$$∇)를 반환한다.

이 프레임워크에서는 기능 $제품군{\displaystyle \mathcal{}}$ F ${\$과$($ Oracle O {\$displaystyle$ {\$mathcal {O}$의 각 선택에 대해 몇 번의 Oracle 호출/이 필요한지 연구하여 일부 최적화 기준을 보장할 수 있다$($예를 들어 알고리즘이 포인트 $x{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$을 생성하는지 확인).$athbf {x} _{T}}$ such that ${\displaystyle f(\mathbf {x} _{T})-\inf _{\mathbf {x} \in {\mathcal {X}}}f(\mathbf {x} )\leq \epsilon }$ for some ${\displaystyle \epsilon >0}$).이는 이러한 최적화 문제의 종류에 따른 Oracle 복잡성으로 알려져 있다. 즉, 한 편으로는 성공하기 위해 이 많은 반복만 필요로 하는 알고리즘이 $있으며{\displaystyle \mathcal{}}$(F$${\$displaystyle {\mathcal$ {$F}$의 어떤 기능에 대해서는) 다른 한편에서는 어떤 알고리즘도 성공시킬 수 없다는 증거가 있다.$$$F{\displaystyle \mathcal{}}$ ${\$의 모든 기능에 대해 균일하게 적은 반복으로 진행$.$

Oracle 복잡성 접근법은 튜링 기계에 의존하여 알고리즘을 모델링하는 계산 복잡성 이론과는 본질적으로 다르며, 알고리즘의 입력(이 경우 함수 $f{\displaystyle }$ ${\displaystyle f$을 메모리에 있는 약간의 문자열로 나타내도록 요구한다.대신 알고리즘은 계산적으로 제약되지 않지만, 함수 $f{\displaystyle }$ ${\displaystyle f}$에 대한 접근은 제약된 것으로 가정한다$$.즉, Oracle 복잡성 결과는 계산 복잡성 이론에서와 같이 어떤 알고리즘이 아닌 특정 방식으로 기능에 접근하는 특정 알고리즘 제품군에만 적용된다는 것을 의미한다.한편, 그 결과는 실제에 사용되는 모든 반복 알고리즘은 아닐지라도 대부분에 적용되며, 입증되지 않은 가정에 의존하지 않으며, 알고리즘에 의해 사용되는 기능의 기하학적 구조와 정보의 유형이 실제 성능에 어떻게 영향을 미치는지에 대한 미묘한 이해로 이어진다.

공통 설정

Oracle 복잡성은 최적화 기준, 함수 $클래스{\displaystyle \mathcal{}}$ F ${\$및 Oracle $O{\displaystyle \mathcal{}}$ 유형 ${\$에 따라 상당히 다른 설정에 적용되었다$.$

최적화 기준의 면에서는 단연코 가장 공통적인 하나, 즉 몇몇 작은ϵ하기 위한∈ Xf())≤ ϵ{\displaystyle f(\mathbf{x}_{T})-\inf_{\mathbf{)}\in{{X\mathcal}}}f(\mathbf{x})\leq \epsilon};0{\displaystyle \epsilon>0}f()T)− inf를 만들고.near-optimal 점 일부 다른 c를 찾는 것이다riteri${\displaystyle a}$ 대략적인 역점 찾기( or${\displaystyle }$‖${\displaystyle \mathrm{}}$f${\displaystyle }$( ${\displaystyle x}$ ${\displaystyle {}_{}}$) ${\displaystyle \Vert }$ ${\displaystyle \Vert }$ { { { { { { {$$\$displaystyle \nabla f(\mathbf {x} _{T}\leq \epsilon })$ $$또는 대략적인 국소 미니마 찾기.

연구된$$ 기능 클래스 $F{\displaystyle \mathcal{}}$ ${\$ {\$mathcal {F}$이(가) 많다.일부 일반적인 선택에는 볼록 대 강 콘벡스 대 비 콘벡스 함수, 매끄러운 대 비 매끄러운 함수(예를 들어 그라데이션 또는 고차 파생상품의 립스키츠 특성의 관점에서), 경계 $치수{\displaystyle }$ d ${\displaysty d$ 무한 치수가 있는 도메인 및 서로 다른 프로의 두 개 이상의 함수의 합이 포함된다.퍼티,

Oracle $O{\displaystyle \mathcal{}}$ ${\$의 관점에서 $점{\displaystyle \mathbf{}}$ x ${\$$displaystyle \mathbf {x$에 있는 함수 값과 $파생{\displaystyle \mathbf{}}$ 모델$($예: 값, 값만, 값 및 기울기, 헤시안 등)을 반환한다고 가정하는 것이 일반적이다.때때로, 사람들은 더 복잡한 이야기를 공부한다.예를 들어, 확률적 신탁은 어떤 무작위 노이즈에 의해 손상된 값과 파생상품을 반환하며 확률적 최적화 방법을 연구하는데 유용하다.^[1]Another example is a proximal oracle, which given a point ${\displaystyle \mathbf {x} }$ and a parameter ${\displaystyle \gamma }$, returns the point ${\displaystyle \mathbf {y} }$ minimizing ${\displaystyle f(\mathbf {y} )+\gamma \ \mathbf {y} -\mathbf {x} \ ^{2}}$.

Oracle 복잡성 결과의 예

다음은 몇 가지 알려진 Oracle 복잡성 결과(숫자 상수까지)로, 일부 소규모 $ϵ{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle \epsilon }$에 대한$$ 최적화 오류 $ϵ{\displaystyle }$ ${\$$displaystyle \$$epsilon$ $},$ 도메인 R d ${\$을({\d) 통해 $d{\displaystyle }$ ${\displaystystyled}$이 고정되지$$ 않으며 중재될 수 있음상당히 크다(별도로 명시되지 않은 경우).We also assume that the initialization point ${\displaystyle \mathbf {x} _{1}}$ satisfies ${\displaystyle \ \mathbf {x} _{1}-\mathbf {x} ^{*}\ \leq B}$ for some parameter ${\displaystyle B}$, where ${\displaystyle \mathbf {x} ^{*}}$ is some global minimizer of the objective 함수

함수 클래스	오라클	Oracle 복잡성
볼록, $L{\displaystyle }$ ${\displaystyle L}$ -lipschitz$$, 고정 $치수{\displaystyle }$ d ${\displaystyle d}$	값 + 그라데이션	${\displaystyle d\log(LB/\epsilon )}$ [2]
$볼록스{\displaystyle }$, L ${\displaystyle L}$ - 리프시츠$$	값 + 그라데이션	${\displaystyle(LB/\epsilon )^{2}}$ [2]
볼록, $[\displaystyle \mu }$ - Lipschitz$$ 그라데이션	값 + 그라데이션	${\displaystyle {\sqrt {\mu B^{2}/\엡실론}}}$ [2]
${\displaystyle \lambda }$ ${\displaystyle \lambda }$ -강력$$ 볼록, $[\displaystyle \mu }$ -lipschitz$$ gradient	값 + 그라데이션	${\displaystyle {\sqrt {\mu /\lambda }}\cdot \log(B^{2}/\epsilon )}$ [2]
볼록스, $[\displaystyle \mu }$ - 리프시츠$$ 헤시안	값 + 구배 + 헤시안	${\displaystyle(\mu B^{3}/\epsilon )^{2/7}$ [3]
${\displaystyle \lambda }$ ${\displaystyle \lambda }$ -강력$$ 볼록, $[\displaystyle \mu }$ -Lipschitz$$ Hessian	값 + 구배 + 헤시안	${\displaystyle (\mu B/\lambda )^{2/7}+\log(\lambda ^{3}/\mu ^{2}\epsilon )}$ [3]

참조

추가 읽기

• Nemirovski, Arkadi; Yudin, David (1983). Problem Complexity and Method Efficiency in Optimization. John Wiley and Sons.

• Nemirovski, Arkadi (1994). "Information-Based Complexity of Convex Programming (lecture notes)" (PDF). Retrieved 14 June 2020.

• Bubeck, Sébastien (2015). "Convex Optimization: Algorithms and Complexity". Foundations and Trends in Machine Learning. 8 (3–4): 231–357. arXiv:1405.4980. doi:10.1561/2200000050.