학습을 위한 근위부 그라데이션 방법

학습에 대한 근위부 구배(앞쪽 뒤쪽으로 갈라짐) 방법은 정규화 페널티가 다를 수 없는 볼록 정규화 문제의 일반 등급에 대한 알고리즘을 연구하는 최적화 및 통계 학습 이론 연구 영역이다.그러한 예로는 양식의 ${\displaystyle {\ell \mathrm{}}_{}}$ 1${\${1} 정규화$$(라소라고도 함)가 있다.

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \ w\ _{1},\quad {\text{ where }}x_{i}\in \mathbb {R} ^{d}{\text{ and }}y_{i}\in \mathbb {R} .}$

근위부 그라데이션 방법은 통계학 학습 이론으로부터 정규화 문제를 특정 문제 적용에 맞춘 벌칙으로 풀 수 있는 일반적인 틀을 제공한다.^[1][2]이러한 맞춤형 벌칙은 (라소의 경우) 첨삭성이나 그룹 구조(집단 라소의 경우)와 같은 문제 해결의 특정 구조를 유도하는 데 도움이 될 수 있다.

관련 배경

근위부 그라데이션 방법은 폼의 볼록 최적화 문제를 해결하기 위한 다양한 시나리오에 적용할 수 있다.

${\displaystyle \min _{x\in {\mathcal {H}F(x)+R(x),}$

여기서 $F{\displaystyle }$ ${\displaystyle F}$은(는) 립스키츠 연속 그라데이션으로 볼록하고 구별이 가능하며, $R{\displaystyle }$ ${\displaystyle R}$은(는) 구별할 수 없는 볼록하고 낮은 반미콘틴 함수이며, $H{\displaystyle \mathcal{}}$ ${\$은 일부 세트(일반적으로 힐버트 공간)이다$$.일반적인 $x{\displaystyle }$ ${\displaystyle x}$ 기준은 볼록스에서$$ $\nabla {\displaystyle \mathrm{}}$(${\displaystyle F}$${\displaystyle +}$ R${\displaystyle }$) ${\displaystyle (x}$) =${\displaystyle 0}$ ${\displaystyle \nabla (f+R)(x$)=$0{\displaystyle }$$}$인 경우에만$$ F${\displaystyle }$(${\displaystyle x}$ ) +$(x)$를 최소화하고$$, 이제 다른 설정이 로 대체된다.

${\displaystyle 0\in \partial(F+R)(x),}$

여기서 $\partial {\displaystyle \mathrm{}}$ {\$displaystyle \partial$ \$varphi$}은(는$)$ 실제 값, $display$ {\displaystyle $\varphi$ }의 하위 차등을 의미한다$.$

Given a convex function ${\displaystyle \varphi :{\mathcal {H}}\to \mathbb {R} }$ an important operator to consider is its proximal operator ${\displaystyle \operatorname {prox} _{\varphi }:{\mathcal {H}}\to {\mathcal {H}}}$ defined by

${\displaystyle \operatorname {prox} _{\varphi }(u)=\operatorname {arg} \min _{x\in {\mathcal {H}\varphi(x)+{1}{1}{1}{2}}\ u-x\{2}^{2},}}}}}}}}}$

$\ell {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}} 표준의$$ 엄격한 볼록성 때문에 잘 정의된다.근위 연산자는 투영의 일반화로 볼 수 있다.^[1][3][4]$∗{\$은(는$$) ${\displaystyle \underset{}{문제}}$ ${\displaystyle \underset{}{최소}}$x${\displaystyle \underset{}{}xH}$F (${\displaystyle }$x )${\displaystyle }$+ ${\displaystyle R}$ ($$x ) {\$displaystyle \min _{x\in$ {\$mathcal {H}$F($x)+$R($x)}}$은(는)에 대한 최소제이기$$ 때문에 근접 연산자가 중요하다는 것을 알 수 있다.

${\displaystyle x^{*}=\operatorname {prox} _{\gamma R}\left(x^{*}-\gamma \nabla F(x^{*})\right),}$ where ${\displaystyle \gamma >0}$ is any positive real number.^[1]

모로 분해

근위부 그라데이션 방법과 관련된 한 가지 중요한 기법은 모라우 분해인데, 모라우 분해는 두 근접 연산자의 합으로 신분 연산자를 분해한다.^[1]Namely, let ${\displaystyle \varphi :{\mathcal {X}}\to \mathbb {R} }$ be a lower semicontinuous, convex function on a vector space ${\displaystyle {\mathcal {X}}}$. We define its Fenchel conjugate ${\displaystyle \varphi ^{*}:{\mathcal {X}}\to \mathbb {R} }$ to be the function

${\displaystyle \varphi ^{*}(u):=\sup _{x\in {\mathcal {X}\langle x,u\랑글 -\varphi (x)}$

Moreau 분해의 일반적인 형태는 어떤 $x{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle X\mathcal{}}$ ${\$ x$\in {\mathcal {X}$ 및 and >{\$displaystyle \gamma >0}$에 대해 다음과 같이 명시되어 있다.

${\displaystyle x=\barphi }(x)+_{\barphi }{\barphi ^{*}/\based }(x/\based }),}$

$γ$${\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle \$${\displaystyle \mathrm{cHB}}$ =1}의$$경우 x${\displaystyle }$= ${\displaystyle {\mathrm{프록시}}_{}}$ ${\displaystyle {\phi {}^{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {{}^{}}_{}}$(${\displaystyle x}$ ) ${\displaystyle x=\propername {prox}{\varphi }+\propername$ {$name} _{\varphi$ $^\{*\}\}\}.$^[1][3]모로 분해는 근접 연산자가 투영의 일반화라는 사실과 유사하게 벡터 공간의 통상적인 직교 분해의 일반화라고 볼 수 있다.^[1]

특정 상황에서는 ${\displaystyle \varphi }$함수 대신$$ $\phi {\displaystyle {}^{}}$ $∗{\$에 대한 근접 연산자를 계산하는 것이 더 쉬울 수 있으므로 Moreau 분해법을 적용할 수 있다.그룹 라소의 경우다.

라소 정규화

${\displaystyle {제곱\mathrm{}}_{}}$ 손실에 대한 정규화된 경험적 위험 최소화 문제와 problem 1 ${\$1} $정규화$ 페널티$$:

${\displaystyle \min \mathb {R}^{d}{\frac {1}{n1}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \{1}, {1},}$

${\displaystyle 여기}$서 $x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ R ${\displaystyle \text{d}{}^{}}$ y ${\displaystyle {}_{}}$ ${\displaystyle R\mathbb{}.}$ ${\displaystyle x_{i}\$in $\mathb$ {R$}$^{d$}{d$}{\$text{$ 및 }}$y_{i}\in \mathb {R}}}}}$ ${\displaystyle 1_{}}$ 1$${\displaystystylear $\$line $\{$1} 정규화$$ 문제를 laso라고 부르기도 한다.^[5]이러한 $\ell {\displaystyle {}_{}}$ ${\$정규화$$ 문제는 희박한 해결책을 유도하기 때문에 흥미롭다. 즉, 최소화 $문제$에 대한$$$$솔루션 {\$displaystyle w}$은(는) 0이 아닌 구성요소가 상대적으로 적다.라소는 비콘벡스 문제의 볼록한 이완이라고 볼 수 있다.

${\displaystyle \min \mathb {R}^{d}{\frac {1}{n1}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\angle )^{2}+\lambda \{0}}}}$

여기서 $\Vert {\displaystyle }$ ${\displaystyle {w\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ w${\$\$w\_{0}$는 vector$$ 0${\displaystyle$ \ell_{0} "norm"을 ${\displaystyle {의미}_{}}$하며$, 이$는 $$벡터 w {\displaystyle $w}$의 0이 아닌 항목 수입니다$.$ 희박한 솔루션은 결과의 해석성을 위한 학습 이론에 특히 관심이 많다. 희소수 해결책이 될 수 있다.요인^[5]

L₁ 근접 연산자를 위한 해결

단순성을 위해 $attention{\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle \lambda =1}.$ 문제를 해결하기 위해 주의를 제한한다$.$

${\displaystyle \min \mathb {R}^{d}{\frac {1}{n1}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\angle )^{2}+\ w\{1},}}$

we consider our objective function in two parts: a convex, differentiable term ${\displaystyle F(w)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}}$ and a convex function ${\displaystyle R(w)=\ w\ _{1}}$. Note that ${\dis$플레이 $스타일$ R$}$은(는) 엄격히 볼록한 것이 아니다.

$R{\displaystyle }$ ( w )${\displaystyle R(w)}$에 대한 근접 연산자를 계산해 봅시다$.$ 먼저 근접 연산자 ${\displaystyle {\mathrm{프록시}}_{}}$ R${\displaystyle {}_{}{prox}_{}}$ (${\displaystyle x}$) ${\displaystyle \operatorname {prox} _{R}(x)}$의 대체 특성을 다음과 같이 찾아 보십시오$$.

${\displaystyle {\begin{aligned}u=\operatorname {prox} _{R}(x)\iff &0\in \partial \left(R(u)+{\frac {1}{2}}\ u-x\ _{2}^{2}\right)\\\iff &0\in \partial R(u)+u-x\\\iff &x-u\in \partial R(u).\end{정렬}}}$

$R{\displaystyle (w}$)${\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle {w\mathrm{}}_{}}$ {$$1 {\$displaystyle R(w)=\w\{1}{1$}의 경우 $\partial {\displaystyle \mathrm{}}$ ${\displaystyle R(w}$) ${\displaystyle$ $\partial R(w$$)}:$$\partial {\displaystyle \mathrm{}}$ $)$의 항목 $i{\displaystyle }$ ${\displaystystyle$ $i}$을 정확하게 계산할$$ 수$$ 있다.

${\displaystyle \property w_{i} ={\\w_{case}1,&w_{i}<0\\\\\왼쪽[-1\오른쪽]&w_{i}=0.\end{case}}}$

Using the recharacterization of the proximity operator given above, for the choice of ${\displaystyle R(w)=\ w\ _{1}}$ and ${\displaystyle \gamma >0}$ we have that ${\displaystyle \operatorname {prox} _{\gamma R}(x)}$ is defined entrywise by

${\displaystyle \left(\operatorname {prox} _{\gamma R}(x)\right)_{i}={\begin{cases}x_{i}-\gamma ,&x_{i}>\gamma \\0,& x_{i} \leq \gamma \\x_{i}+\gamma ,&x_{i}<-\gamma ,\end{cases}}}$

소프트 임계값 연산자 S ${\displaystyle {\gamma }_{}x}$)${\displaystyle }$= ${\displaystyle {\mathrm{프록시}}_{}}$ ${\displaystyle {\gamma }_{}}$ ${\displaystyle {\Vert }_{}}$ 1 ${\displaystyle {{1\mathrm{}}_{}}_{}}$ 1${\displaystyle {{}_{}}_{}}$ ${\displaystyle )}$ {\$displaystyle S_${\$gamma$}(x$)=\operatorname$ {$prox}$_{\$gamma \cdot$\{1}($x$^[1][6]

고정 점 반복 방식

마지막으로 라소 문제를 해결하기 위해 앞에서 설명한 고정 점 방정식을 고려한다.

${\displaystyle x^{*}=\operatorname {prox} _{\gamma R}\왼쪽(x^{*}-\gamma \nabla F(x^{*})\오른쪽).}$

근접 연산자의 형태를 명시적으로 계산한 것을 감안하면, 표준 고정점 반복 절차를 정의할 수 있다.${\displaystyle {}^{}}$, $\$}\$in$ \mathb {R} $^{d$에서 초기 $w$를 수정하고 $k{\displaystyle }$= ${\displaystyle 1}$, ${\displaystyle 2}$,${\displaystyle }$…${\displaystyle k=1,2,\ldots }$이(가) 정의하십시오$$.

${\displaystyle w^{k+1}=S_{\gamma }\왼쪽(w^{k}-\gamma \nabla F\왼쪽(w^{k}\오른쪽)\오른쪽).}$

여기서 경험적 오류 용어 $F{\displaystyle (w}$) ${\displaystyle F(w)}$과(와) 정규화 $벌칙{\displaystyle }$ R${\displaystyle (w}$) ${\displaystyle R(w)}$ 사이의 유효 트레이드오프를 참고하십시오$.$이 고정점 방법은 객관적인 기능을 구성하는 두 가지 다른 볼록함수의 효과를 구배 강하 단계(${\displaystyle {wk}^{}}$ -${\displaystyle {}^{}\gamma \mathrm{}F}$ ${\displaystyle (w^{}}$ k$){{k$}-\$displaystyle$ w$^-\gamma \nabla$ F$\left(w^{k}\right)$와 부드러운 임계값 설정 단계$($$S{\displaystyle {}_{}}$ ${\$ $$$}).$

이 고정된 포인트 체계의 수렴은^[1][6] 문헌에 잘 연구되어 있으며, 단계 크기 ${\displaystyle \gamma$}와$$ 손실 함수(여기서 취한 제곱 손실 등)의 적절한 선택에 따라 보장된다.가속화된 방법은 $1983년$에 네스테로프가 F ${\displaystyle F}$에 대한 일정한 규칙성 가정 하에서 수렴 속도를 향상시키는 방법으로 도입되었다$.$^[7] 그러한 방법은 예년에 광범위하게 연구되어 왔다.^[8]일부 정규화 $용어{\displaystyle }$ R {\$displaystyle R}$에 대해 근접 연산자를 명시적으로 계산할 수 없는 더 일반적인 학습 문제의 경우$,$ 이러한 고정 포인트 체계는 구배와 근접 연산자 모두에 근사치를 사용하여 수행할 수 있다.^[4][9]

현실적 고려

지난 10년 동안 볼록 최적화 기법에서는 통계학 학습 이론에서 근위부 그라데이션 방법의 적용에 영향을 미친 수많은 발전이 있었다.여기서는 이러한 방법의 실제 알고리즘 성능을 크게 개선할 수 있는 몇 가지 중요한 주제를 조사한다.^[2][10]

적응형 스텝 크기

고정 점 반복 방식에서

${\displaystyle w^{k+1}=\operatorname {prox} _{\gamma R}\left(w^{k}-\gamma \nabla F\left(w^{k}\right)\right),}$

일정한 $[\displaystyle \gamma }}$이(가) 아닌$$ 가변 스텝 크기 $[\$을 허용할 수 있다$.$ 문헌 전반에 걸쳐 수많은 적응형 스텝 크기 체계가 제안되어 왔다.^{[1][4][11][12]}이러한 제도를^[2][13] 적용하면 고정점 수렴에 필요한 반복 횟수가 상당히 개선될 수 있음을 알 수 있다.

탄성망(혼합규범 정규화)

탄력적인 순정규격화는 순수 $\ell {\displaystyle {}_{}}$ ${\$} 정규화에$$ 대한 대안을 제공한다.라소(lasso, ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$의 정규화 문제에는 벌칙어 $R{\displaystyle }$ (${\displaystyle }$w )${\displaystyle }$=${\displaystyle \Vert }$ w (${\displaystyle {w\mathrm{}}_{}}$ ) = ${\displaystyle {}_{}}$1 {\$displaystyle$ R($w)=\$ w$\ _{$1}가 포함되는데$,$ 이는 엄격히 볼록하지 않는다.따라서 $F{\displaystyle }$ ${\displaystyle F}$이${\displaystyle (가)}$ ${\displaystyle \mathrm{일부}}$ 경험적 손실 함수인$$ ${\displaystyle \underset{}{}}$ (w ) + R (w ) , {\$displaystyle \min _{w}F(w)+R(w$)에 대한 해결책은 고유할 필요가 없다.이는$$ ${\displaystyle {2\mathrm{}}_{}}$ 2$${\$displaystyle \ell$ _${2$} 정규화 벌칙과 같이 엄격하게 볼록한 용어를 추가로 포함하면 피하는 경우가 많다.예를 들어 문제를 고려할 수 있다.

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \left((1-\mu )\ w\ _{1}+\mu \ w\ _{2}^{2}\right),}$

0<>로 여기가 어디고 y는 나는 R.{\displaystyle x_{나는}\in \mathbb{R}^{d}{\text{과}∈ Rd∈ x}y_{나는}\in\mathbb{R}.};μ ≤ 1{0<, \mu 1\leq\displaystyle} 페널티 용어 λ((1− μ)‖ w‖ 1+μ ‖ w‖ 22){\displaystyle \lambda \left((1-\mu)\ w\_{1}+\mu)w\ _{2}^{2}\right)}이 있다. 엄격한ly colfx, 따라서 최소화 문제는 이제 독특한 해결책을 받아들인다.충분히 작은 > ${\displaystyle \mu >0}$에 대해 추가 벌칙 용어 $\mu {\displaystyle }$ w${\displaystyle }$μ w μ w ${\displaystyle \mu }$ w μ w${\displaystyle {\mathrm{}}_{}^{}}$ ${\displaystyle {2\mathrm{}}_{}^{}}$ ${\$\$w\ _{2}^{2}^{$2}}가 전제조건으로 작용하며$$ 용액의 첨가에 악영향을 미치지 않으면서 정합성을 실질적으로 개선할 수 있다는 것이 관찰되었다^[2][14]

그룹 구조 이용

근위부 그라데이션 방법은 통계학 학습 이론의 다양한 문제에 적용할 수 있는 일반적인 체계를 제공한다.학습의 어떤 문제들은 종종 선행으로 알려진 추가적인 구조를 가진 데이터를 포함할 수 있다.지난 몇 년 동안 다른 애플리케이션에 맞춤화된 방법을 제공하기 위해 그룹 구조에 대한 정보를 통합하는 새로운 발전이 있었다.여기서 우리는 몇 가지 그러한 방법을 조사한다.

그룹 라소

그룹 라소는 특징을 분리 블록으로 묶을 때 라소 방식을 일반화한 것이다.^[15]기능이 블록${\displaystyle }${${\displaystyle {w\mathrm{}}_{}}$ 1,${\displaystyle }$… ,${\displaystyle }$w ${\displaystyle G_{}}$ ${\displaystyle \{w_{1},\ldots ,w_{G}\}}$로 그룹화된다고 가정합시다$.$ 여기서는 정규화 패널티로 간주한다.

${\displaystyle R(w)=\sum _{g=1}^{G}\ w_{g}\ _{2}}$

${\displaystyle {다른\mathrm{}}_{}}$ 그룹에 대한 해당 형상 벡터에 대한 on$$ 2 ${\$2}} $표준$의 합이다.위와 유사한 근접 연산자 분석을 사용하여 이 벌칙에 대한 근접 연산자를 계산할 수 있다.라소 페널티에서 각 개별 구성 요소에 소프트 임계값인 근접 연산자가 있는 경우, 그룹 라소의 근접 연산자는 각 그룹에 소프트 임계값이다.${\displaystyle w_{}}$ g ${\$ 그룹의 경우${\displaystyle }proximity$( ${\displaystyle \underset{}{\overset{}{g}}}$ ${\displaystyle g\underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{\mathrm{G}}}}$ ${\displaystyle {}_{}{}_{}}$ w ${\displaystyle w_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ )$${\$displaystyle \lambda \gamma \left(\sum _{g=1}^{G}\{2$}\rig}\ $_{2}\rig})$의 근접 연산자가 제공됨$$

${\displaystyle {\widetilde {S}}_{\lambda \gamma }(w_{g})={\begin{cases}w_{g}-\lambda \gamma {\frac {w_{g}}{\ w_{g}\ _{2}}},&\ w_{g}\ _{2}>\lambda \gamma \\0,&\ w_{g}\ _{2}\leq \lambda \gamma \end{cases}}}$

여기서 $w{\displaystyle {}_{}}$ ${\displaystyle g_{}}$ ${\$는 $g{\displaystyle }$ ${\displaystyle g}$ th$$ 그룹이다$$.

라소와 대조적으로, 그룹 라소에 대한 근접 연산자의 파생은 모로 분해에 의존한다.여기서 그룹 라소 페널티 공의 근접 연산자는 이중 규범의 공에 투영하는 것이 된다.^[2]

기타그룹구조

형상이 분리 블록으로 그룹화되는 그룹 라소 문제와 대조적으로 그룹화된 형상이 중복되거나 중첩된 구조를 갖는 경우가 있을 수 있다.이러한 집단 라소의 일반화는 다양한 맥락에서 고려되어 왔다.^{[16][17][18][19]}겹치는 그룹의 경우 공통적인 접근방식은 중첩을 설명하기 위해 잠재 변수를 도입하는 잠복 그룹 라소라고 알려져 있다.^[20][21]내포된 그룹 구조는 계층 구조 예측에서 그리고 지시된 반복 그래프로 연구된다.^[18]

참고 항목

• 볼록해석
• 근위부 그라데이션법
• 정규화
• 통계학습이론

참조