학습 가능한 함수 클래스

통계 학습 이론에서, 학습 가능한 함수 클래스는 모든 확률 분포에 걸쳐 균일하게 예상되는 위험을 점근적으로 최소화하기 위해 알고리즘이 고안될 수 있는 함수의 집합이다.학습 가능한 클래스의 개념은 기계 학습의 정규화와 밀접하게 관련되어 있으며 특정 학습 알고리즘에 대한 많은 샘플 정당성을 제공합니다.

정의.

배경

$\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ X × $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ { ( $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ x , $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ ) $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ {{ $displaystyle \Omega$ = $scapmathcal {X}}\times {mathcal {Y$ }={( $x$ $,y)\}}}$ 을 $\Omega ={\mathcal {X}}\times {\mathcal {Y}}=\{(x,y)\}$ 샘플 공간으로 합니다. $y$ 서y {\ $displaystyle$ y}는 $y$ $x$ 공변량 $($ 인)입니다. $=$ {{ $mathcal {X}}\mapsto {Y}\}$ 는 ${\mathcal {F}}=\{f:{\mathcal {X}}\mapsto {\mathcal {Y}}\}$ x $(style$ x $)$ 를 $x$ y $(style$ y $y$ 에 $x$ 하기 위해 고려 중인 매핑(함수)의 $L:{\mathcal {Y}}\times {\mathcal {Y}}\mapsto \mathbb {R}$ 입니다 $L:{\mathcal {Y}}\times {\mathcal {Y}}\mapsto \mathbb {R}$ $L:{\mathcal {Y}}\times {\mathcal {Y}}\mapsto \mathbb {R}$ Y × $L:{\mathcal {Y}}\times {\mathcal {Y}}\mapsto \mathbb {R}$ R { $display style$ L : {\ $mathcal {Y} \times$ \ $mathcal$ {Y}\ $style {\$ style}은 $(\$ mathcal ${Y$ })에 $L:{\mathcal {Y}}\times {\mathcal {Y}}\mapsto \mathbb {R}$ 미리 주어집니다 $.$ $\Omega$ \ $displaystyle$ \ $Omega$ $\Omega$ 의 확률 $P(x,y)$ P ( $P(x,y)$ , $P(x,y)$ ){ $displaystyle$ P ( $x$ , y ){ x , y $P(x,y)$ }이 $P(x,y)$ 주어진 경우 예상되는 $I_{P}(f)$ I $I_{P}(f)$ ( $I_{P}(f)$ $){$ p $}$ 는 다음과 $I_{P}(f)$ 같이 정의한다.

\displaystyle I_{P}(f)=\int L(f(x),y)dP(x,y)}

통계학 학습의 일반적인 목표는 예상 위험을 최소화하는 F $(\$ 의 ${\mathcal {F}}$ 함수를 찾는 것이다.즉, 다음 ^[1]문제에 대한 해결책을 찾는 것입니다.

{f}=\display\min_{f\in\mathcal {F}}I_{P}(f)

그러나 실제로는 $분포$ P $(\style$ P $)$ 를 $P$ 알 수 없으며, 어떤 학습 태스크도 한정된 샘플만을 기반으로 할 수 있습니다.따라서 우리는 대신 경험적 위험을 점근적으로 최소화하는 알고리즘을 찾는다. 즉, 다음을 만족하는 일련의 함수 $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ ^ $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ n $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ { $displaystyle \{\hat {f}_{n}\}_{n=1}^{\infty$ }}}을 $\{{\hat {f}}_{n}\}_{n=1}^{\infty }$ 찾는다.

\displaystyle \lim _{n\rightarrow \infty }\mathbb {P}(I_{P}({\hat {f}_{n})-\in {f\in\mathcal {F}})I_{P}(f)>\epsilon}=0}

이러한 시퀀스를 찾는 일반적인 알고리즘 중 하나는 경험적 위험 최소화이다.

학습 가능한 함수 클래스

우리는 모든 확률 분포에 대해 수렴이 균일하도록 요구함으로써 위의 방정식에서 주어진 조건을 더 강하게 만들 수 있다.즉, 다음과 같습니다.

\displaystyle \lim _{n\rightarrow \infty }\sup _{P}\mathbb {P}(I_{P}({\hat {f}_{n})-\in {f}{p}(f)>\epsilon}=0}

(1)

보다 엄격한 요건의 배경에는 다음과 같은 직관이 있습니다.실제에서는 실제 $분포$ P $(x$ $, y$ 에 $P(x,y)$ 시퀀스 $\{{\hat {f}}_{n}\}$ { $\{{\hat {f}}_{n}\}$ ^ $\{{\hat {f}}_{n}\}$ $}$ {\ $displaystyle$ $\{\hat {f}_{n}\}}$ 이 $\{{\hat {f}}_{n}\}$ 예상 리스크 최소화에 수렴하는 속도는 매우 다를 수 있습니다.항상 알 수 없기 때문에 모든 경우에 잘 작동하는 시퀀스를 선택합니다.

그러나 무상급식 정리에 따라 F $(\$ 가 ${\mathcal {F}}$ 너무 ${\mathcal {F}}$ 하면 (1)을 만족하는 수열은 존재하지 않는다.즉, (1)이 의미 있는 요건이 되려면 F ${\mathcal {F}}$ {\ $displaystyle {\mathcal$ {F $}}$ 에 ${\mathcal {F}}$ 너무 많은 함수가 포함되도록 주의해야 합니다.구체적으로는 (1)을 만족시키는 시퀀스 $\{{\hat {f}}_{n}\}$ ^ $\{{\hat {f}}_{n}\}$ $}$ { $displaystyle \{\hat {f}_{n}\}}$ 의 $\{{\hat {f}}_{n}\}$ 존재를 보증하는 함수 클래스를 학습 가능한 ^[1]클래스라고 합니다.

적어도 감독된 분류 및 회귀 문제의 경우, 함수 클래스가 학습 가능한 경우 경험적 위험 최소화는 자동으로 (1)을 ^[2]충족한다는 점에 주목할 필요가 있다.따라서 이러한 설정에서는 (1)에 의해 야기되는 문제가 해결 가능하다는 것을 알 수 있을 뿐만 아니라 해결책을 제시하는 알고리즘도 즉시 도입됩니다.

해석

$x$ 와 $y$ $x$ 의 $y$ 한 $x$ 관계가 $y\sim f^{*}(x)$ ~ $y\sim f^{*}(x)$ $y\sim f^{*}(x)$ ( $y\sim f^{*}(x)$ x $)$ 인 경우, 적절한 손실 함수를 선택하면 f $f^{*}$ ( \ $display style$ f $^$ { * $y\sim f^{*}(x)$ } )는 $f^{*}$ 가능한 모든 함수에서 예상되는 손실을 최소화하는 것으로 항상 표현할 수 있습니다.그것은,

f^{*}=\display\min_{f\in\mathcal {F}^{*}}I_{P}(f)

${\mathcal {F}}^{*}$ 에서는 X를 ${\mathcal {X}}$ Y $(\$ $Y$ ${\mathcal {Y}}$ 에 ${\mathcal {X}}$ ${\mathcal {X}}$ 모든 함수의 집합이 F $(\$ $displaystyle$ { $F$ $}^{*})$ 로 합니다 $.$ f ${\mathcal {F}}^{*}$ (\ $displaystyle$ f $^{*})$ 는 $f^{*}$ 실제 데이터 생성 메커니즘으로 해석할 수 있습니다.단, 무상급식 정리에 따르면 실제로는 한정된 샘플로는 F ${\({$ 에 대해 예상되는 위험 최소화 장치를 검색할 수 없습니다. 따라서 우리는 종종 F $display({$ displaystyle {F ${\mathcal {F}}^{*}$ ${\mathcal {F}}$ display $({displaystyle$ { $F$ 의 서브셋을 고려하는 경우가 많습니다.검색 대상입니다.이를 통해 f ${\mathcal {F}}$ ${\$ {\ $displaystyle$ f $^{*}}$ 가 $f^{*}$ F {\ $display\mathcal {F$ 의 ${\mathcal {F}}$ 가 아닐 수 $f^{*}$ . 이 트레이드오프는 수학적으로 다음과 같이 표현될 수 있습니다.

I_{P}({\hat {f}_{n})-\inf _{f\in {mathcal {F}^{*}}I_{P}(f)=\underbrace {I_{P}({\hat {f}_{n})-\inf_{f}in {F}(f)_{(a)}+\underbrace {in {f}{F}-INF}I_{P}(f)} _{(b)}

(2)

상기 분해에서 파트 $(b)$ ( $)$ { $displaystyle (b)}$ 은 $(b)$ 데이터에 의존하지 않고 비파괴적이다.이는 우리의 가정( $\$ $displaystyle\mathcal {F}^*})$ 이 얼마나 진실과 동떨어져 있는지를 나타냅니다 $).$ $너무$ 강한 가정( $\$ 을 ${\mathcal {F}}$ 하면 0보다 훨씬 커집니다(F\displaystyle $(b)$ 는 $(b)$ 너무 작습니다.한편, F $($ 스타일 ${$ ${\mathcal {F}}$ })에 충분한 제한을 두지 않으면 F(디스플레이 스타일 { $F})$ 를 ${\mathcal {F}}$ 학습할 수 없게 되고 $(a)$ 파트( $a)$ 는 확률적으로 $(a)$ 0으로 수렴되지 않습니다.이것은 통계학 및 기계학습 문헌에서 잘 알려진 과적합 문제이다.

예:티코노프 정규화

학습 가능한 클래스가 사용되는 좋은 예는 커널 Hilbert 공간(RKHS)을 재생하는 이른바 Tikhonov 정규화입니다.구체적으로는 F $∗$ { $display$ style { ${\mathcal {F^{*}}}$ F $^$ { * } } ${\mathcal {F^{*}}}$ RKHS, ${\$ 2 $||\cdot ||_{2}$ { $display$ style \ $cdot$ _ { $||\cdot ||_{2}$ } $given$ the the the the $the$ { $displaystyle$ { $F^$ { * } } ${\mathcal {F^{*}}}$ ${\mathcal {F^{*}}}$ 。It is shown in ^[3] that ${\mathcal {F}}=\{f: f _{2}\leq \gamma \}$ is a learnable class for any finite, positive $\gamma$ . The empirical minimization algorithm to the dual form of this problem is

\displaystyle \min _{f\in {mathcal {F}^*}\left\{sum _{i=1}^{n}L(f(x_{i},y_{i})+\lambda f _{2}\right\}

이것은 티코노프에^[4] 의해 잘못된 문제를 해결하기 위해 처음 도입되었다.많은 통계적 학습 알고리즘은 그러한 형태로 표현될 수 있다(예: 잘 알려진 능선 회귀).

(2)의 ( $)$ { $displaystyle (a)}$ 과 $(a)$ $(b)$ ( $)$ { $displaystyle (b)}$ 사이의 $(b)$ 트레이드오프는 RKHS에서의 Tikhonov 정규화와 함께 기하학적으로 더 직관적이다.기본적으로 F ${\mathcal {F^{*}}}$ {\({ $displaystyle$ ${\mathcal$ ${$ $F$ 의 볼인 { $F$ $displaystyle$ ${F^{*})})$ 의 ${\mathcal {F^{*}}}$ $\{{\mathcal {F}}_{\gamma }\}$ 시퀀스를 생각할 수 있습니다. $【{$ $display$ style $}$ 】【 displaystyle $】$ 가 $\gamma$ 커짐에 ${\mathcal {F}}_{\gamma }$ ${\mathcal {F}}_{\gamma }$ $(b)$ ${\mathcal {F}}_{\gamma }$ 】({ $displaystyle$ ${$ $F}_{\gamma$ })는 ${\mathcal {F}}_{\gamma }$ 공간 전체에 가까워지고, $(b)$ b】({ $displaystyle (b$ )】는 $(b)$ 작아질 가능성이 높아집니다.그러나 ( $)\displaystyle (a$ 의 $(a)$ 컨버전스 속도도 낮아집니다.유한 샘플 설정에서 최적의 $\gamma$ (\ $style \gamma)$ 를 $\gamma$ 선택하는 방법은 일반적으로 교차 검증을 통해 이루어집니다.

경험적 공정 이론과의 관계

(2)의 파트 $(a)$ ( $a)$ { $displaystyle$ $(a)}$ 은 $(a)$ 통계의 경험적 과정 이론과 밀접하게 관련되어 있다. 여기서 경험적 위험 $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ { $= 1$ $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ L ( $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ , $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ ( $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ ) $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ F $}$ { $displaystyle$ \ { \ $sum$ _ { $i$ }^{ $n } L$ ( y $_ if$ } ) , $x$ _ { i $\{\sum _{i=1}^{n}L(y_{i},f(x_{i})),f\in {\mathcal {F}}\}$ } ) , { $f$ 。이 필드에서는 확률적 수렴을 만족하는 함수 ${\mathcal {F}}$ F(\ $style\mathcal {F})$ 를 ${\mathcal {F}}$ 표시한다.

\displaystyle \sup _{P}\mathbb {E} \sup _{f\in {mathcal {F}\sum _{i=1}^{n}L(y_{i},f(x_{i})-I_{P}(f)=0}

(3)

균일한 글리벤코-칸텔리 클래스로 알려져 있습니다.특정 규칙성 조건에서는 학습 가능한 클래스와 균일하게 글리벤코-칸텔리 클래스가 ^[1]동등하다는 것이 입증되었다.통계자료에서 ( $a)$ {displaystyle $(a)}$ 과 $(a)$ $)$ { $displaystyle (b)}$ 사이의 $(b)$ 상호작용은 종종 편향-변형 트레이드오프라고 한다.

그러나 저자들은 학습성이 균일한 수렴과 동등하지 않은 일반 학습 설정에 대한 확률적 볼록 최적화의 예를 제시하였다.

레퍼런스

^ ^a ^b ^c Vladimir N. Vapnik (17 April 2013). The Nature of Statistical Learning Theory. Springer Science & Business Media. ISBN 978-1-4757-2440-0.
^ ^a ^b "Learnability, stability and uniform convergence". The Journal of Machine Learning Research.
^ "Learnability in Hilbert spaces with reproducing kernels". Journal of Complexity.
^ Andreĭ Nikolaevich Tikhonov; Vasiliĭ I︠A︡kovlevich Arsenin (1977). Solutions of ill-posed problems. Winston. ISBN 978-0-470-99124-4.
^ A.W. van der vaart; Jon Wellner (9 March 2013). Weak Convergence and Empirical Processes: With Applications to Statistics. Springer Science & Business Media. pp. 116–. ISBN 978-1-4757-2545-2.

[Vapnik2013-1] Vladimir N. Vapnik (17 April 2013). The Nature of Statistical Learning Theory. Springer Science & Business Media. ISBN 978-1-4757-2440-0.

[:0-2] "Learnability, stability and uniform convergence". The Journal of Machine Learning Research.

[3] "Learnability in Hilbert spaces with reproducing kernels". Journal of Complexity.

[TikhonovArsenin1977-4] Andreĭ Nikolaevich Tikhonov; Vasiliĭ I︠A︡kovlevich Arsenin (1977). Solutions of ill-posed problems. Winston. ISBN 978-0-470-99124-4.

[vaartWellner2013-5] A.W. van der vaart; Jon Wellner (9 March 2013). Weak Convergence and Empirical Processes: With Applications to Statistics. Springer Science & Business Media. pp. 116–. ISBN 978-1-4757-2545-2.

[1]

[2]

[3]

[4]

Search

학습 가능한 함수 클래스

네임스페이스

더

목차

정의.

배경

학습 가능한 함수 클래스

해석

예:티코노프 정규화

경험적 공정 이론과의 관계

레퍼런스