커널 힐버트 공간 재현

함수 분석(수학의 한 분야)에서 재현 커널 힐버트 공간(RKHS)은 점 평가가 연속적인 선형 함수인 함수의 힐버트 공간이다.Roughly speaking, this means that if two functions ${\displaystyle f}$ and ${\displaystyle g}$ in the RKHS are close in norm, i.e., ${\displaystyle \ f-g\ }$ is small, then ${\displaystyle f}$ and ${\displaystyle g}$ are also pointwise close, i.e., ${\displaystyle f(x)$$-g(x) }$은(는) 모든 $x{\displaystyle }$ ${\displaystyle x}$에 대해 작다$$$.$그 반대는 사실일 필요가 없다.null

RKHS가 아닌 함수의 힐버트 공간을 구축하는 것은 전적으로 간단하지 않다.^[1]그러나 몇 가지 예가 발견되었다.^[2][3]null

참고로 기능(및 그에 따르지 않RKHSs)의 L2공간이 아닌 힐베르트 공간이 아니라 기능의 동등 클래스의 힐베르트 공간==1Q{\displaystyle g())=1_{\mathbb{Q}())}0{\displaystyle f())=0}과 g(예를 들어, 그 기능 f{f\displaystyle}과 입수{\displaystyle g}f에 의해 정의되())}.$$ (L²)로 동일하다.단, 대역제한 함수의² 공간과 같이 표준이 L-orm인 RKHS가 있다(아래 예 참조).null

RKHS는 함수가 정의된 세트의$$ $x{\displaystyle }$ ${\displaystyle$ x$}$에 대해 "$x{\displaystyle }$ ${\displaystyle x}$에서 평가$"$는 커널에 의해 결정된 함수로 내부 제품을 취함으로써 수행될 수 있다는 점에서 공간의 모든 함수를 재현하는 커널과 연관된다.그러한 재생성 커널은 모든 평가 기능이 연속적인 경우에만 존재한다.null

재생성 커널은 1907년 스타니스와프 자렘바의 조화 및 생화 함수의 경계 값 문제에 관한 연구에서 처음 소개되었다.제임스 머서는 적분 방정식 이론에서 재생 특성을 만족시키는 기능을 동시에 검토했다.재생 알맹이 아이디어는 가보르 스제기, 스테판 버그만, 살로몬 보치너의 논문에 실릴 때까지 20년 가까이 손대지 않았다.이 주제는 결국 1950년대 초 나흐만 아론자인과 스테판 버그먼에 의해 체계적으로 전개되었다.^[4]null

이 공간들은 복잡한 분석, 조화 분석, 양자역학을 포함한 넓은 응용을 가지고 있다.경험적 위험 기능을 최소화하는 RKHS의 모든 기능을 훈련 지점에서 평가한 커널 함수의 선형 조합으로 작성할 수 있다는 유명한 대표자 정리 때문에 커널 힐버트 공간을 재현하는 것은 통계 학습 이론 분야에서 특히 중요하다.이는 경험적 위험 최소화 문제를 무한 치수에서 유한 치수 최적화 문제로 효과적으로 단순화하므로 실질적으로 유용한 결과물이다.null

이해하기 쉽도록, 우리는 실제 가치의 힐버트 공간에 대한 틀을 제공한다.이 이론은 복잡한 가치 함수의 공간으로 쉽게 확장될 수 있으므로 분석 함수의 공간인 커널 힐버트 공간을 재현하는 많은 중요한 예를 포함한다.^[5]null

정의

$X{\displaystyle }$ ${\displaystyle X}$을(를) 임의 집합으로 $하고$ H ${\displaystyle$ H$}$을(를) $X{\displaystyle }$ ${\displaystyle X}$의 실제 값 함수의 Hilbert 공간으로 하며$,$ 포인트 추가 및 포인트 스칼라 곱을 장착한다.함수 $H{\displaystyle }$ ${\displaystyle H}$의 Hilbert 공간에 대한 평가 기능은 각 $함수$를$$점 x {\$displaystyle$ x$}$에서 평가하는 선형 기능이다$.$

${\displaystyle L_{x}f\mapsto f(x){\text{{}}}\forall f\in H.}$

We say that H is a reproducing kernel Hilbert space if, for all ${\displaystyle x}$ in ${\displaystyle X}$, ${\displaystyle L_{x}}$ is continuous at any ${\displaystyle f}$ in ${\displaystyle H}$ or, equivalently, if ${\displaystyle L_{x}}$ is a bounded operator on ${\displaystyle H$$\}\},$ 즉, 과 같은 M > ${\displaystyle M_{x}>0}$이(가) 있다.

${\displaystyle L_{x}(f) :=f(x) \leq M_{x}\,\\_{H}\{H}\qquad \f\in.,}$

(1)

$\underset{}{}{}_{}$ << ${\displaystyle M_{x}<\infully$ }은$($는) $모든{\displaystyle }$ x ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle x\in$ X$}$에 대해 가정하지만$,$ $\underset{}{supp}$ $\underset{}{x}$ =${}_{}\mathrm{\infty }$ ${\textyle \sup _{$x}$M_{x}=\infuly$}일 수도 있다$.$

속성(1)은 도메인의 모든 지점에서 내부$$ 제품의 존재와 $H{\displaystyle }$ ${\displaystyle H}$의 모든 기능에 대한 평가를 모두 보장하는 가장 약한 조건이지만, 실제로는 쉬운 적용에 도움이 되지 않는다.RKHS의 보다 직관적인 정의는 이 속성이 $H{\displaystyle }$ ${\displaystyle H}$에서 $기능{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ x$${\$displaystyle K_{x}}$를 가진$$ f ${\displaystyle f}$의 내부 제품을 취함으로써 평가 기능을 나타낼 수 있음을 보장할 수 있다는 것을 관찰함으로써 얻을 수 있다$.$ 이 함수는 이른바 재생산 커널이다.RKHS가 이름을$$ 딴 Hilbert $공간{\displaystyle }$ H ${\displaystyle H}$좀 더 공식적으로, Riesz 표현 정리는 $X{\displaystyle }$ ${\$$displaystyle$ X$}$의 모든$$$$ $x{\displaystyle }$ ${\displaystyle x}$에 대해 재현 $속성$을 $가진$ 고유한$$ 요소 $K{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ${\$$displaystyle$ $K_{x}$가 존재함을$$ 암시한다.

${\displaystyle f(x)=L_{x}(f)=\langle f,\K_{x}\angle _{H}\quad \f\in.}$

(2)

Since ${\displaystyle K_{x}}$ is itself a function defined on ${\displaystyle X}$ with values in the field ${\displaystyle \mathbb {R} }$ (or ${\displaystyle \mathbb {C} }$ in the case of complex Hilbert spaces) and as ${\displaystyle K_{x}}$ is in ${\displaystyle H}$ we have that

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangele _{H}}}$

여기서 K ${\displaystyle y_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle H}$ ${\displaystyle K_{y}\in H}$는 ${\displaystyle L_{}}$ y ${\$$y$}}과$($와$$) 연관된 H ${\displaystyle H}$의 요소다.

이를 통해 $H{\displaystyle }$ ${\displaystyle H}$의 재현 커널을 K${\displaystyle }$: ${\displaystyle X}$ ${\displaystyle \times }$ ${\displaystyle X\mathbb{}}$→ R ${\$ $함수$로서 정의할$$$$ 수 있다.

${\displaystyle K(x,y)=\langle K_{x},\K_{y}\angle _{H}.}$

이 정의에서 $K{\displaystyle }$: ${\displaystyle X}$ ${\displaystyle \times }$ ${\displaystyle X\mathbb{}}$→ R ${\$ X$\time$ X\$to \mathb {R}($또는 복잡한 경우 $C$ ${\$이 대칭(resp. condition symmetric)이고 양정확하다는 것을 쉽게 알 수 있다.

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\ \sum _{i=1}^{n}c_{i}K_{x_{i}}\right\ _{H}^{2}\geq 0}$

어떤 n∈ N, x1,… 들어,)n∈ X및 c1,…, cn∈ R.{\displaystylen\in \mathbb{N},x_{1},\dots ,x_{n}\in X,{\text{과}}.}반대 이것에 대하[6]그 Moore–Aronszajn 정리(아래 참조)일종:함수 K{K\displaystyle}가 이런 조건들이 그때 th,c_{n}\in \mathbb{R}c_{1},\dots.의 전에$X{\displaystyle }$ ${\displaystyle X}$에 있는 함수의 Hilbert 공간이며, 이 공간은$$ 재생성 커널이다.null

예

밴드제한 연속함수 $H{\displaystyle }$ ${\displaystyle H}$의 공간은 현재 우리가 알 수 있듯이$$ RKHS이다.공식적으로 일부 컷오프 주파수 ${\displaystyle$ 0$>>$을 수정하고 힐버트 공간을 정의하십시오.

${\displaystyle H=\{f\in C(\mathb {R})\mid \operatorname {supply}(F)\subset [-a,a]\}}$

where ${\displaystyle C(\mathbb {R} )}$ is the set of continuous functions, and ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}dt}$ is the Fourier transform of ${\displaystyle f}$. As the inner product of this Hilbert space, we use ${\displaystyle ⟨f,g{⟩}_{{}^{}}}$${\displaystyle {L^{}}_{}}$ ${\displaystyle {{2\mathrm{}}^{}}_{}}$= ${\displaystyle {}_{}^{}}$ -${\displaystyle {}_{\mathrm{}}^{}}$ ∞ ${\displaystyle {}_{}^{}}$(${\displaystyle x}$) ${\displaystyle \cdot }$ ${\displaystyle g\stackrel{}{}}$ ${\displaystyle \stackrel{}{(x}}$)${\displaystyle \stackrel{}{}}$⋅ g (x ) d ${\displaystyle x}$ $\\langle$ f$,g\langle _{L$^{2$}}=\int_{-\\infit }^{-\f(x)\cdot {\overline {g(x$

푸리에 역전 정리로부터, 우리는

${\displaystyle f(x)={\frac {1}{2\pi }\int_{-a}^{a(\omega )e^{ix\omega }d\omega.}}$

그 다음, $모든{\displaystyle }$ $x$에 대해$,$ Cauchy-Schwarz $불평등$과 Plancherrel의 정리를 따른다$.$

${\displaystyle f(x) \leq {\frac {1}{2\pi }}{\sqrt {\int _{-a}^{a}2a F(\omega ) ^{2}d\omega }}={\frac {1}{\pi }}{\sqrt {{\frac {a}{2}}\int _{-\infty }^{\infty } F(\omega ) ^{2}d\omega }}={\sqrt {\frac {a}{\pi }}}\ f\ _{L^{2}}.}$

이러한 불평등은 평가 기능이 제한되어 있음을 보여주며, $H{\displaystyle }$ ${\displaystyle H}$이(가) 실제로 RKHS임을 증명한다.

이 경우$$ 커널 함수 $K{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ${\$는 다음과 같이 주어진다.

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc}(a(y-x))={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

이를 확인하기 위해 먼저 위에서 정의한$$ $K{\displaystyle {}_{}}$ ${\displaystyle x_{}}$( ${\displaystyle y}$) ${\displaystyle K_{x}(y)}$의 푸리에 변환이 다음에서 제공된다는 점에 주목한다.

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\text{if }}{\textrm {otherwise}},\end{cases}}}$

그것은 푸리에 변환의 시간 변화 속성의 결과물이다.결과적으로, 플랑쉐렐의 정리를 이용하여,

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}d\omega =f(x).}$

따라서 우리는 커널의 재생 특성을 얻는다.null

이 경우$$ $K{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ${\$는 Dirac 델타 함수의 "대역제한 버전"이며$,$ 컷오프 주파수 $a{\displaystyle }$ ${\display a}$이(${\displaystyle 가}$) 무한대로의 경향이 있으므로 K$$ x${\displaystyle {}_{}}$(${\displaystyle y_{}}$ ) ${\displaystyle \{\backslash }$$displaystyle$ K_${x$$(y$$)}$는 약한 의미에서 $($y$$${\displaystyle }$- ${\displaystyle x}$)로 수렴한다는$$ 점에 유의한다.null

무어-아론자엔 정리

우리는 재생성 커널 힐버트 공간이 대칭적이고 양적인 확연한 재생 커널 함수를 어떻게 정의하는지 보아왔다.무어-아론자엔의 정리는 다른 방향으로 간다; 그것은 모든 대칭적이고 긍정적인 한정된 커널이 힐버트 공간을 재현하는 독특한 커널 공간을 정의한다고 말한다.이 정리는 비록 E. H. 무어 탓으로 돌렸지만, 아론자진(Aronszajn)의 '커널 재생산 이론'에 처음 등장했다.null

정리.K가 집합 X에서 대칭적이고 양의 한정된 커널이라고 가정하자.그리고 X에는 K가 재생성 커널인 함수의 독특한 힐버트 공간이 있다.

증명. X의 모든 X에 대해_x K = K(x, ⋅)를 정의하십시오. H를₀ {K_x : x ∈ X}의 선형 스팬으로 설정하십시오.다음을₀ 기준으로 H에 내부 제품 정의

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

$즉{\displaystyle }$, ${\displaystyle K}$( x${\displaystyle }$,${\displaystyle y}$) = ${\displaystyle {}_{}}$ ${\displaystyle {K_{}}_{}}$ ${\displaystyle {x{}_{}}_{}}$, ${\displaystyle {K_{}}_{}}$ y${\displaystyle {{}_{}}_{{0\mathrm{}}_{}}}$ H 0 ${\$ K_{$x},$K_{$y}\$오른쪽$\rangele _{H_{$0}}}}}}}}을(를) 암시한다$.$이 내면의 생산물의 대칭은 K의 대칭에서 따르며 비기생성은 K가 양적으로 확정되어 있다는 사실에서 따르게 된다.null

이 내부 제품에 관해서 H가 H의₀ 완성이 되게 하라.그 다음 H는 형태의 함수로 구성된다.

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\ \sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\ _{H_{0}}=0.}$

이제 재생 속성(2):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

고유성을 증명하기 위해 G를 K가 재생성 커널인 함수의 또 다른 힐버트 공간이 되게 한다.X의 x와 y에 대해 (2)는 다음을 함축한다.

${\displaystyle \langle K_{x},K_{y}\angle _{H}=K(x,y)=\langle K_{x}, K_{y}\angle _{G}.}$

By linearity, ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$ on the span of ${\displaystyle \{K_{x}:x\in X\}}$. Then ${\displaystyle H\subset G}$ because G is complete and contains H₀ and hence contains its completion.null

이제 우리는 G의 모든 요소가 H에 있다는 것을 증명해야 $한다{\displaystyle }$. f ${\displaystyle f}$는 G의 요소가 되게$$ 하라. H는 G의 닫힌 하위 공간이기 때문에 f${\displaystyle }$= f ${\displaystyle H_{}}$+ f ${\displaystyle {H{}^{}}_{}}$ ${\displaystyle {{\perp \mathrm{}}^{}}_{}}$ ${\$를 쓸 수 있다.$H}+$${\displaystyle \mathrm{f\_}}$${H^{\bot }}$ 여기서$$ $f{\displaystyle {}_{}}$ ${\displaystyle H_{}}$ ${\displaystyle f_{H}\in H}$ 및$$ $f{\displaystyle {}_{}}$ ${\displaystyle {H{}^{}}_{}}$ ${\displaystyle {{}^{}}_{}}$ ${\displaystyle {}^{\mathrm{}}}$⊥ ${\$$H^{\bot }}\in H^{\bot$ $\}\}.$ $이제$ x ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle x\in$ X$}$이면 K는 G와 H:의 재생성 커널이기 때문에.

${\displaystyle f(x)=\langle K_{x},f\rangele _{G}=\langle K_{x},f_{{}H}\rangele _{G}+\langle K_{x},f_{{}H^{\bot }}\angle _{G}=\langle K_{x},f_{{}{{}}H}\rangele _{G}=\langle K_{x},f_{{}H}\rangele _{H}=f_{H}(x),}$

여기서 $우리$는 K ${\displaystyle x_{}}$ ${\$가 H에 속한다는$$ 사실을 사용하였고, 그 내부는 f ${\displaystyle {H{}^{}}_{}}$ ${\displaystyle {{\perp \mathrm{}}^{}}_{}}$ ${\$가 포함되도록 하였다.G의 H$^{\bot }}$은(는) 0이다.${\displaystyle {}_{}}$ =${\displaystyle }$f ${\displaystyle H_{}}$ ${\$G에 H$}}$을(를) 넣고 증빙을 마무리한다.null

적분 연산자와 머서의 정리

Mercer의 정리를 사용하여 적분 연산자를$$ 통해 대칭 양정확정 $커널{\displaystyle }$ K ${\displaystyle K}$을 특성화하고 RKHS의 추가 보기를 얻을 수 있다.$X{\displaystyle }$ ${\displaystyle X}$은(는) 엄격히 양의 유한 보렐 측정 $[\displaystyle \mu }$과(와) $K{\displaystyle }$: ${\displaystyle X}$ ${\displaystyle \times }$ ${\displaystyle X}$→ ${\displaystyle R\mathbb{}}$ ${\$X\time X$\to \mathb$ {$R}$의 연속적이고 대칭적이며 양의 한정된 함수를 갖춘 콤팩트 공간이다$$.적분 연산자 $T{\displaystyle {}_{}}$ ${\displaystyle {K\mathrm{}}_{}{}_{}}$: ${\displaystyle {}_{}}$ ${\displaystyle 2{}_{}}$( X${\displaystyle }$)${\displaystyle }$→ ${\displaystyle {L\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$( ${\displaystyle X}$) ${\displaystyle T_{K:$$로서 L_{2}($X)\$to L_{2$}(X$$$)}$

${\displaystyle [T_{K}f(\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu(t)}$

여기서 L ${\displaystyle {2\mathrm{}}_{}}$( ${\displaystyle X}$) ${\displaystyle L_{2}(X)}$은 $\mu {\displaystyle }$ ${\displaystyle \mu }$에 대한 사각 통합 기능의 공간이다$.$

Mercer의 정리에서는 $K{\displaystyle }$ ${\displaystyle K}$의 적분 연산자 ${\displaystyle T_{}}$ $K{\displaystyle {}_{}}$ ${\$ $T_{K$$}$의 스펙트럼 분해는 $T{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ ${\$ K}의 고유값 및 고유특성에 있어$$ $K{\displaystyle }$ ${\displaysty$ K$}$의 직렬 표현을 산출한다고$$ 명시하고 있다$.$따라서 $이$는 K$${\$displaystyle K$}이(가) 이러한 고유값과 고유특성의 관점에서 해당 RKHS를 정의할 수 있도록 재현된 커널임을$$ 의미한다.우리는 아래에 세부사항을 제공한다.null

이러한 가정 하에서 $T{\displaystyle {}_{}}$ ${\displaystyle K_{}}$ ${\$은(는) 소형, 연속형, 자기 적응형, 양성 연산자다$$.The spectral theorem for self-adjoint operators implies that there is an at most countable decreasing sequence ${\displaystyle (\sigma _{i})_{i}\geq 0}$ such that ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ and ${\displaystyle T_{K}$는{ϕ 나는}{\displaystyle\와 같이{\phi_{나는}\}}. TK의 확실함으로써 L2(X){\displaystyle L_{2}(X)}의 정규직 교기로부터 좀\phi _ᆬ())=\sigma _{나는}\phi _ᆮ())},, 나입니다.;0}일 경우 모두에게.{\displaystyle i.}또는 TK{\d을 보여 줄 수 있0{\displaystyle T_{K},\sigma _{나는}> σ.isplay$스타일$ $T_{K}}$은(는) $연속함수{\displaystyle }$ C${\displaystyle }$( X$){\displaystyle$ C$X)}$의 공간에 연속적으로 매핑되므로$$$$, 우리는 연속함수를 모든 $i{\displaystyle .}$ ${\displaysty i}$에 $대해$ 고유 벡터로 선택할$$수 ${\displaystyle \mathrm{있다}}$.$$ 그렇다면 머서의 정리 K ${\displaystyle$ K$}$는 다음과 같이 고유값과 연속적인 고유특성의 관점에서 쓰여질 수 있다$$.

${\displaystyle K(x,y)=\sum _{j=1}^{\\inful }\sigma _{j}\j}\phi _{j}(x)\\phi _{j}y}$

모든 $x{\displaystyle }$, ${\displaystyle y}$ ${\displaystyle \in }$ X ${\displaystyle$ x$,y\in$ X$}$에 대해 다음과 같은 경우

${\displaystyle \lim _{n\to \infit }\sup _{u,v}-\좌측 K(u,v)-\sum _{j=1}^{n}\sigma _{j}\j(u)\,\phi _{j}(v)\오른쪽 =0.}$

위의 시리즈 표현은 $K{\displaystyle }$ ${\displaystyle K}$의 Mercer 커널 또는 Mercer 표현이라고 한다$.$

또한 $K{\displaystyle }$ ${\displaystyle K}$의 RKHS $H{\displaystyle }$ ${\displaystyle H}$이(가) 다음과 같이 제공됨을$$ 알 수 있다.

${\displaystyle H=\\좌측\{f\in L_{2}(X)\좌측 \sum _{i=1}^{{i=1}{i=1}^{night\langle f,\phi_{i}\{L_2}}:{\sigma_{i}}}}}\우측 \우측.\right\}}$

$여기$서 H ${\displaystyle H}$의 내부 제품은

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\phi _{i}\right\rangle _{L_{2}}\left\langle g,\phi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

RKHS의 이러한 표현은 확률적 프로세스와 커널 PCA에 대한 카루넨-로브 표현과 같은 확률과 통계에 응용된다.null

피쳐 맵

형상 지도는 지도 $map{\displaystyle }$ :${\displaystyle X}$→ ${\displaystyle F}$ ${\displaystyle \varphi \colon X\rightarrow F}$이며$$여기서 $F{\displaystyle }$ ${\displaystyle$ F$}$는 형상 공간이라고 부를 Hilbert 공간이다$$.첫 번째 절에서는 경계/연속 평가 기능, 양의 확정 기능 및 적분 연산자 사이의 연결을 제시했으며, 본 절에서는 형상 지도 측면에서 RKHS의 또 다른 표현을 제공한다.null

먼저 모든 형상 맵이 다음 명령을 통해 커널을 정의한다는 점에 주목한다.

${\displaystyle K(x,y)=\langle \varphi(x),\varphi(y)\angle _{F}.}$

(3)

분명히 $K{\displaystyle }$ ${\displaystyle K}$은(는) 대칭이며 양의 $정의$는$$F {\$displaystyle$ F$}$의 내부 제품 속성에서 따온 것이다$.$ 반대로 모든 양의 한정 함수와 그에 상응하는 재현 커널 힐버트 공간은 (3)이 보유하고 있는 것과 같은 관련 형상 맵이 무한히 많다.null

예를 들어, 우리는 모든 $∈$ ${\displaystyle X}$에 $대해{\displaystyle }$$$ ${\displaystyle F}$= H ${\displaystyle$ $F$$=H},$ $\phi {\displaystyle }$(${\displaystyle x}$ ${\displaystyle )}$= ${\displaystyle K_{}}$ ${\displaystyle {}_{}}$ ${\$$displaystyle$ $\varphi (x)=K_$${x$$}}}$를 사소한 것으로 취하면, 그 재생성 속성에 의해 (3)이 충족된다$.$형상도의 또 다른 고전적인 $예$로는${\displaystyle }$F = ${\displaystyle {2\mathrm{}}^{}}$ 2$${\$displaystyle F=\ell ^{2$}} $및{\displaystyle }$ ${\displaystyle (}$(${\displaystyle x}$) =${\displaystyle }$( ${\displaystyle \sqrt{i_{}}}$ ${\displaystyle \sqrt{{}_{}}{}_{}}$ i (${\displaystyle x{}_{}}$) i$${\$displaysty$ \$varphi$($)=({\sqrt{i$}}}}pi _{$i}x)$를 취함으로써 적분 연산자에 관한 이전 절과 관련된다$$.$_{i}}$.

이러한 커널과 피쳐 맵 사이의 연결은 우리에게 $긍정적$인 확정 함수를 이해하고 따라서 커널을 H ${\displaystyle H}$의 내부 제품으로 재현하는 새로운 방법을 제공한다$.$ 더욱이 모든 피쳐 맵은 당연히 양의 확정 함수의 정의에 의해 RKHS를 정의할 수 있다.null

마지막으로 피쳐 맵을 통해 RKHS에 대한 또 다른 관점을 보여주는 기능 공간을 구성할 수 있다.선형 공간 고려

${\displaystyle H_{\varphi }=\{f:X\to \mathb {R} \exists w\in F,f(x)=\langle w,\varphi(x)\angle _{F}\all {\text{}x\in X\}.}$

우리는$$ $H{\displaystyle {}_{}}$ ${\displaystyle {\phi }_{}}${\$displaystyle H_{\varphi}}$에 대한 표준을 정의할 수 있다.

${\displaystyle \ \f\}=\inf\{\w\{F:w\inF,f(x)=\langle w,\varphi(x)\rangele _{F}\all {\text{}x\in X\}.}$

It can be shown that ${\displaystyle H_{\varphi }}$ is a RKHS with kernel defined by ${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$. This representation implies that the elements of the Reproducing Kernel are inner products of elements in the feature space.RKHS에 대한 이러한 견해는 머신러닝의 커널 트릭과 관련이 있다.^[7]null

특성.

RKHS의 다음 특성은 독자들에게 유용할 수 있다.null

• Let ${\displaystyle (X_{i})_{i=1}^{p}}$ be a sequence of sets and ${\displaystyle (K_{i})_{i=1}^{p}}$ be a collection of corresponding positive definite functions on ${\displaystyle (X_{i})_{i=1}^{p}.$$}}$ 그런 다음 그 뒤를 따른다$$.

  ${\displaystyle K(x_{1},\ldots,x_{p}),(y_{1},\ldots,y_{p})=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p}})}$

  $X{\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \times }$ × ${\displaystyle \times }$ ${\displaystyle p_{}}$. ${\displaystyle X=X_{1}\times \tots \time$ X_${p}.$$}$

• $X{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle X}$, ${\displaystyle X_{0}\subset X,}$ 그러면$$ $K{\displaystyle }$ ${\displaystyle K}$을(를) ${\displaystyle {X\mathrm{}}_{}}$ 0 ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$에 대한 제한도 재생산 커널이다$$.
• $표준화$된 커널 $K{\displaystyle }$ ${\displaystyle K}$을(를) 고려하십시오(예$$: 모든 x ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle x\in X}$에 대해 $,x$)${\displaystyle }$= 1 ${\displaystyle$ K$(x$,x$)=1}).$$$X에 대한 유사 메트릭을 다음과 같이 정의하십시오.

  ${\displaystyle d_{K}(x,y)=\K_{x}-K_{y}\_{H}^{2}=2(1-K(x,y)\qquad \forall x\in X.}$

  카우치-슈워즈 불평등에 의해

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in.}$

  이러한 불평등은 $K{\displaystyle }$ ${\displaystyle K}$을(를) 입력 간 유사성의 척도로 볼$$ 수 있게 한다.$x{\displaystyle }$, ${\displaystyle y}$ ${\displaystyle \in }$ X ${\displaystyle$ x$,$${\displaystyle y}$$\in X}$이(${\displaystyle 가}$) 비슷하면 $K{\displaystyle }$( x${\displaystyle }$, y${\displaystyle }$) ${\displaystyle K(x,y)}$이(가) 1에 가깝고$$, $x{\displaystyle }$,${\displaystyle }$${\displaystyle y}$ ${\displaystyle \in }$ X ${\$$displaystyty$ $x,$${\displaystyle y}$$\in X}$이(${\displaystyle 가}$)와$$ 다를 경우 $x,y)$가 0에 가까워진다$$$.$

• $\{{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle x}$ ${\displaystyle \in }$ ${\displaystyle X}$ ${\displaystyle \}}$ ${\displaystyle \{K_{x}\mid x\in$ X$\}$의 스팬 닫힘은 $H{\displaystyle }$ ${\displaystyle H}$과(와) 일치한다$.$^[8]

일반적인 예

바이린린 커널

${\displaystyle K(x,y)=\langle x,y\angle }$

The RKHS ${\displaystyle H}$ corresponding to this kernel is the dual space, consisting of functions ${\displaystyle f(x)=\langle x,\beta \rangle }$ satisfying ${\displaystyle \ f\ _{H}^{2}=\ \beta \ ^{2}}$.

다항식 커널

${\displaystyle K(x,y)=(\alpha \langle x,y\angle +1)^{d},\qquad \alpha \in \mathb {R},d\in \mathb {N}}}}$

방사상 기준 함수 커널

$이것들$은 ${\displaystyle K}$( ${\displaystyle x}$, ${\displaystyle y}$)${\displaystyle }$= K (${\displaystyle \Vert }$ ${\displaystyle x}$- y $){\displaystyle K(x,y)=K(\ x-y\ )}$를 만족시키는 또 다른 흔한 종류의 커널이다$.$ 몇 가지 예는 다음과 같다.

• 가우스 또는 제곱 지수 커널:

  ${\displaystyle K(x,y)=e^{-{\frac {\x-y\^{2}}:{2\sigma ^{2}},\qquad \sigma >0}$

• 라플라시안 커널:

  ${\displaystyle K(x,y)=e^{-{\frac {\x-y\}}{\sigma }}},\qquad \sigma >0}$

  이 커널을 사용하는$$ RKHS $H{\displaystyle }$ ${\displaystyle H}$에서 f ${\displaystyle f}$ 함수의 제곱 표준은 다음과 같다.^[9]

  ${\displaystyle \Vert }$ ${\displaystyle f}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ 2${\displaystyle {}_{}^{}}$= ${\displaystyle \int }$ ${\displaystyle f}$( ${\displaystyle x{}^{}}$) ${\displaystyle 2}$ ${\displaystyle d}$ x +${\displaystyle \int }$ f ${\displaystyle {\prime }^{}}$( x${\displaystyle {}^{}}$) ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle d}$ ${\d$ ${\displaystyle {}^{}}$ \$f\ _{H}^{2}=\int f(x)^{2}dx+\int f'(x)^{2}dx$

버그만 커널

우리는 또한 버그만 커널의 예를 제공한다.X를 유한하게 하고 H를 X의 모든 복합값 함수로 구성하도록 한다.그러면 H의 요소는 복잡한 숫자의 배열로 나타낼 수 있다.통상적인 내부 제품을 사용한다면 K는_x 다른 모든 곳에서 x와 0의 값이 1인 함수로,${\displaystyle }K{\displaystyle (x}$ ,${\displaystyle y}$ ) ${\displaystyle K(x,y)}$는 이후부터 ID 매트릭스로 생각할 수 있다$$.

${\displaystyle K(x,y)={\begin{case}1&x=y\\\0&x\neq y\end}}}$

이 경우 H는 $C{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$에 대해 이형성이 있다$.$

$X{\displaystyle }$= ${\displaystyle D\mathbb{}}$ ${\$ X$=\mathb {D}$의 경우($여기$서$$D {\$displaystyle \mathb$ {D$}$은(는) 단위 디스크를 의미한다$$)가 $$더 정교하다.Here the Bergman space ${\displaystyle H^{2}(\mathbb {D} )}$ is the space of square-integrable holomorphic functions on ${\displaystyle \mathbb {D} }$. It can be shown that the reproducing kernel for ${\displaystyle H^{2}(\mathbb {D} )}$ is

${\displaystyle K(x,y)={\frac {1}{\pi }{{\frac {1}{{(1-x{\overline{y})^{2}}.}$

마지막으로 대역폭 $2{\displaystyle \mathrm{}}$ ${\displaystyle a}$ ${\displaystyle 2a}$을(를) 사용하는 L ${\displaystyle {2\mathrm{}}^{}}$(${\displaystyle R\mathbb{}}$) ${\displaystyle$ L$^{2}(\mathb {R}$)에서 밴드 제한 함수의 공간은 커널을 재현하는 RKHS이다$$.

${\displaystyle K(x,y)={\frac {\sin a(x-y)}{\pi(x-y)}}.}$

벡터 값 함수에 대한 확장

이 섹션에서는 다중 작업 학습과 다지관 정규화에 특히 중요한 확장인 벡터 값 함수의 공간으로 RKHS의 정의를 확장한다.The main difference is that the reproducing kernel ${\displaystyle \Gamma }$ is a symmetric function that is now a positive semi-definite matrix for any ${\displaystyle x,y}$ in ${\displaystyle X}$. More formally, we define a vector-valued RKHS (vvRKHS) as a Hilbert space of functions ${\display$$스타일$ $f:X\to \mathb {R} ^{T}:$ 모든 $c{\displaystyle {\mathbb{}}^{}}$ R ${\displaystyle {}^{}}$ {\$displaystyle c\in \mathb {R} ^{T}$ 및$$ ${\displaystyle x}$ ${\displaystyle \in }$ X ${\displaysty x\in X}$에 대해 ${\$displaystyle x\}

${\displaystyle \Gamma _{x}c(y)=\Gamma(x,y)c\in H{\text{{}y\in X}$

, 그리고

${\displaystyle \langle f,\Gamma _{x}c\cangle _{H}=f(x)^{\intercal }}$

이 두 번째 속성은 스칼라 값을 매긴 케이스의 재생 속성과 유사하다.이 정의는 스칼라 값 RKHS에서 보았던 대로 적분 연산자, 경계 평가 기능 및 형상 지도에도 연결될 수 있다는 점에 주목한다.우리는 vvRKHS를 한정된 평가 기능을 가진 벡터 값 힐버트 공간으로 동등하게 정의할 수 있으며, 이것이 리에즈 표현 정리에 의한 고유한 재생산 커널의 존재를 함축하고 있음을 보여줄 수 있다.또한 Mercer의 정리는 벡터 값 설정을 다루기 위해 확장될 수 있으며, 따라서 vvRKHS의 형상 지도 뷰를 얻을 수 있다.마지막으로$,{\displaystyle }$ { ${\displaystyle {\mathrm{}}_{}}$ x ${\displaystyle {}_{}}$: ${\displaystyle x}$ ${\displaystyle \in }$ X${\displaystyle }$, ${\displaystyle c}$ ${\displaystyle \in }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle \{\Gamma _{x}c:$x\$in X,c\in \mathb {R}$^{T$}\}}}}}}$의 스칼라 값 사례와 유사한 또 다른$$$속성$인 H$${\$displaysty H$}과$$ 일치한다는 사실도 확인할 수 있다.null

이러한 공간에 대한 구성 요소별 관점을 취함으로써 vvRKHS에 대한 직관력을 얻을 수 있다.특히 모든 vvRKHS는 특정 입력 공간에 있는 스칼라 값 RKHS에 대해 등축적으로 이형성이라는 것을 알게 되었다.$let{\displaystyle \mathrm{}}$=${\displaystyle }${ ${\displaystyle 1}$,${\displaystyle \dots ,}$ ${\displaystyle T\}}$ ${\displaystyle \Lambda =\{1,\dots,T$ X ${\displaystyle \times }$× {\$displaystyle X\times \Lambda}$ 공간과 그에 $상응$하는 재생산 커널을 고려하십시오.

$\displaystyle \gamma :X\time \Lambda \time X\times \Lambda \to \mathb {R}}}$

(4)

As noted above, the RKHS associated to this reproducing kernel is given by the closure of the span of ${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$ where ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$ for every set of p방송 (${\displaystyle x}$,${\displaystyle t}$) ,${\displaystyle }$( y${\displaystyle }$, ${\displaystyle s}$) ${\displaystyle X\times }$ × × × ×$$× ${\displaystyle \mathrm{표시}}$ $스타일 (x,t),(y,s)\$X\$times \Lambda$ $\}.$

스칼라 값 RKHS와의 연결은 모든 매트릭스 값 커널을 (4)를 통해 알 수 있다는 사실에 의해 이루어질 수 있다.

${\displaystyle \감마(x,y)_{(t,s)}=\감마(x,t),(y,s)).}$

더욱이 (4)의 형태를 가진 모든 커널은 위의 식을 가진 매트릭스 값 커널을 정의한다.이제 지도 $D{\displaystyle }$: ${\displaystyle {}_{}}$ ${\displaystyle {\gamma \mathrm{}}_{}}$→ ${\displaystyle {}_{}}$ ${\displaystyle {\gamma }_{}}$ ${\$$H_{\Gamma$}\$to$ H_${\gamma }}}$은(는) 다음과 같이 정의된다$$.

${\displaystyle (x,t)=\langle f(x), e_{t}\angle _{\mathb {R}^{T}}}}$

where ${\displaystyle e_{t}}$ is the ${\displaystyle t^{th}}$ component of the canonical basis for ${\displaystyle \mathbb {R} ^{T}}$, one can show that ${\displaystyle D}$ is bijective and an isometry between ${\displaystyle H_{\Gamma }}$ and ${\displaystyle H_{\gamma$$}}$.

vvRKHS에 대한 이러한 관점은 다중 작업 학습에 유용할 수 있지만, 이 등위계는 벡터 값 사례 연구를 스칼라 값 사례의 연구로 줄이지 않는다.실제로 이 등계법 절차는 원래 커널의 속성이 상실되는 경우가 많기 때문에 스칼라 값 커널과 입력 공간 모두를 실제 작업하기에는 너무 어렵게 만들 수 있다.^[10][11][12]null

매트릭스 값 재현 커널의 중요한 클래스는 $분리{\displaystyle }$ 가능한 커널로, 스칼라 값 커널과 T ${\displaystyle T}$ -차원$$ 대칭 양의 반확정성 매트릭스의 산물로 고려될 수 있다.우리의 이전 논의에 비추어 볼 때 이 알맹이는 형식이다.

${\displaystyle \gamma(x,t),(y,s)=K(x,y)K_{T}(t,s)}$

$X{\displaystyle }$ ${\$$displaystyle$ X$}$의 $모든$ x , y {\$displaystyle x,y}$ 및$$ $T{\displaystyle }$ ${\$displaystyle $t$$}$의 t$$${\displaystyle }$, ${\displaystyle s}${\$displaystyty$t$,$$s}$에 대해. 스칼라 값을 매트릭스 값을 매긴 커널이 입력 간의 종속성을 암호화할 때 입력값과 출력 사이의 종속성을 암호화하는 것을 관찰할 수 있다.null

우리는 마지막으로 위의 이론이 기능공간에 값이 있는 함수의 공간으로 더 확장될 수 있다고 말하지만, 이러한 공간에 대한 커널을 얻는 것은 더 어려운 과제다.^[13]null

RKHS와 ReLU 함수의 연결

${\displaystyle \mathrm{ReLU}}$ 함수는 일반적으로 $f{\displaystyle }$( x${\displaystyle }$)${\displaystyle }$= ${\displaystyle max}$(${\displaystyle 0}$, x${\displaystyle }$) ${\displaystyle f(x)=\max(0,x)}$로 정의되며$$, 활성화 함수로 사용되는 신경망 구조에서 주축이다.커널 힐버트 공간 재생산 이론을 이용해 ReLU와 같은 비선형 함수를 구성할 수 있다.아래에서는 이 구조를 도출하고 그것이 어떻게 ReLU 활성화를 통한 신경망의 표현력을 내포하는지 보여준다.null

We will work with the Hilbert space ${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$ of absolutely continuous functions with ${\displaystyle f(0)=0}$ and square integrable (i.e. ${\displaystyle L_{2}}$) derivative.그것은 내적인 제품을 가지고 있다.

${\displaystyle \langle f,g\angle _{\mathcal {H}=\int_{0}^{\f'(x)g'(x)dx.}$

재생 커널을 구성하기 위해서는 밀집된 하위 공간을 고려하는 것으로 충분하므로 f${\displaystyle }f{\displaystyle }$ ${\displaystyle {C\mathrm{}}^{}}$ 1${\displaystyle {}^{}}$[ ${\displaystyle 0}$ ,${\displaystyle \mathrm{\infty }}$) ${\displaystyle f\in C^{1}[0,\inflt )}$ 및 $f$ (${\displaystyle 0}$)${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle$f ($0)=0}$이(가)가 되도록 한다$.$ 그러면 미적분의 기본 정리를 제공한다.

${\displaystyle f(y)=\int _{0}^{y}f'(x)dx=\int _{0}^{0}^{\infit }G(x,y)f'(x)dx=\langle K_{y}(\cdot }),f\angle }$

어디에

${\displaystyle G(x,y)={\begin{case}1,&x<y\0,&\text{otherwise}\case}}}$

${\displaystyle 및}$ $K{\displaystyle {}_{}^{}}$ ${\displaystyle y_{}^{}}$ ${\displaystyle {}_{}^{}}$( x${\displaystyle }$)${\displaystyle }$= G${\displaystyle }$( ${\displaystyle x}$, ${\displaystyle y}$)${\displaystyle }$, ${\displaystyle K_{}}$ ${\displaystyle \mathrm{y}{}_{}}$( 0${\displaystyle }$)${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle K_{y}^{}^{\premium }(x)=G(x,y),\ K_{y}=0$$}.$null

${\displaystyle K(x,y)=K_{y}=\int _{0}^{x(z,y)dz={\begin}x,&0\leq x<y\y,&\text{otherwise}}}.\end{case}}=\min(x,y)}$

이것은 $K{\displaystyle {}_{}}$ ${\displaystyle y_{}}$= ${\displaystyle K}$ (${\displaystyle \cdot }$, ${\displaystyle y}$) ${\displaystyle K_{y}=K(\cdot ,y)}}$가 $f{\displaystyle }$ {\$displaystyle f$을(를$)$ 재현한다는 것을 의미한다.

제한 $y{\displaystyle }$→$∞{\displaystyle y\to \infit }$을$($를) 취함으로써 우리는 ReLU 기능을 얻는다.

${\displaystyle K_{\infit }(x)={\begin{case}x,&{\text{{x\geq 0\0,&{\text}}\{\otherwise}\case}=\reLU}(x)}$

이 제형을 사용하면 RKHS에 대표자 정리를 적용하여 신경망 설정에서 ReLU 활성화를 사용하는 것의 최적성을 증명할 수 있다.^{[citation needed]}null

참고 항목

• 양정확정커널
• 머서의 정리
• 커널 트릭
• 배포의 커널 포함
• 대표자 정리

메모들

참조

• 알바레즈, 마우리시오, 로사스코, 로렌조와 로렌스, 닐, "벡터-값 함수를 위한 커널: a Review," 2011년 6월.
• Aronszajn, Nachman (1950). "Theory of Reproducing Kernels". Transactions of the American Mathematical Society. 68 (3): 337–404. doi:10.1090/S0002-9947-1950-0051437-7. JSTOR 1990404. MR 0051437.
• 베를리넷, 알랭, 토마스, 크리스틴.Kluwer Academic Publishers, 2004년 확률과 통계에서 커널 힐버트 공간을 재현.
• Cucker, Felipe; Smale, Steve (2002). "On the Mathematical Foundations of Learning". Bulletin of the American Mathematical Society. 39 (1): 1–49. doi:10.1090/S0273-0979-01-00923-5. MR 1864085.
• 데 비토, 어니스트, 우마니타, 베로니카, 실비아 빌라."벡터 값 측정 가능한 커널에 대한 머서 정리의 확장," arXiv:1110.4017, 2013년 6월.
• Durret, Greg. 9.107 과정 노트, 매사추세츠 공과대학교, https://www.mit.edu/~9.1987/118e-notes/class03_gduret.pdf, 2010년 2월.
• Kimeldorf, George; Wahba, Grace (1971). "Some results on Tchebycheffian Spline Functions" (PDF). Journal of Mathematical Analysis and Applications. 33 (1): 82–95. doi:10.1016/0022-247X(71)90184-3. MR 0290013.
• 오쿠트무스투르, 바버.2005년 8월 빌켄트 대학의 M.S. 논문 "커널 힐버트 스페이스 재현".
• 폴슨, 번"커널 힐버트 공간 재생산 이론 소개", http://www.math.uh.edu/~번/rkhs.pdf.
• Steinwart, Ingo; Scovel, Clint (2012). "Mercer's theorem on general domains: On the interaction between measures, kernels, and RKHSs". Constr. Approx. 35 (3): 363–417. doi:10.1007/s00365-012-9153-3. MR 2914365.
• 로사스코, 로렌초, 포조, 토마스"기계학습 정규화 투어 – MIT 9.520 강의 노트" 원고, 2014년 12월.
• Wahba, Grace, Spline Models for Observational Data, SIAM, 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Refinement of Operator-valued Reproducing Kernels" (PDF). Journal of Machine Learning Research. 13: 91–136.