베이지안적 커널 정규화 해석

이 글은 대부분의 독자들이 이해하기에는 너무 기술적인 것일 수도 있다. 기술 세부 정보를 삭제하지 않고 비전문가가 이해할 수 있도록 개선하십시오.(2012년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

기계 학습에 대한 베이지안 통계에서, 커널 방법은 입력에 대한 내부 제품 공간이나 유사성 구조의 가정으로부터 발생한다.서포트 벡터 머신(SVM)과 같은 일부 방법의 경우, 원래 제형과 그 정규화는 본질적으로 베이시안식이 아니었다.베이지안 관점에서 그들을 이해하는 것은 도움이 된다.커널은 반드시 양성의 세미데핀이 아니기 때문에, 기초적인 구조는 내부 제품 공간이 아니라 커널 힐버트 공간을 보다 보편적으로 재현하는 것일 수 있다.베이지안 확률 커널 방법은 가우스 프로세스의 핵심 구성 요소로서 커널 함수를 공분산 함수로 한다.커널 방법은 전통적으로 입력 공간이 벡터의 공간인 반면 출력 공간은 스칼라의 공간인 감독 학습 문제에서 사용되어 왔다.최근에는 이러한 방법들이 멀티태스킹 학습과 같이 여러 출력을 다루는 문제로까지 확대되었다.^[1]

정규화와 베이지안 관점 사이의 수학적 동등성은 재생성 커널 힐버트 공간이 유한한 경우에 쉽게 증명된다.무한 차원 사례는 미묘한 수학 문제를 제기한다; 우리는 여기서 유한 차원 사례를 고려할 것이다.스칼라 학습을 위한 커널 방법의 기초가 되는 주요 아이디어에 대한 간략한 검토부터 시작해, 정규화 및 가우스 프로세스 개념을 간략히 소개한다.그런 다음 우리는 어떻게 두 관점이 본질적으로 동등한 추정기에 도달하는지 보여주고, 그것들을 서로 연결하는 연결점을 보여준다.

감독되는 학습 문제

고전적인 감독 학습 문제는$n$으로 구성된$$ 교육 $세트{\displaystyle }$ S ${\$$displaystyle$ $S}$에 기초하여$$ 스칼라 값 추정기 $f{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ (${\displaystyle {\mathbf{}}^{}}$ $){\displaystyle {f}(\mathbf {x}')$를 학습하여$$ 새로운 입력 $지점{\displaystyle {\mathbf{}}^{}}$ x${\displaystyle {}^{}}${$${\$displaystyle$ {$x}$의 출력을 추정할 필요가 있다.N}입출력 쌍, S)(X, Y))(x1,1y),…,(), yn){\displaystyle S=(\mathbf{X}{Y},\mathbf)=(\mathbf{x}_{1},y_{1}),\ldots ,(\mathbf{x}_{n},y_{n})}.[2]을 감안할 때는 대칭과 긍정적인 bivariate 기능 k(⋅, ⋅){\displaystyle k(\cdot ,\cdot)}라고 부르는 커널, 하나의 대부분의.pt기계학습에 있어서 입상 추정기는 다음에 의해 주어진다.

${\displaystyle {\f}(\mathbf {x} ')=\mathbf {k}^{\top }(\mathbf {K} +\lambda n\mathbf {I})^{-1}\mathbf {Y},}$

(1)

where ${\displaystyle \mathbf {K} \equiv k(\mathbf {X} ,\mathbf {X} )}$ is the kernel matrix with entries ${\displaystyle \mathbf {K} _{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})}$, ${\displaystyle$$\mathbf {k} =[k(\mathbf {x} _{1},\mathbf {x} '),\ldots ,k(\mathbf {x} _{n},\mathbf {x} ')]^{\top }}$, and ${\displaystyle \mathbf {Y} =[y_{1},\ldots ,y_{n}]^{\top }}$. We will see how this estimator can be derived both from a regularization and a Bayesian perspective.

정규화 관점

정규화 관점에서 주요 가정은 함수 $F{\displaystyle \mathcal{}}$ ${\$ {$F}}$이(가) 재생성 커널 Hilbert space H ${\displaystyle k_{}}$ ${\$ {$H}_{k}}}$에 속하는 것으로 가정한다$.$^[2][3][4][5]

커널 힐버트 공간 재현

A reproducing kernel Hilbert space (RKHS) ${\displaystyle {\mathcal {H}}_{k}}$ is a Hilbert space of functions defined by a symmetric, positive-definite function ${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$ called the reproducing kernel such that the function ${\displaystyle k(}$${\displaystyle \mathbf{x}}$ ,${\displaystyle \cdot }$) ${\displaystyle$ k$(\mathbf {x},\cdot )}$은(는) 모든 $x{\displaystyle \mathbf{}}$ ${\displaystyle \in }$ ${\displaystyle X\mathcal{}}$ ${\\$$x$}\$in {\mathcal {X}$에 대해$$를 호소하는 세 가지 주요 속성이 있다$.$^[6][7][8]

1. 공간에 이름을 붙이는 재생 속성,

${\displaystyle f(\mathbf {x},\cdot )=\langle f,k(\mathbf {x},\cdot )\angle _{k},\quad \f\in {\mathcal}},}$

여기서 ${\displaystyle ⟨,{}_{}}$ k k ${\displaystyle k_{}}$ k ${\$는 ${\displaystyle H_{}}$ k$${\$displaystyle${\$mathcal{H}_{k}}}}}}}}}$의 내제품이다$.$

2. RKHS의 기능은 주어진 지점에서 커널의 선형 결합의 폐쇄에 있다.

${\displaystyle f}$( ${\displaystyle x\mathbf{}}$)${\displaystyle }$= ${\displaystyle \underset{}{}}$ i ${\displaystyle \underset{}{}}$( ${\displaystyle {}_{}}$ ${\displaystyle i\mathbf{}{}_{}}$, x${\displaystyle }$) ${\displaystyle c_{}}$ ${\$x$} _{i},\mathbf {x} )c_{i$

이를 통해 선형 및 일반화된 선형 모델의 통일된 프레임워크에서의 구축을 가능하게 한다.

3. RKHS의 표준 제곱은 다음과 같이 쓸 수 있다.

${\displaystyle \ f\ _{k}^{2}=\sum_{i,j}k(\mathbf {x}_{i},\mathbf {x} _{j}c_{j}}}}}}}}}}}}$

기능의 복잡성을 측정하는 것으로 볼 수 있다.

정규화된 기능

추정기는 정규화된 기능의 최소제로서 도출된다.

${\displaystyle {\frac {1}{n1}\sum _{i=1}^{n}(f(\mathbf {x} _{i}-y_{i})^{2}+\f\{k}^{k}^{2}}}}$

(2)

$여기$서 $f{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {\mathcal{}}_{}}$ ${\displaystyle k_{}}$ ${\$$}$ 및$$ $\Vert {\displaystyle }$ ${\displaystyle \cdot }$ ${\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$_${$k}}는 H k ${\$$displaystystyle {\mathcal {H}_{k}}}}}}}}$의 표준이다$.$$f{\displaystyle }$( ${\displaystyle {\mathbf{}}_{}}$ $){\displaystyle$ f$(\mathbf {x} _{i$$\})$와 $y{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$ 사이의 오차 제곱의 평균을 측정하는 이 기능에서의 첫 번째 용어는 $경험적{\displaystyle }$ 위험이라고 하며 f${\displaystyle }$( ${\displaystyle {}_{}}$ $){\displaystyle$ f(\$mathbf$ {$x} _{i}$_${$i}}})를 예측하여$$ 우리가 지불하는 비용을 나타낸다.참 값 ${\displaystyle y_{}}$ $i{\displaystyle {}_{}}$ ${\$기능에서 두 번째 용어는 RKHS의 표준 제곱에 중량 $[\displaystyle$ \$lambda }$을 곱한 것이며$$, 추정기의^[3][5] 피팅과 복잡성 사이의 트레이드오프를 추가하는 것을 목적으로 한다.^[2]레귤라이저라고 불리는$$중량 $\lambda {\displaystyle }${\$displaystyle \lambda }$은 추정기의 불안정성과 복잡성에 대해 처벌해야 하는 정도를 결정한다$([\displaystyle \lambda }}$의 값을 증가시키면 더 높은 벌금이 부과된다).$$

추정기의 유도

등식 (1)의 추정기의 명시적 형태는 두 단계로 도출된다.첫째로, 대표자^[9][10][11] 정리에서는 기능적(2)의 최소화가 항상 훈련 세트 포인트를 중심으로 한 커널의 선형 결합으로 작성될 수 있다고 명시한다.

${\displaystyle {\f}(\mathbf {x})=\sum _{i=1}^{n}c_{n}k(\mathbf {x}_{i},\mathbf {x}=\mathbf {k}^{\top }mathbf {c},},},}}$

(3)

일부 $c{\displaystyle \mathbf{}}$ ${\displaystyle \in }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$에 대해$.$계수 $c{\displaystyle \mathbf{}}$=${\displaystyle }$[ ${\displaystyle {c\mathrm{}}_{}}$ 1${\displaystyle {}_{}}$,${\displaystyle }$… ,${\displaystyle }$c ${\displaystyle n_{}}$ ${\displaystyle {}_{}{}^{}}$ ${\displaystyle {\top \mathrm{}}^{}}$ ${\$의 명시적 형식을 기능 (2)에서 $f{\displaystyle }$ (${\displaystyle \cdot }$ $){\displaystystysty$ f$(\cdot$ )를 대체하면$$알 수 있다$$.(3)식의 형태 함수에 대해서는 다음과 같은 것을 가지고 있다.

${\displaystyle{\begin{정렬}\ f\ _{k}^{2}&,=\langle f,f\rangle _{k},\\&, \sum _ᆰ^ᆱc_ᆲk(\mathbf{x}_{나는},\cdot),\sum _ᆳ^ᆴc_ᆵk(\mathbf{x}_{j},\cdot)\right\rangle _{k},\\& =\left\langle, =\sum _{i=1}^{N}\sum _{j=1}^{N}c_{나는}c_{j}\langle k(\mathbf{x}_{나는},\cdot),k(\mathbf{x}_{j},\cdot)\rangle _{k},\\&,=\sum _{i=1}^{.N}\sum{N_{j=1}^}c_{i}c_{j}k(\mathbf {x} _{i},\mathbf {x} _{j}),\\&=\&=\mathbf {c}^{\top }\mathbf {K} \mathbf {c} .\end{igned}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

기능(2)을 다음과 같이 다시 쓸 수 있다.

${\displaystyle {\frac {1}{n}\mathbf {y} -\mathbf {K} \mathbf {c} \^{2}+\lambda \mathbf {c} ^{\top }\mathbf {k} \mathbf {c} .}}}}$

이 기능은 $c{\displaystyle \mathbf{}}$ ${\$에서 볼록하므로$$ $c{\displaystyle \mathbf{}}$ ${\$에 대한 그라데이션 설정을 통해 최소값을 찾을 수 있다.

${\displaystyle {\begin{aligned}-{\frac {1}{n}}\mathbf {K} (\mathbf {Y} -\mathbf {K} \mathbf {c} )+\lambda \mathbf {K} \mathbf {c} &=0,\\(\mathbf {K} +\lambda n\mathbf {I} )\mathbf {c} &=\mathbf {Y} ,\\\mathbf {c} &=(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .\end{aligned}}}$

이 식을 등식 (3)의 계수에 대입하여 앞에서 등식 (1)에 기술된 추정기를 구한다.

${\displaystyle {\f}(\mathbf {x} ')=\mathbf {k}^{\top }(\mathbf {K} +\lambda n\mathbf {I})^{-1}\mathbf {Y}.}$

베이시안적 관점

커널의 개념은 가우스 과정이라 불리는 확률적 과정의 공분산 함수로서 베이시안 확률에 결정적인 역할을 한다.

베이지안 확률에 대한 고찰

베이시안 프레임워크의 일부로, 가우스 프로세스는 모델링되는 함수의 속성에 대한 이전의 신념을 설명하는 사전 분포를 명시한다.이러한 믿음은 관찰과 이전의 믿음을 연관시키는 우도함수를 이용하여 관찰 데이터를 고려한 후에 갱신된다.이전 분포와 가능성을 종합하면, 시험 사례를 예측하는 데 관례적으로 사용되는 후방 분포라고 하는 최신 분포가 나타난다.

가우스 과정

가우스 공정(GP)은 표본을 추출한 유한한 수의 랜덤 변수가 공동 정규 분포를 따르는 확률적 공정이다.^[12]가우스 분포의 평균 벡터 및 공분산 행렬은 GP를 완전히 명시한다. GP는 대개 함수의 선행 분포로 사용되며, 따라서 평균 벡터 및 공분산 행렬은 함수로 볼 수 있는데, 여기서 공분산 함수를 GP의 커널이라고도 한다.함수 $f{\displaystyle }$ ${\displaystyle f}$이(가) 평균 $함수{\displaystyle }$ m ${\displaystyle m}$ 및 커널 함수 $k{\displaystyle }$ ${\displaystyle k}$을$($를) 사용하여 가우스 프로세스를 따르도록$$ 하십시오.

${\displaystyle f\sim {\mathcal {GP}(m,k)}$

In terms of the underlying Gaussian distribution, we have that for any finite set ${\displaystyle \mathbf {X} =\{\mathbf {x} _{i}\}_{i=1}^{n}}$ if we let ${\displaystyle f(\mathbf {X} )=[f(\mathbf {x} _{1}),\ldots ,f(\mathbf {x} _{n})]^{\top }}$$$ 그때

${\displaystyle f(\mathbf {X} )\심 {\mathcal {N}(\mathbf {m},\mathbf {K}),}$

where ${\displaystyle \mathbf {m} =m(\mathbf {X} )=[m(\mathbf {x} _{1}),\ldots ,m(\mathbf {x} _{N})]^{\top }}$ is the mean vector and ${\displaystyle \mathbf {K} =k(\mathbf {X} ,\mathbf {X} )}$ is the covariance matrix of the multivariate Gaussian di공로를 세우다

추정기의 유도

회귀 컨텍스트에서 우도 함수는 대개 가우스 분포로 가정되며 관측치는 독립적이고 동일한 분포(iid)로 간주된다.

${\displaystyle p(y f,\mathbf {x},\sigma ^{2}={\mathcal{N})(f(\mathbf {x}),\sigma ^{2}).}$

$이{\displaystyle {}^{}}$ 가정은 분산이 ${\displaystyle {2\mathrm{}}^{}}$ ${\$인 0-mean 가우스 노이즈로 손상된 관측치에 해당한다$.$iid 가정은 입력 $X{\displaystyle \mathbf{}}$ ${\$과(와$)$ ${\displaystyle {노이즈}^{}}$의 분산 $display$ 2 {\$displaystyle$ \$sigma$$^{$2}}, 따라서 후분포를 분석적으로 계산할 수 있다.테스트 입력 벡터 $x{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\${${\displaystyle x\mathbf{}}$$} '}$의 경우$,$ $교육{\displaystyle }$ $데이터$ S ${\displaystyle =}${ ${\displaystyle X\mathbf{},}$ Y${\displaystyle \}}$ ${\displaystyle$ S$=\\\\mathbf {X},\mathbf {Y} \}}}}$이$($가) 지정된 후분포를 통해

${\displaystyle p(\mathbf {x}') S,\mathbf {x},{\boldsymbol {\phi }}={\mathcal{N}(\mathbf {x}),\sigma ^{2}(\mathbf {x}),},}}}}}}$

여기서 ${\$은(는) ${\displaystyle {variance\mathrm{}}^{}}$ 2 ${\$^{2$}$노이즈 분산과$$ 공분산 함수 $k{\displaystyle }$ ${\displaysty k}$의 모든 파라미터의 분산을 포함하는 매개 변수 집합을 의미한다$$.

${\displaystyle {\begin{aligned}m(\mathbf {x} ')&=\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {Y} ,\\\sigma ^{2}(\mathbf {x} ')&=k(\mathbf {x} ',\mathbf {x} ')-\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} .\end{aligned}}}$

정규화와 베이즈 간의 연결

정규화 이론과 베이지안 이론 사이의 연관성은 유한 치수 RKHS의 경우에만 달성될 수 있다.이러한 가정 하에서 정규화 이론과 베이시안 이론은 가우스 공정 예측을 통해 연결된다.^[3][12]

유한 치수 사례에서 모든 RKHS는 형상^[2] 지도 $map{\displaystyle \mathrm{}}$: X${\displaystyle }$→ ${\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$ 화살표 $\mathb{R} ^{p}}}}$의 관점에서 설명될 수 있다.

${\displaystyle k(\mathbf {x},\mathbf {x} ')=\sum _{i=1}^{p}\Phi ^{i}(\mathbf {x} )\Phi ^{i}(\mathbf {x} ').}$

그런 다음 $커널{\displaystyle \mathbf{}}$K {\$displaystyle \mathbf$ {$K}이($가) 있는 RKHS의 함수를 다음과 같이 기록할 수 있다$$.

${\displaystyle f_{\mathbf {w}}}}(\mathbf {x} )=\sum _{i=1}^{p}\mathbf {w}\Phi ^{i}(\mathbf {x} )=\langle \mathbf {w},\Phi(\mathbf {x} )\angle ,}$

그리고 우리는 또한 그것을 가지고 있다.

${\displaystyle \ f_{\mathbf {w}\\{k}=\ \mathbf {w}\ .}$

$이제{\displaystyle \mathbf{}}$ w${\displaystyle }$=${\displaystyle }$[ ${\displaystyle {}^{}}$ ${\displaystyle {1\mathrm{}}^{}}$,${\displaystyle }$… ,${\displaystyle {}^{}}$ ${\displaystyle p^{}{}^{}}$]${\displaystyle {\mathrm{}}^{}}${ ${\$을(를) 평균 및 ID 공분산 행렬이 0인 다변량 가우스 분포에 따라 분포한다고$$ 가정하여 가우스 프로세스를 구축할 수 있다.

${\displaystyle \mathbf {w} \sim {\mathbf {I}}\propto \exp(-\\ \mathbf {w}\ ^{2}).}$

가우스 가능성이 있다고 가정하면

${\displaystyle P(\mathbf {Y} \mathbf {X} ,f)={\mathcal {N}}(f(\mathbf {X} ),\sigma ^{2}\mathbf {I} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\ f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \ ^{2}\right),}$

where ${\displaystyle f_{\mathbf {w} }(\mathbf {X} )=(\langle \mathbf {w} ,\Phi (\mathbf {x} _{1})\rangle ,\ldots ,\langle \mathbf {w} ,\Phi (\mathbf {x} _{n}\rangle )}$.그 결과 후분포는 다음과 같다.

${\displaystyle P(f \mathbf {X} ,\mathbf {Y} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\ f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \ _{n}^{2}+\ \mathbf {w} \ ^{2}\right)}$

최대 후방(MAP) 추정치는 타이코노프 정규화를 정의하는 최소화 문제와 동등하다는 것을 알 수 있다. 이 경우 베이시안 사례에서 정규화 매개변수는 소음 분산과 관련이 있다.

철학적인 관점에서 정규화 설정의 손실 함수는 베이시안 설정의 우도 함수와 다른 역할을 한다.$손실{\displaystyle }$ 함수는 $y{\displaystyle }$ ${\displaystyle y}$ 대신$$ f${\displaystyle }$( x${\displaystyle }$) ${\displaystyle f(\mathbf {x})$를 예측할 때 발생하는 오류를 측정하는 반면, 우도 함수는 생성 과정에서 참으로 가정된 모형에서 관측치가 얼마나 발생할 가능성을 측정한다$.$그러나 수학적 관점에서 정규화와 베이시안 프레임워크의 공식은 손실 함수와 우도 함수를 $가능$한 한 라벨$$ y ${\displaystyle$ y$}$에 근접한 함수$$ $f{\displaystyle }$ ${\displaystyle f}$의 추론을 촉진하는 수학적 역할을 하도록 만든다.

참고 항목

• 정규화 최소 제곱
• 베이지안 선형 회귀 분석
• 타이코노프 정례화에 대한 베이지안적 해석

참조