다중 커널 학습

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

다중 커널 학습은 미리 정의된 커널 집합을 사용하여 알고리즘의 일부로 커널의 최적의 선형 또는 비선형 조합을 학습하는 일련의 기계 학습 방법을 말합니다.복수의 커널 러닝을 사용하는 이유에는 a) 보다 큰 세트의 커널에서 최적의 커널과 파라미터를 선택할 수 있는 능력, 보다 자동화된 머신 러닝 방법을 허용하면서 커널 선택에 의한 편향을 줄이고 b) 다른 소스의 데이터(예: 비디오의 사운드와 이미지)를 결합하는 기능 등이 있습니다.f 유사성 때문에 다른 커널이 필요합니다.새로운 커널을 생성하는 대신 여러 커널 알고리즘을 사용하여 각 개별 데이터 소스에 대해 이미 설정된 커널을 결합할 수 있습니다.

비디오에서의 ^[1]이벤트 인식, ^[2]이미지에서의 객체 인식, 생물의학 데이터 융합과 ^[3]같은 여러 가지 커널 학습 접근법이 많은 애플리케이션에서 사용되어 왔다.

알고리즘

다중 커널 학습 알고리즘은 감독, 반감독 및 비감독 학습을 위해 개발되었다.대부분의 작업은 커널의 선형 조합을 사용하여 감독된 학습 사례에 대해 수행되었지만, 많은 알고리즘이 개발되었다.복수의 커널 학습 알고리즘의 배후에 있는 기본적인 생각은 학습 알고리즘의 최소화 문제에 추가 파라미터를 추가하는 것입니다.예를 들어 $n개$의$n개$의 n개의 $커널$ K의 $선형$ 조합에 대한 감독 학습의 경우를 생각해 봅시다.$여기$서 새로운 $커널{\displaystyle {}^{}}$ K ${\displaystyle \underset{}{\overset{}{=}}}$1 ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle {\beta }_{}}$ ${\displaystyle {}_{}{}_{}}$ K$$ \ $display style$ K$'$ = \ $sum$_ { i$$=$$1 ${\displaystyle \underset{}{\overset{}{}}}$ }^{ $n$}\ $sum$ _ { $i$} \ $tyledisplay$ K _ { $}$ display$$。각 커널에 대해.커널은 (커널 힐버트 공간을 재현하는 속성 때문에) 가법적이기 때문에 이 새로운 함수는 여전히 커널입니다.$라벨{\displaystyle }$ Y$({displaystyle$ Y$\})$가 붙은 $데이터{\displaystyle }$세트 X({$displaystyle$X$$})의 경우 최소화 문제는 다음과 같이 기술할 수 있습니다.

$\displaystyle \min _{\beta,c}\mathrm {E}(Y,K'c)+R(K,c)}$

$여기$서 E$(\$는 오류 $함수$이고 R$(\displaystyle$ R$)$은 정규화 용어입니다.$(\$는 일반적으로 제곱 손실 함수(Tikhonov 정규화) 또는 힌지 손실 함수(SVM 알고리즘의 경우)이며$,$ R(\$displaystyle$ R$)$은 일반적으로 ${\displaystyle n_{}}$n(\$displaystyle \ell$ _${n})$ 또는$$ 규범 조합(탄성 네트 정규화)입니다.이 최적화 문제는 표준 최적화 방법으로 해결할 수 있습니다.순차적 최소 최적화와 같은 기존 기술의 적응도 여러 커널 SVM 기반 ^[4]방법을 위해 개발되었습니다.

지도 학습

지도 학습의 경우, 커널의 형태를 학습하기 위해 다른 방법을 사용하는 많은 알고리즘이 있습니다.다음 분류는 Gonen과 Alpaydyn(2011)^[5]에 의해 제안되었다.

고정 규칙 접근

위에서 설명한 선형 조합 알고리즘과 같은 고정 규칙 접근 방식은 규칙을 사용하여 커널 조합을 설정합니다.이들은 모수화가 필요하지 않으며 합산 및 곱셈과 같은 규칙을 사용하여 커널을 결합합니다.가중치는 알고리즘으로 학습됩니다.고정 규칙의 다른 예로는 다음과 같은 형식의 쌍별 커널이 있습니다.

${\displaystyle k}$( ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle 1_{}}$i , ${\displaystyle {}_{}}$ ${\displaystyle 1_{}}$j${\displaystyle }$)${\displaystyle }$, ( ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}{i}_{}}$ , ${\displaystyle {}_{}}$ ${\displaystyle 2_{}}$j${\displaystyle }$) $=$ ( ${\displaystyle {}_{}}$ ${\displaystyle 1_{}}$i , ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle 2_{}{}_{}{j}_{}}$)${\displaystyle }$+${\displaystyle }$k ( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}{i}_{}}$ , ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle 2_{}}$j )${\displaystyle k}$ ( ${\displaystyle {}_{}}$ ${\displaystyle 1_{}}$j , ${\displaystyle {}_{}}$ ${\displaystyle 2_{}}$i$$) k ( x 1 j , ${\displaystyle {x\mathrm{}}_{}}$ 2 i ) （ $display style$k ( $x _$ { 1 } , $x _$ { 1 j ) , x { 1 j 、 x 2 j ） 、 { $i$}

이러한 쌍별 접근법은 단백질-단백질 ^[6]상호작용을 예측하는 데 사용되어 왔다.

휴리스틱 어프로치

이러한 알고리즘은 파라미터화된 조합 함수를 사용합니다.파라미터는 일반적으로 단일 커널 퍼포먼스 또는 커널 매트릭스에서의 일부 연산에 기초하여 각 개별 커널에 대해 정의됩니다.그 예로는 Tenabe 등의 커널이 있습니다.(2008년).^[7]Letting ${\displaystyle \pi _{m}}$ be the accuracy obtained using only ${\displaystyle K_{m}}$, and letting ${\displaystyle \delta }$ be a threshold less than the minimum of the single-kernel accuracies, we can define

${\displaystyle _{m}=subfrac {\sum _{h=1}^{n}(\pi _{h}-\sublic}}$

다른 접근법에서는 다음과 같은 커널 유사성의 정의를 사용합니다.

$({displaystyle A(K_{1}, K_{2})=param frac {\paramle K_{1}, K_{1}\rangle \paramle K_{2}, K_{2}\rangle }})$

이 척도를 사용하여 Qui와 Lane(2009)^[8]은 다음과 같은 경험적 접근법을 사용하여 다음을 정의했다.

${\displaystyle \display_{m}=displayfrac {A(K_{m})YY^{T}}{\sum _{h=1}^{n}A(K_{h})YY^{T}}}}}}$

최적화 어프로치

이러한 접근법은 커널 조합 함수의 파라미터를 결정하기 위한 최적화 문제를 해결합니다.이는 유사성 측정과 구조적 위험 최소화 접근방식을 통해 수행되었다.위에서 정의한 것과 같은 유사성 측정의 경우 다음과 ^[9]같이 문제를 공식화할 수 있습니다.

$\displaystyle \max _{\tra},\operatorname {tr}(K'_{tra})=1,K'\geq 0}A(K'_{tra})YY^{T})}$

${\displaystyle {여기}_{}^{}}$서 K ${\displaystyle t_{}^{}}$ r ${\displaystyle a_{}^{}}$ $(\$ K$'_{tra})$는 트레이닝 세트의 핵심입니다.

사용된 구조적 위험 최소화 접근법에는 Lanckriet 등이 사용한 것과 같은 선형 접근법이 포함된다.(2002).^[10]표준 SVM 문제를 해결한 후 커널${\displaystyle }\theta {\displaystyle }$ (${\displaystyle K}$) \$displaystyle \omega (K)}$의 타당성을 목적 함수의 값으로 정의할 수 있다.다음으로 다음과 같은 최소화 문제를 해결할 수 있습니다.

$\displaystyle \min _{\operatorname {tr}(K'_{tra})=c}\operatorname(K'_{tra})}$

$여기$서 c$\displaystyle$c는$$ 양의 상수입니다.예를 들어 개별 커널에 대해 음이 아닌 가중치를 사용하고 커널의 비선형 조합을 사용하는 등 문제를 수정하고 해결하는 다른 방법들과 함께 많은 다른 변형들이 같은 아이디어에 존재한다.

베이지안 어프로치

베이지안 접근법은 커널 파라미터에 우선순위를 두고 파라미터 값과 기본 알고리즘을 학습합니다.예를 들어, 결정 함수는 다음과 같이 쓸 수 있습니다.

${{displaystyle f(x)=\sum _{i=0}^{n}\alpha _{i}^{p}\eta _{m}K_{m}(x_{i}^{m})$

$δ {\displaystyle$ \eta$}$는 디리클레 선행으로 모델링할 수 있으며$α {\displaystyle$ \alpha$}$는 0-평균 가우스 및 역 감마 분산을 선행으로 모델링할 수 ${\displaystyle \mathrm{있습니다}}$.그런 다음 이 모델은 깁스 샘플러와 함께 맞춤형 다항 프로빗 접근방식을 사용하여 최적화된다.

^[11] 이 방법들은 단백질 접힘 인식 및 단백질 호몰로지 문제와 같은 응용 분야에서 성공적으로 사용되어 왔다.

어프로치의 향상

부스트 접근법은 성능 함수의 일부 중지 기준에 도달할 때까지 새로운 커널을 반복적으로 추가합니다.그 예로는 Bennett 등이 개발한 MARK 모델이 있다.(2002년)

${\displaystyle f(x)=\sum _{i=1}^{N}\sum _{m=1}^{P}\alpha _{i}^{m}K_{m}(x_{i}^{m},x^{m}+b}$

${\displaystyle {파라미터\alpha }_{}^{}}$ i$$ {\$displaystyle \alpha$ _${i}^{m}}$ 및$b{\displaystyle }$ {\$displaystyle$ b$}$는 좌표 기반의 경사 강하로 학습된다.이렇게 해서 강하 알고리즘의 각 반복은 각 특정 반복에서 선택하기에 가장 좋은 커널 열을 식별하고 그것을 결합 커널에 추가합니다.그런 다음 모델을 다시 실행하여 최적의 ${\displaystyle {가중치\alpha }_{}}$i \ $displaystyle$\ $alpha$_ { $i}$ $및$ b \ $displaystyle$b$$를 생성합니다.

반감독적 학습

여러 커널 학습에 대한 반감독 학습 접근법은 다른 감독 학습 접근법의 확장과 유사합니다.이미지 분류를 위해 라벨이 부착되지 않은 데이터에 대한 조건부 기대 합의를 가진 로그 우도 경험적 손실 및 그룹 LASSO 정규화를 사용하는 유도 절차가 개발되었습니다.우리는 다음과 같이 문제를 정의할 수 있습니다.${\displaystyle {}_{}}$ $=$ ( ${\displaystyle x_{}}$i , ${\displaystyle y_{}}$i$$) { $displaystyle$ L={($x_{i$, $y_{i}}}}}}$을 레이블이 지정된 $데이터$로 하고 U $=$ x i {${$를 레이블이 지정되지$$ 않은 $데이터{\displaystyle }$ 집합으로 합니다.그러면 다음과 같이 결정 함수를 쓸 수 있습니다.

${\displaystyle f(x)=\alpha _{0}+\sum _{i=1}^{L}\alpha _{i}K_{i}(x)}$

이 문제는 다음과 같이 기술할 수 있습니다.

$\displaystyle \min _{f}L(f)+\lambda R(f)+\gamma \Theta(f)}$

$여기$서$$L {\$displaystyle$ L$}$은 손실 함수(이 경우 가중치 음의 로그 우도),$R{\displaystyle }$ {\$displaystyle$ R$}$은 정규화 파라미터(이 경우 그룹 LASO),$\theta {\displaystyle \mathrm{}}$ {\$displaystyle \Theta }$는 라벨이 부착되지 않은 데이터에 대한 조건부 기대 합의(CEC) 패널티이다.CEC 패널티는 다음과 같이 정의됩니다.모든 데이터에 대한 한계 커널 밀도를 설정합니다.

${\displaystyle g_{m}^{\pi }(x)=\displayle \phi _{m}^{\pi },\psi _{m}(x)\rangle }$

여기서 ${\displaystyle m_{}m}$ (${\displaystyle }$x ) ${\displaystyle =}$ [ ${\displaystyle {}_{}{m}_{}}$ ( ${\displaystyle {x\mathrm{}}_{}}$1,${\displaystyle }$x${\displaystyle }$) , ${\displaystyle ...}$ , ${\displaystyle K_{}}$m ( ${\displaystyle x_{}}$L ,${\displaystyle x{}^{}}$) ]${\displaystyle T^{}}${ $display$style \$psi$_ { $m$} ( x )$=$ [ $K$_ { $m$} ( $x$_ { { $l$, x ) \$ldots$, $K$_ { $m$} ( x ) ^$$]{$T}($라벨 부착 데이터와 라벨 부착되지 않은 모든 데이터 사이의 커널 거리) 및 ${\displaystyle {}_{}^{}}$ $†$ {$displaystyle \phi$ _${m}^{\pi}}$은 2-norm이 1인 음이 아닌 랜덤 벡터이다$.$$(\displaystyle\Pi)$ 값은$$ 각 커널이 투영된 횟수입니다.다음으로 MKD에서 기대 정규화가 실행되어 기준 ${\displaystyle {기대치q}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {\mathrm{pi}}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle y}$ ${\displaystyle g{}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ($){$ $display q _$ { $m$}^{ $pi$}(x ${\displaystyle )\{}$ $display$ $q{\displaystyle {}_{}^{}}$ _ { m }^pi${\displaystyle {}_{}^{}{}_{}^{}}$ ($x$ )$$ ${\displaystyle \mathrm{expect}}$ ${\displaystyle {expect}_{}^{}}$ model model model model $display$ （ ${\displaystyle x}$){ $stylepy$ g ${\displaystyle m_{}^{}}$}{ pi }{ $pi$ }{ pi }{ f$）$ ） ） 。그 후, 다음과 같이 정의한다.

${\displaystyle \Theta = flac {1}{\Pi }}\sum _{\pi =1}^{\Pi } \sum _{m=1}^{M}D(q_{m}^{pi}(x) p_{m}^{\pi }(x) p_{m}^{\pi }(f(x) g_{m}^{\pi }(x)})}$

$여기$서 D${\displaystyle }$( ${\displaystyle Q}$P ) ${\displaystyle =i\frac{}{}}$ i (${\displaystyle i}$ ) ${\displaystyle \frac{}{i}}$Q ( i )${\displaystyle \frac{}{}}$P ( ${\displaystyle \frac{i}{}}$ ) （ i$$） $displaystyle$D ( Q$$P ) = \ $sum$_ {$i }$ Q ( i )\$ln${ $frac { Q$ ( i ) }{$P$ ( i )$$}}는$$ Kullback-Leibler 발산입니다.결합된 최소화 문제는 수정된 블록 경사 강하 알고리즘을 사용하여 최적화된다.자세한 내용은 Wang ^[15]등을 참조하십시오.

비지도 학습

비지도 다중 커널 학습 알고리즘도 Zhang 등에 의해 제안되었다.이 문제는 다음과 같이 정의됩니다.$U{\displaystyle }$ $=$ ${\displaystyle x_{}}$i(\$style$ U={$x_{i})$를 레이블이 없는 데이터 집합으로 합니다.커널 정의는 선형 결합 $커널{\displaystyle {}^{}}$ K ${\displaystyle {\prime }^{}}$ ${\displaystyle =}$ ${\displaystyle \underset{}{\overset{}{i}}}$ i $=$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle {\beta }_{}}$ ${\displaystyle {}_{}{}_{}}$ K$$ { $display style$ K'=\$sum$_{$i=1}^{M}\beta$ _${i}K_{m$입니다. 이 문제에서는 데이터를 커널 거리에 따라 그룹으로 "연결"해야 합니다.$(\$})를$$ $(\$})가$$ 멤버인 $그룹{\displaystyle {}_{}}$ 또는 클러스터로 $합니다{\displaystyle {}_{}}$.손실함수는${i$${\displaystyle {}_{},}$ ${\displaystyle x_{}}$j ) ${\displaystyle {}^{}}$ ${\displaystyle {x{}_{}{}_{}}^{}}$ - x ${\displaystyle {j_{}}^{\mathrm{}}}$2 ( \ $displaystyle \sum$_ {$i=1}^{n}\sum$_ {$x_${j$}\in$ B_${i}K(x_i},x_{j})\left\Vert x_{i}-x_{j}\right\Vert ^2$마지막으로 정규화를 회피합니다.이 용어들을 조합하면 다음과 같이 최소화 문제를 작성할 수 있습니다.

$\displaystyle \min _{\vert,B}\sum _{i}-\sum _{i}-\sum _{x_{j}\in B_{i}K(x_{i},x_{j})_{j}\right\Vert ^2}+\sum_{1}_{n}_{i}_{i}_i}_{i}_{i}_{i}_{i}_{i}_{i}_{i}_{i}_{i}_{i}_{i}\sum_{$

여기서. 이것의 공식은 다음과 같이 정의됩니다.D ${\displaystyle \in {}^{\mathrm{}}}$ , ${\displaystyle {}^{}}$n ×$$ ( \ $displaystyle$D \ $in { 0$ , $1$$$}^{$n$ \ $times$ n$$} )을$$ 행렬로 $합니다{\displaystyle {}_{}}$.${\displaystyle {\mathrm{Dij}}_{}}$ $=$ { $displaystyle D_{ij$}=1}은 x ${\displaystyle i_{}}${$displaystyle x_{i}$와 $x{\displaystyle {}_{}}$ {$displaystyle x_{j}$가 인접함을 $의미$합니다.${\displaystyle {}_{}}$으로 B ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle x{}_{}{j}_{}}$ : ${\displaystyle D_{}}$ ${\displaystyle i_{}}$ j $=$ ${\displaystyle 1}$({$displaystyle B_${i}={$x_{j}):$$D_{ij}=1$ 이러한 그룹도 학습해야 합니다.Zhuang 등에서는 K$(\displaystyle$K)와 ${\displaystyle {그룹}_{}}$Bi(\$displaystyle B_{$i$\})$에 대해 번갈아 최소화 방법을 사용하여 이 문제를 해결합니다.자세한 내용은 Zhuang 등을 참조하십시오.^[16]

라이브러리

사용 가능한 MKL 라이브러리는 다음과 같습니다.

• SPG-GMKL: 백만 개의 ^[17]커널을 처리할 수 있는 확장 가능한 C++ MKL SVM 라이브러리.
• GMKL: MATLAB의 Generalized Multiple Kernel Learning 코드에서는 ${\displaystyle {11\mathrm{}}_{}}$( $display$ style $\ell _ {$1} )및$$ ${\displaystyle {22\mathrm{}}_{}}$( \ $displaystyle \ell$_ {$2}$ )정규화를$$ ^[18]통해 지도학습이 이루어집니다.
• (기타) GMKL : 탄성 네트^[19] 정규화를 실행할 수 있는 다른 MATLAB MKL 코드
• SMO-MKL: 시퀀셜 최소 최적화 MKL 알고리즘용 C++ 소스 코드.$\displaystyle$p-n$$ ^[20]orm 정규화를 실행합니다.
• SimpleMKL : MKL ^[21]SVM의 SimpleMKL 알고리즘을 기반으로 한 MATLAB 코드입니다.
• MKLPy: MKL 및 커널 머신을 위한 Python 프레임워크로, 다음과 같은 다양한 알고리즘을 지원합니다.EasyMKL 등

레퍼런스