학습 벡터 정량화

컴퓨터 과학에서 학습 벡터 정량화(LVQ)는 프로토타입 기반의 감독 분류 알고리즘이다.LVQ는 벡터 정량화 시스템의 감독 대상이다.

개요

LVQ는 인공 신경망의 특별한 사례로 이해될 수 있으며, 보다 정확하게는 승자독식 헤비안 학습 기반 접근법을 적용한다.자가조직 지도(SOM)와 신경가스 관련, k-NN 알고리즘(k-nearly neighly neighborhood algorithm, k-NN)의 전구다.LVQ는 Teuvo Kohonen에 의해 발명되었다.^[1]

LVQ 시스템은 관측된 데이터의 형상 공간에 정의된$$ $W{\displaystyle }$=${\displaystyle }$( ${\displaystyle w}$( ${\displaystyle i}$)${\displaystyle }$,${\displaystyle }$.${\displaystyle }$. . . ${\displaystyle w}$ (${\displaystyle n}$)${\displaystyle W=(w(i), ...,$ w$(n)}$ 프로토타입으로 표현된다.승자독식 훈련 알고리즘에서는 주어진 거리 측정에 따라 입력에 가장 가까운 프로토타입을 각 데이터 포인트에 대해 결정한다.이 소위 우승자 프로토타입의 위치는 그 다음, 즉, 우승자가 데이터 포인트를 정확하게 분류할 경우 가까이 이동하거나, 데이터 포인트를 잘못 분류할 경우 멀어진다.

LVQ의 장점은 각 애플리케이션 영역의 전문가가 해석하기 쉬운 프로토타입을 만든다는 점이다.^[2]LVQ 시스템은 다종류 분류 문제에 자연스럽게 적용될 수 있다.그것은 다양한 실용적인 용도에 사용된다.'자체 조직 지도(SOM) 및 학습 벡터 정량화(LVQ)'의 Bibliography'를 참조하십시오.

LVQ의 핵심 쟁점은 훈련과 분류에 대한 거리 또는 유사성의 적절한 척도의 선택이다.최근에는 시스템을 훈련하는 과정에서 매개변수화된 거리 측정(예: Schneider, Bihl, Hammer, 2009)^[3]과 이에 대한 참조를 채택하는 기술이 개발되었다.

LVQ는 텍스트 문서 분류에 큰 도움이 될 수 있다.^{[citation needed]}

알고리즘.

아래는 비공식적인 설명을 따른다.
알고리즘은 세 가지 기본 단계로 구성된다.알고리즘의 입력은 다음과 같다.

• 시스템에서 $M{\displaystyle }$ ${\displaystyle M}$을(를) 가질 뉴런 수($$가장 간단한 경우 클래스 수와 동일)
• $각{\displaystyle }$ 뉴런이 w ${\displaystyle \stackrel{}{i_{}}}$→ ${\$ {$w_{i}}}},$ ${\displaystyle i}$= ${\displaystyle 0,}$ 1${\displaystyle ,}$ . ${\displaystyle .,}$ M${\displaystyle }$- ${\displaystyle 1}$ ${\displaystyle i=0,1,...,M-1}$에 대해 갖는 무게
• 각 뉴런 $w{\displaystyle \stackrel{}{{}_{}}}$ ${\displaystyle \stackrel{}{i_{}}}$→ ${\$$displaystyle c_{i}}}$에 해당하는$$ 라벨 ${\displaystyle c_{}}$ $i{\displaystyle {}_{}}$ ${\$$displaystyle {\vec {w_{i}}}}}$
• $뉴런$이 얼마나 빠르게 학습하고 있는지 ${\displaystyle \eta}$
• 라벨이 이미 알려진 모든 벡터가 포함된$$ 입력 $목록{\displaystyle }$ L ${\displaystyle$ L$}($교육 세트)

알고리즘의 흐름:

1. 다음 입력 $x{\displaystyle \stackrel{}{}}$→ ${\$$displaystyle {\vec{x}}($$L{\displaystyle }$ {\$displaystyle L}$ 레이블 $y{\displaystyle }$ ${\\displaystyle$ y$}$포함${\displaystyle \stackrel{}{{}_{}}}$의 경우 ${\displaystyle \stackrel{}{{가장}_{}}}$ 가까운 뉴런$$w → {\$displaystyle {\vec$ {w_${$m$\}\}\}\}\}\}\}\},$
   i.e. ${\displaystyle d({\vec {x}},{\vec {w_{m}}})=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}}$, where ${\displaystyle \,d}$ is the metric used ( Euclidean, etc. ).
2. Update ${\displaystyle {\vec {w_{m}}}}$. A better explanation is get ${\displaystyle {\vec {w_{m}}}}$ closer to the input ${\displaystyle {\vec {x}}}$, if ${\displaystyle {\vec {x}}}$ and ${\displaystyle {\vec {w_{m}}}}$ belong to the same label and ge그렇지 않으면 더 멀리 떨어지게 될 거야
   ${\displaystyle {\vec {w_{m}}}\gets {\vec {w_{m}}}+\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)}$ if ${\displaystyle c_{m}=y}$ (closer together)
   or ${\displaystyle {\vec {w_{m}}}\gets {\vec {w_{m}}}-\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)}$ if ${\displaystyle c_{m}\neq y}$ (further apart).
3. $L{\displaystyle }$ ${\displaystyle L}$에 벡터가 남아 있는 경우 1단계로 이동하거나$$ 종료하십시오.

${\displaystyle \stackrel{}{{참고}_{}}}$: w $i{\displaystyle \stackrel{}{{}_{}}}$→ ${\$ $및$ x${\displaystyle \stackrel{}{}}$→ ${\$은(는) 형상 공간의 벡터다.
자세한 설명은 http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/에서 확인할 수 있다.

참조

추가 읽기

• 특성 시퀀스, 소머부오 및 코호넨에 대한 자기 조직 지도 및 학습 벡터 정량화. 2004년(pdf)

외부 링크

• WEKA를 위한 LVQ: WEKA 기계 학습 워크벤치를 위한 LVQ 변종(LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3)의 구현.
• 코호넨과 그의 팀의 lvq_pak 공식 발매(1996)
• LVQ for WEKA: WEKA Machine Learning Workbench용 Java에서 LVQ의 또 다른 구현.
• GMLVQ 툴박스 : (c)매트랩에서 일반화 매트릭스 LVQ(매트릭스 관련성 학습)를 쉽게 구현
• WEKA용 GMLVQ: WEKA Machine Learning Workbench용 Java의 General Matrix LVQ(매트릭스 관련 학습)