경쟁력 있는 학습

경쟁 학습은 노드가 입력 ^[1]데이터의 하위 집합에 응답할 권리를 위해 경쟁하는 인공 신경 네트워크에서 감독되지 않은 학습의 한 형태이다.Hebbian 학습의 변형인 경쟁력 학습은 네트워크 내 각 노드의 전문성을 높임으로써 작동합니다.데이터 내에서 클러스터를 찾는 데 매우 적합합니다.

경쟁 학습의 원리에 근거한 모델·알고리즘에는 벡터 양자화·자기 조직화 지도(고호넨 지도)가 포함된다.

원칙

경쟁 학습 ^[2]^[3]규칙에는 세 가지 기본 요소가 있습니다.

무작위로 분포된 시냅스 가중치를 제외하고 모두 동일한 뉴런 집합으로, 따라서 주어진 입력 패턴 집합에 다르게 반응합니다.
각 뉴런의 "강도"에 부과되는 한계
한 번에 하나의 출력 뉴런(또는 그룹당 하나의 뉴런)만 활성화(즉, "on")되도록 뉴런이 주어진 입력 서브셋에 응답할 권리를 위해 경쟁할 수 있는 메커니즘.경쟁에서 이기는 뉴런은 "승자독식" 뉴런이라고 불립니다.

따라서 네트워크의 개별 뉴런은 유사한 패턴의 앙상블을 전문적으로 다루는 법을 배우고, 그렇게 함으로써 다른 종류의 입력 패턴에 대한 '특징 검출기'가 된다.

경쟁 네트워크가 소수의 출력 뉴런 중 하나에 상관된 입력 세트를 재코딩한다는 사실은 생물학적 감각 시스템에서 ^[4]^[5]처리의 필수적인 부분인 표현의 중복성을 근본적으로 제거합니다.

아키텍처 및 구현

경쟁력 있는 뉴럴 네트워크 아키텍처

Competitive Learning은 일반적으로 "competitive layer"^[6]로 알려진 숨겨진 레이어를 포함하는 뉴럴 네트워크를 통해 구현됩니다.모든 경쟁 뉴런은 무게 ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ w ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ i ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ ( ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ , . , ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ ) T , ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ 1, ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ . , ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ { $display$ { style \ $mathbf$ { $w$ } _ { $i$ } = \ $leftw_{i1$ } , . , w _ { $id}$ \ $right$ )^에 의해 설명됩니다. ${T},i=1$ , $..,$ ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ $}$ 및 ${\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M$ 입력 ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ n ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ ( ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ , . , ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ d ) T ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ R d ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ { \ $displaystyle$ { $mathbf { x$ }^{n} = \ $leftx_{n1},$ .. $x_nd}\$ )^ $사이$ 의 유사도 측도를 계산합니다. ${T}\in \mathbb {R}^{d}}$ 및 ${\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}$ 중량 ${\mathbf {w} }_{i}$ ${\mathbf {w} }_{i}$ \ $displaystyle {\mathbf {w}_$ { $i}.$

모든 입력 벡터에 대해 경쟁 뉴런은 어떤 것이 특정 입력 벡터와 가장 유사한지 보기 위해 서로 경쟁합니다.승자 뉴런 m은 $o_{m}=1$ $o_{m}=1$ {\ $displaystyle$ $o_{m$ }=1 $}$ 을 $설정$ 하고 $다른$ 모든 $o_{m}=1$ 경쟁 뉴런은 출력 $o_{i}=0,i=1,..,M,i\neq m$ , $o_{i}=0,i=1,..,M,i\neq m$ $o_{i}=0,i=1,..,M,i\neq m$ $o_{i}=0,i=1,..,M,i\neq m$ , $o_{i}=0,i=1,..,M,i\neq m$ . $o_{i}=0,i=1,..,M,i\neq m$ , $o_{i}=0,i=1,..,M,i\neq m$ M , $o_{i}=0,i=1,..,M,i\neq m$ $o_{i}=0,i=1,..,M,i\neq m$ m , i $m$ m $=$ 0 , i $= 1$ , . , $i$ 、 .. , $M$ , $neq$ m $o_{i}=0,i=1,..,M,i\neq m$ 를 $o_{i}=0,i=1,..,M,i\neq m$ 합니다.

일반적으로 유사성을 측정하기 위해 입력 ${\mathbf {x} }^{n}$ ${\mathbf {x} }^{n}$ $\left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|$ ${\mathbf {w} }_{i}$ $wwstyle {\mathbf$ ${\mathbf {x} }^{n}$ { $x$ $}^{{display$ $\$ $style$ $}{\$ $mathbf {x$ $}}\$ $right$ $\} 사이$ 의 $\left\|{{{\mathbf {x}}}-{{\mathbf {w}}}_{i}}\right\|$ ${{\mathbf {x}}}^{n}$ $\left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|$ 유클리드 거리의 $\left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|$ 를 사용합니다.

알고리즘 예시

다음은 입력 데이터 내에서 3개의 클러스터를 찾기 위한 간단한 경쟁 학습 알고리즘입니다.

1. (셋업)센서 세트를 모두 3개의 다른 노드에 공급하여 모든 노드가 모든 센서에 연결되도록 합니다.각 노드가 센서에 부여하는 가중치를 0.0과 1.0 사이에서 임의로 설정합니다.각 노드의 출력을 모든 센서의 합으로 하고 각 센서의 신호 강도에 가중치를 곱합니다.

2. 넷에 입력이 표시되었을 때 출력이 가장 높은 노드가 승자로 간주됩니다.입력은 해당 노드에 대응하는 클러스터 내에 있는 것으로 분류됩니다.

3. 우승자는 각각의 무게를 갱신하여 약한 신호를 준 연결부에서 강한 신호를 준 연결부로 무게를 이동합니다.

따라서 더 많은 데이터가 수신될수록 각 노드는 자신이 나타내게 된 클러스터의 중심에 수렴되어 이 클러스터의 입력에 대해 더 강하게 활성화되고 다른 클러스터의 입력에 대해서는 더 약하게 활성화됩니다.

「」를 참조해 주세요.

레퍼런스

^ Rumelhart, David; David Zipser; James L. McClelland; et al. (1986). Parallel Distributed Processing, Vol. 1. MIT Press. pp. 151–193.
^ 루멜하트, 데이비드 E., 데이비드 집서."경쟁적 학습을 통한 특징 발견"인지과학 9.1(1985) : 75-112.
^ 헤이킨, 사이먼 뉴럴 네트워크포괄적인 기반입니다."Neural Networks 2.2004 (2004)
^ 바로우, 호레이스 B "무감독 학습"신경계산 1.3(1989) : 295-311.
^ 에드먼드 T..롤스, 구스타보 데코.시각의 계산 신경 과학입니다.옥스퍼드:옥스포드 대학 출판부, 2002년.
^ Salatas, John (24 August 2011). "Implementation of Competitive Learning Networks for WEKA". ICT Research Blog. Retrieved 28 January 2012.

상세정보 및 소프트웨어

보고서 초안 "몇 가지 경쟁력 있는 학습 방법" (관련 알고 설명 포함)
DemoGNG - 경쟁력 있는 학습 방법을 위한 Java 시뮬레이터

[1] Rumelhart, David; David Zipser; James L. McClelland; et al. (1986). Parallel Distributed Processing, Vol. 1. MIT Press. pp. 151–193.

[2] 루멜하트, 데이비드 E., 데이비드 집서."경쟁적 학습을 통한 특징 발견"인지과학 9.1(1985) : 75-112.

[3] 헤이킨, 사이먼 뉴럴 네트워크포괄적인 기반입니다."Neural Networks 2.2004 (2004)

[4] 바로우, 호레이스 B "무감독 학습"신경계산 1.3(1989) : 295-311.

[5] 에드먼드 T..롤스, 구스타보 데코.시각의 계산 신경 과학입니다.옥스퍼드:옥스포드 대학 출판부, 2002년.

[6] Salatas, John (24 August 2011). "Implementation of Competitive Learning Networks for WEKA". ICT Research Blog. Retrieved 28 January 2012.

[1]

[2]

[3]

[4]

[5]

[6]

Search

경쟁력 있는 학습

네임스페이스

더

목차

원칙

아키텍처 및 구현

알고리즘 예시

「」를 참조해 주세요.

레퍼런스

상세정보 및 소프트웨어

Search

경쟁력 있는 학습

원칙

아키텍처 및 구현

알고리즘 예시

「 」를 참조해 주세요.

레퍼런스

상세정보 및 소프트웨어

「」를 참조해 주세요.