클러스터 가중 모델링

데이터 마이닝에서 클러스터 가중 모델링(CWM)은 입력 공간의 하위 영역에서 각각 개념적으로 적절한 모델(클러스터)을 사용하여 밀도 추정에 기초한 입력(독립 변수)의 출력(종속 변수)의 비선형 예측에 대한 알고리즘 기반 접근방식이다.전체적인 접근 방식은 공동 입출력 공간에서 작동하며 초기 버전은 Neil Gershenfeld에 의해 제안되었다.^[1][2]

모델의 기본 형태

입력-출력 문제의 클러스터 가중 모델링 절차는 다음과 같이 요약할 수 있다.^[2]입력 변수 x에서 출력 변수 y에 대한 예측 값을 구성하기 위해 모델링 및 교정 절차는 결합 확률 밀도 함수 p(y,x)에 도달한다.여기서 "변수"는 단변량, 다변량 또는 시계열일 수 있다.편의상, 모델 매개변수는 여기 표기법에 명시되어 있지 않으며, 이들을 교정 단계로서 고정된 값으로 설정하거나 베이시안 분석을 사용하여 처리하는 등 여러 가지 다른 처리가 가능하다.필요한 예측 값은 조건부 기대값을 사용한 예측을 얻을 수 있는 조건부 확률 밀도 p(y x)를 구성하여 얻으며, 조건부 분산이 불확실성을 나타낸다.

모델링의 중요한 단계는 p(y x)가 혼합물 모델로서 다음과 같은 형태를 취하는 것으로 가정된다.

${\displaystyle p(y,x)=\sum _{1}^{1}w_{j}p_{j}(y,x),}$

여기서 n은 군집 수이고 {w_j}은 1을 합한 가중치다.함수_j p(y,x)는 각 n 군집과 관련된 합동 확률밀도함수다.이러한 함수는 조건부 및 한계 밀도로 분해하여 모델링한다.

${\displaystyle p_{j}(y,x)=p_{j}(y x)p_{j}(x),}$

여기서:

• p_j(y x)는 y 주어진 x를 예측하기 위한 모델이며, 입력-출력 쌍이 x의 값에 기초하여 클러스터 j와 연결되어야 한다는 점을 감안한 모델이다.이 모형은 가장 간단한 경우 회귀 모형일 수 있다.

• p_j(x)는 입력-출력 쌍이 클러스터 j와 연관되어야 한다는 점을 감안할 때 공식적으로 x의 값에 대한 밀도다.클러스터 간의 이러한 함수의 상대적 크기는 x의 특정 값이 주어진 클러스터 중심과 연관되어 있는지 여부를 결정한다.이 밀도는 클러스터-중심을 나타내는 매개변수에 중심을 맞춘 가우스 함수일 수 있다.

회귀 분석과 같은 방법으로, 모형의 핵심 구성요소가 군집-현상 조건 밀도에 대한 단순한 회귀 모형과 군집 가중 밀도 p_j(x)에 대한 정규 분포인 경우 전체 모델링 전략의 일부로 예비 데이터 변환을 고려하는 것이 중요할 것이다.

일반 버전

기본 CWM 알고리즘은 각 입력 클러스터에 대해 단일 출력 클러스터를 제공한다.그러나 CWM은 동일한 입력 클러스터와 여전히 연결된 여러 클러스터로 확장할 수 있다.^[3]CWM의 각 클러스터는 가우스 입력 영역으로 지역화되어 있으며, 여기에는 자체적인 트레인 가능한 로컬 모델이 포함되어 있다.^[4]단순성, 일반성, 유연성을 제공하는 다용도 추론 알고리즘으로 인정받고 있으며, 피드포워드 계층 네트워크를 선호할 수 있는 경우에도 훈련 문제의 성격에 대한 "제2의 의견"으로 사용되기도 한다.^[5]

게르센펠트가 제안한 원형은 다음과 같은 두 가지 혁신을 설명한다.

• CWM이 연속적인 데이터 스트림에서 작동
• CWM 파라미터 조정 프로세스에서^[5] 발생하는 로컬 미니마의 문제 해결

CWM은 입력 매개 변수에 대한 공동 종속성이 있는 출력을 생성하기 위해 최소 두 개의 매개 변수를 사용하여 프린터 응용 프로그램에서 미디어를 분류하는 데 사용할 수 있다.^[6]

참조