패스트ICA

FastICA는 헬싱키 공과대학의 Aapo Hyvaerinen이 발명한 독자적인 성분 분석을 위한 효율적이고 인기 있는 알고리즘이다.^[1]^[2]대부분의 ICA 알고리즘과 마찬가지로, FastICA는 회전 구성 요소의 비가우스성 측도를 최대화하는 고정 지점 반복 체계를 통해 예습된 데이터의 직교 회전을 추구한다.비가우스성은 통계적 독립성을 대리하는 역할을 하는데, 이는 매우 강력한 조건이며 검증하기 위해 무한한 데이터가 필요하다.또한 FastICA는 근사 뉴턴 반복으로 대안으로 도출될 수 있다.

알고리즘.

데이터 예습

Let the $\mathbf {X} :=(x_{ij})\in \mathbb {R} ^{N\times M}$ denote the input data matrix, $M$ the number of columns corresponding with the number of samples of mixed signals and $N$ the number of rows corresponding with the number of independ소스 신호를 넣다Fast를 적용하기 전에 입력 데이터 매트릭스 $\mathbf {X}$ ${\$ 을(를) 예화하거나 가운데를 맞추거나 희게 만들어야 한다 $\mathbf {X}$ .ICA 알고리즘이 그것과 일치해

데이터의 중심을 맞추면 입력 데이터의 각 구성 요소가 저하됨 $\mathbf {X}$ ${\$ 즉,

x_{ij}\왼쪽 화살표 x_{ij}-{\frac {1}{1}{M}\sum _{j^{\premium }{j^{x_{ij^{\prime}}}}

i=1,\ldots ,N

i=1,\ldots ,N

=

i=1,\ldots ,N

,

i=1,\ldots ,N

N

{\displaystyle i=1,\ldots,

j=1,\ldots ,M

}

및 j

i=1,\ldots ,N

j=1,\ldots ,M

=

j=1,\ldots ,M

j=1,\ldots ,M

M

{\displaystyle

j=

1,\ldots, M}

에 대해

j=1,\ldots ,M

센터링 후

\mathbf {X}

{\

의 각 행은

예상

값이 0

{\displaysty 0}

이다

\mathbf {X}

0

Whitening the data requires a linear transformation $\mathbf {L} :\mathbb {R} ^{N\times M}\to \mathbb {R} ^{N\times M}$ of the centered data so that the components of $\mathbf {L} (\mathbf {X} )$ are uncorrelated and have variance one.More precisely, if $\mathbf {X}$ is a centered data matrix, the covariance of $\mathbf {L} _{\mathbf {x} }:=\mathbf {L} (\mathbf {X} )$ is the $(N\times N)$ -dimensional identity matrix, that is,

\mathbrm {E} \left\{\mathbf {x}}\mathbf {L} {L}{\mathbf {x}^{T}\right\}=\mathbf {I} _{N}}}}}}}

A common method for whitening is by performing an eigenvalue decomposition on the covariance matrix of the centered data

\mathbf {X}

,

E\left\{\mathbf {X} \mathbf {X} ^{T}\right\}=\mathbf {E} \mathbf {D} \mathbf {E} ^{T}

, where

{\displaystyle \

mathbf {E}은(

는) 고유 벡터의

\mathbf {D}

이고

\mathbf {E}

D

{\

은(는

)

고유값의 대각 행렬이다

\mathbf {D}

.화이트닝된 데이터 매트릭스는 다음과 같이 정의된다.

\mathbf {X} \leftarrow \mathbf {D} ^{-1/2}\mathbf {E} ^{T}\mathbf {X} .

단일 구성 요소 추출

The iterative algorithm finds the direction for the weight vector $\mathbf {w} \in \mathbb {R} ^{N}$ that maximizes a measure of non-Gaussianity of the projection $\mathbf {w} ^{T}\mathbf {X}$ , with ${\displaystyle \mathbf {X} \in \mathbb {R} ^{N\ti$ $MES M}$ 은 위에서 설명한 바와 같이 사전 순화 데이터 매트릭스를 나타낸다 $\mathbf {X} \in \mathbb {R} ^{N\times M}$ . $\mathbf {w}$ ${\$ 은(는) 열 벡터라는 $\mathbf {w}$ 점에 유의하십시오.비가우스성을 측정하기 위해 FastICA는 비가이드적 비선형함수 $f(u)$ ( $f(u)$ ) ${\displaystyle f(u$ 첫 번째 $g(u)$ g $g(u)$ ( $g(u)$ ) $g(u)$ {\ $displaysty$ g $($ $u$ $g(u)$ 두 번째 $g^{\prime }(u)$ g $g^{\prime }(u)$ ′ $g^{\prime }(u)$ ( $g^{\prime }(u)$ {\ $displaysty$ g $^{\prem }}}$ 에 의존한다 $g^{\prime }(u)$ Hyvarien은 함수를 명시한다.

f(u)=\log \cosh(u)=\datable g(u)=\tanh(u),\datable {g}\datable {g}(u)=1-\tanh ^{2}(u),

반면에 일반적 목적에 유용하다.

{\displaystyle f(u)=-e^{-u^{2}/2},\cHB=ue^{-u^{2}/2},\cHB {\text{and}}\g}'(u)=(1-u^{2}e^{-u^{2}/2}}:

매우 강건할 수 있다.^[1]Fast의 단일 구성 요소에 대한 $\mathbf {w}$ 중량 벡터 $\mathbf {w}$ ${\$ 을(를 $)$ 추출하는 단계ICA는 다음과 같다.

$\mathbf {w}$ 무게 벡터 w ${\$ 을(를) 랜덤화하십시오.
Let $\mathbf {w} ^{+}\leftarrow E\left\{\mathbf {X} g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X} )\right\}\mathbf {w}$ , where ${\displaystyle E\left\{...$ $\right\}$ 은 $E\left\{...\right\}$ (는 $)$ 행렬 X의 모든 열 벡터에 대한 평균을 의미한다. \ $displaystyle \mathbf {X}$
w $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$ w + / $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$ w + $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$ w + {\ $displaystyle \mathbf {w} \leftarrow \mathbf {w} ^{+}/\mathbf {w}$ \mathbf {w} $^{+}\}}}을()$ 로 두십시오.
통합되지 않은 경우 2로 돌아가십시오.

다중 구성 요소 추출

단일 단위 반복 알고리즘은 단일 성분을 추출하는 하나의 중량 벡터만 추정한다.상호 "독립적"인 추가 구성요소를 추정하려면 선형 독립 투영 벡터를 얻기 위해 알고리즘을 반복해야 한다. 여기서 독립성의 개념은 추정 구성요소에서 비 가우스성을 최대화하는 것을 가리킨다는 점에 유의한다.Hyvaerien은 다음과 같은 가장 간단한 방법으로 여러 구성 요소를 추출할 수 있는 여러 가지 방법을 제공한다.여기서 $\mathbf {1_{M}}$ ${\$ 은 $치수$ M{\ $displaystyle$ M}의 1의 열 벡터다 $\mathbf {1_{M}}$ $M$

알고리즘 빠른ICA

입력:

C

C

원하는

C

구성 요소 수

입력:

\mathbf {X} \in \mathbb {R} ^{N\times M}

\mathbf {X} \in \mathbb {R} ^{N\times M}

\mathbf {X} \in \mathbb {R} ^{N\times M}

\mathbf {X} \in \mathbb {R} ^{N\times M}

M

{\

displaystyle

\mathbf {X} \in \mathb {R} ^{N\times M}

미리 불린

\mathbf {X} \in \mathbb {R} ^{N\times M}

행렬,

C<=N

서 각 열은

N

N

-dimension

N

sample을 나타내며

C<=N

서 C

<=N}

출력:

\mathbf {W} \in \mathbb {R} ^{N\times C}

\mathbf {W} \in \mathbb {R} ^{N\times C}

\mathbf {W} \in \mathbb {R} ^{N\times C}

\mathbf {W} \in \mathbb {R} ^{N\times C}

\mathbf {W} \in \mathbb {R} ^{N\times C}

{\

mathb {

R}

\

mathbb {R

}

^{N\times C}

각 열이 X

{\

을

(

으)로

\mathbf {X}

투영하는 Un-mixing

\mathbf {W} \in \mathbb {R} ^{N\times C}

행렬.

출력:

\mathbf {S} \in \mathbb {R} ^{C\times M}

\mathbf {S} \in \mathbb {R} ^{C\times M}

\mathbf {S} \in \mathbb {R} ^{C\times M}

\mathbf {S} \in \mathbb {R} ^{C\times M}

M

{\

M

}

독립

\mathbf {S} \in \mathbb {R} ^{C\times M}

성분 행렬,

C

C

치수의

C

표본을 나타내는

M

{\displaystym M}

열

M

.

                         for p in 1 to C:      $\mathbf {w_{p}} \leftarrow$  Random vector of length Nwhile $\mathbf {w_{p}}$  changes          ${\displaystyle \mathbf {w_{p}} \leftarrow {\fr$  $ac {1}{M}}\mathbf {X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{T}\mathbf {X} )\mathbf {1_{M}} \mathbf {w_{p}} }$  $\mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_{j}$  $)\mathbf {w_{j}}$  $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$  ‖ w  $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$  w $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$ \ $displaystyle \mathbf {w_{p} \frac {\mathbf {w_}{p}}{}}\\mathbf {w_{p}}}}}}}}}}}}}}}}}}$ 
   생산량 $\mathbf{W} \왼쪽 화살표 {\begin{bmatrix}\mathbf {w_{1}:{1},\dots,\mathbf {w_{C}}\end{bmatrix}}}$ 
   생산량 $\mathbf {S} \왼쪽 화살표 \mathbf {W^{T}} \mathbf {X}$

노이즈 추출

Fast ICA는 혼합 신호의 첨가 노이즈에 대해 매우 강하다는 것은 주목할 만한 사실이다.다음의 시끄러운 모델을 생각해 보자.

\mathbf {X} =\mathbf {A} \mathbf {s} +\mathbf {n}

Prewhiting $\mathbf {X}$ ${\$ 에 따라 추출에 대한 $\mathbf {n}$ 추가 노이즈 $\mathbf {n}$ ${\$ 의 영향이 심각하게 감소한다. $\mathbf {X}$ 높은 소음과 낮은 소음 내용의 두 가지 사례에 대한 $\mathbf {Y}$ 재구성 ICA $\mathbf {Y}$ 인 $\mathbf {s}$ S {\ $displaystyle \mathbf$ {s $}$ , Y ${\$ 은(는) 그림에서 첨가 노이즈에 대한 Fast ICA의 견고성을 분명하게 강조한다.

참고 항목

무감독 학습
머신러닝
IT++ 라이브러리에 빠른 기능 제공C++에서 ICA 구현
인포맥스

참조

^ ^a ^b Hyvärinen, A.; Oja, E. (2000). "Independent component analysis: Algorithms and applications" (PDF). Neural Networks. 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003. doi:10.1016/S0893-6080(00)00026-5. PMID 10946390.
^ Hyvarinen, A. (1999). "Fast and robust fixed-point algorithms for independent component analysis" (PDF). IEEE Transactions on Neural Networks. 10 (3): 626–634. CiteSeerX 10.1.1.297.8229. doi:10.1109/72.761722. PMID 18252563.

외부 링크

[Hyvarinen-1] Hyvärinen, A.; Oja, E. (2000). "Independent component analysis: Algorithms and applications" (PDF). Neural Networks. 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003. doi:10.1016/S0893-6080(00)00026-5. PMID 10946390.

[2] Hyvarinen, A. (1999). "Fast and robust fixed-point algorithms for independent component analysis" (PDF). IEEE Transactions on Neural Networks. 10 (3): 626–634. CiteSeerX 10.1.1.297.8229. doi:10.1109/72.761722. PMID 18252563.

[1]

[2]

Search