신경 모델링 분야

신경 모델링 분야(NMF)는 신경 네트워크, 퍼지 논리 및 모델 기반 인식의 아이디어를 결합한 기계 학습을 위한 수학적 프레임워크입니다.모델링 필드, 모델링 필드 이론(MFT), 최대우도 인공 신경망(MLANS)^[1]^[2]^[3]^[4]이라고도 합니다.^[5]^[6] 이 프레임워크는 AFRL에서 Leonid Perlovsky에 의해 개발되었습니다. NMF는 개념, 감정, 본능, 상상, 사고, 이해를 포함한 마음의 메커니즘에 대한 수학적인 설명으로 해석됩니다.NMF는 다단계, 헤테로 계층 시스템입니다.NMF의 각 레벨에는 지식을 캡슐화한 개념 모델이 있습니다.이러한 모델은 이른바 하향식 신호를 생성하여 입력 상향식 신호와 상호 작용합니다.이러한 상호작용은 입력 상향식 신호에 대한 더 나은 대응을 위해 개념 모델 학습, 적응 및 새로운 개념 모델의 형성을 주도하는 동적 방정식에 의해 제어됩니다.

개념 모델 및 유사성 측정

일반적인 경우 NMF 시스템은 여러 처리 수준으로 구성됩니다.각 레벨에서 출력 신호는 입력 상향 신호에서 인식(또는 입력 상향 신호에서 형성)되는 개념입니다.입력 신호는 모델 및 이 레벨에 따라 개념과 관련지어집니다(또는 인식 또는 그룹으로 분류됩니다).학습 과정에서 개념모델은 입력신호를 더 잘 표현하도록 조정되어 개념모델과 신호의 유사성이 증가한다.이러한 유사성의 증가는 지식 본능의 만족으로 해석될 수 있고, 미적 감정으로 느껴질 수 있다.

X(n)는 하위 단계의 처리 계층에서 발생하는 상향식 신경 시냅스 활성화의 한 분야로 하위 단계의 뉴런에서 유래합니다.각 뉴런은 여러 개의 시냅스를 가지고 있다; 일반적으로, 각 뉴런의 활성화는 숫자의 집합으로 설명된다.

{X}}(n)=\{X_{d}(n)\},d=1..D.

여기서 D는 개별 뉴런의 활성화를 설명하는 데 필요한 숫자 또는 차원입니다.

이러한 뉴런에 대한 하향식 또는 프라이밍 신호는 컨셉 모델, M_m(S_m,n)에 의해 전송됩니다.

{M}_{m}({\vec {S}}_{m},n}),m=1..M.

여기서 M은 모델 수입니다.각 모델은 파라미터 S에_m 의해 특징지어진다; 뇌의 뉴런 구조에서 그것들은 시냅스 연결의 강도에 의해 부호화된다, 수학적으로, 그것들은 일련의 숫자에 의해 주어진다.

{S}_{m}=\{S_{m}^{a}\},a=1..A.

여기서 A는 개별 모델을 설명하는 데 필요한 치수 수입니다.

모델은 다음과 같은 방식으로 신호를 나타냅니다.신호 X(n)가 물체 m에 의해 활성화된 감각 뉴런 n에서 나온다고 가정하면, 물체 m은 매개변수_m S로 특징지어진다.이러한 매개변수에는 객체 m의 위치, 방향 또는 조명이 포함될 수 있습니다.모델_m M(S_m,n)은 뉴런 n에서의 신호의 값 X(n)를 예측한다.예를 들어 시각지각 중에 시각피질 내의 뉴런 n은 망막으로부터의 신호 X(n)와 대상개념모델 m으로부터의 프라이밍 신호_m M(S_m,n)을 수신한다.하위 레벨 입력으로부터의 상향 신호와 하향식 프라이밍 신호가 모두 강할 경우 뉴런 n이 활성화됩니다.다양한 모델은 아래에서 설명하는 바와 같이 파라미터를 조정하면서 상향식 신호에서 증거를 찾기 위해 경쟁합니다.이것은 인식에 대한 간략한 설명입니다.가장 온화한 일상적 시각 지각은 망막에서 물체 지각까지 많은 수준을 사용합니다.NMF 전제는 동일한 법칙이 각 수준에서 기본적인 상호작용 역학을 기술한다는 것입니다.미세한 특징이나 일상적인 사물에 대한 인식 또는 복잡한 추상 개념에 대한 인식은 아래에 설명된 것과 같은 메커니즘에 기인한다.인식과 인지는 개념모델과 학습을 포함한다.인식에서 개념모델은 사물에 대응하고 인지모델은 관계와 상황에 대응합니다.

학습은 인식과 인식의 필수적인 부분이며, NMF 이론에서 학습은 모델과 신호 집합 사이의 유사성 측정인 L({X},{M})을 증가시키는 역학에 의해 구동된다.유사성 측정은 입력 상향식 신호와 하향식 개념 모델 신호 사이의 모델 파라미터 및 연관성의 함수입니다.유사성 측정에 대한 수학적 설명을 구성할 때 다음 두 가지 원칙을 인식하는 것이 중요하다.

첫째, 지각이 발생하기 전에 시야의 내용을 알 수 없다.

둘째, 다수의 오브젝트를 포함할 수 있습니다.어떤 상향식 신호에도 중요한 정보를 포함할 수 있다.

따라서 유사도 측정은 모든 상향식 신호인 X(n)를 고려하도록 구성됩니다.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

{

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

, {

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

,

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

) .

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{l({\vec {X}}(n))}.

\

displaystyle

L ( \ { \

vec

{

X

} } ( n ) \ , \ { \

vec

{

M } _

m } {

VE

{

C

}

이 표현은 모든 상향식 신호에 대한 부분적인 유사성(l(X(n))의 곱을 포함합니다.따라서 NMF 시스템이 모든 신호를 고려하도록 강제합니다(제품의 1항이 0일 경우에도 곱은 0이고 유사성이 낮으며 지식 본능이 충족되지 않음). 이는 첫 번째 원칙을 반영한 것입니다.둘째, 지각이 일어나기 전에, 정신은 어떤 물체가 특정한 망막 뉴런으로부터 신호를 발생시켰는지 알지 못한다.따라서 각 모델을 각 입력 뉴런 신호에 대한 대안(개념 모델에 대한 합계)으로 취급하도록 부분 유사도 측정이 구성됩니다.그 구성 요소는 신호 X(n)와_m 모델 M, l(X(n) m 사이의 조건부 부분 유사성이다.이 측정은 존재하는 물체 m에 대해 "조건부"이므로, 이러한 수량을 전체 유사성 측정값 L에 결합할 때, 실제로 존재하는 물체 m의 확률적 측정을 나타내는 r(m)을 곱한다.위의 두 가지 원칙과 이러한 요소를 결합하여 다음과 같이 유사성 측정을 구성합니다.

L

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

{

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

, {

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

,

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

m

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

1

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

(

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

( n ) m

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

)

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

. { display

style

L ( \ { \ { \

vec

{ X

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

}

L(\{{\vec {X}}(n)\},\{{\vec {M}}_{m}({\vec {S}}_{m},n)\})=\prod _{n=1}^{N}{\sum _{m=1}^{M}{r(m)l({\vec {X}}(n)|m)}}.

} \ \ {

m

} , \ { C }

위의 식 구조는 확률론의 표준 원리를 따릅니다. 즉, 대안에 대한 합계가 취해지고, 다양한 증거 조각 n이 곱됩니다.이 식은 반드시 확률은 아니지만 확률론적 구조를 가지고 있다.학습이 성공적이면 확률론적 기술에 가깝고 거의 최적의 베이지안 결정을 이끌어낸다.l(X(n) m(또는 단순히 l(n m))에 대한 "조건부 부분 유사성"이라는 이름은 확률론적 용어를 따른다.학습이 성공하면 l(n m)은 조건부 확률 밀도 함수가 되며, 이는 뉴런 n의 신호가 객체 m에서 유래한 확률론적 측정값이다.다음으로 L은 개념 모델 {M_m}에 의해 기술된 객체에서 오는 신호 {X(n)}을 관찰할 수 있는 총 가능성입니다.확률 이론에서 prior라고 불리는 계수 r(m)은 예비 바이어스 또는 기대치를 포함하고 기대 객체 m은 상대적으로 높은 r(m) 값을 가지고 있습니다. 그 참 값은 보통 알려져 있지 않으므로 다른 파라미터_m S와 같이 학습해야 합니다.

확률론에서 확률의 곱은 일반적으로 증거가 독립적이라고 가정한다.L 표현식은 n 이상의 곱을 포함하지만 다양한 신호 X(n) 간의 독립성을 가정하지 않습니다.개념 모델에 의한 신호 간 의존성이 있습니다.각 모델_m M(S_m,n)은 많은 뉴런 n에서 예상되는 신호 값을 예측합니다.

학습 과정 중에 컨셉 모델은 지속적으로 수정됩니다.일반적으로 모델의 기능적 형태인_m M(S_m,n)은 모두 고정되어 있고 학습적응은 모델 파라미터만을_m 포함한다.S. 때때로 시스템은 오래된 개념도 유지하면서 새로운 개념을 형성한다.대신 오래된 개념이 병합되거나 제거되기도 한다.여기에는 유사성 측도 L을 수정해야 합니다. 그 이유는 모형이 많을수록 모형과 데이터 간에 항상 더 잘 적합되기 때문입니다.이는 잘 알려진 문제이며 모델 M의 수에 따라 증가하는 "skeptic penalty function", (벌칙법) p(N,M)를 사용하여 유사성 L을 줄임으로써 해결되며, 데이터 N의 양이 적을수록 이 증가는 더 가파르다.예를 들어, 점근적으로 편향되지 않은 최대우도 추정은 승수 p(N,M) = exp(-N_par/2)로 이어진다. 여기서_par N은 모든 모델에서 적응 매개변수의 총수이다(이 패널티 함수는 Akaike 정보 기준이라고 알려져 있다). 자세한 논의와 참조는 (Perlovsky 2001)를 참조한다.

다이내믹 로직알고리즘을 사용한 NMF에서의 학습

학습 과정은 모델 매개변수 S를 추정하고 유사성 L을 극대화하여 신호를 개념과 연관짓는 것으로 구성됩니다.신호와 모델의 가능한 모든 조합은 식 (2)에서 설명된다는 점에 유의하십시오.이는 합계를 확장하고 모든 항을 곱하면 M개의 항목, 즉 엄청난 숫자가 되는^N 것을 알 수 있습니다.모든 신호(N)와 모든 모델(M) 간의 조합 수입니다.이것이 동적 ^[7]^[8]로직의 개념을 이용하여 NMF에서 해결되는 조합 복잡성의 근원입니다.동적 논리의 중요한 측면은 유사성 측정의 모호성 또는 모호성을 모델의 불확실성과 일치시키는 것이다.처음에는 모수 값이 알려져 있지 않고 모형의 불확실성이 높으며 유사성 측정의 모호성도 마찬가지입니다.학습 과정에서 모델이 더 정확해지고 유사성이 측정될수록 유사성의 가치가 높아집니다.

유사도 L의 최대화는 다음과 같이 한다.먼저 알 수 없는 매개 변수_m {S}이(가) 임의로 초기화됩니다.그런 다음 연관 변수 f(m n)가 계산됩니다.

→

}}}}(

3).

f(m n)에 대한 방정식은 사후 확률에 대한 베이즈 공식처럼 보인다; 만약 학습의 결과 l(n m)이 조건부 우도가 된다면, f(m n)는 객체 m에서 출발하는 신호 n에 대한 베이지안 확률이 된다.NMF의 다이내믹로직은 다음과 같이 정의됩니다.

{\frac {d{\vec {S}}_{m}}{dt}}=\sum _{n=1}^{N}{f(m|n){\frac {\partial {\ln l(n|m)}}{\partial {{\vec {M}}_{m}}}}{\frac {\partial {{\vec {M}}_{m}}}{\partial {{\vec {S}}_{m}}}}}

{m}}}}}}}}(

4).

fr

\partial

{{

ln

l

(n

m

')}

{\

partial {{\vec {M}}_{m'}}}

{\

frac

{\

vec {M}}

{\

vec {S}_{m'}}}

{\

frac {d{\vec

{S}}}} {\frac {{\vec

{{\vec

{

S}}}}}} {{m

'}}}}}}}}}} {{{{{{{

m'}}}}}}}}}}}}}}}}}}}}}}}}}

다음의 정리가 증명되었다(Perlovsky 2001).

정리.식(3), (4) 및 (5)은 max{S_m}L로 정의된 정지 상태를 갖는 수렴 동적 NMF 시스템을 정의합니다.

따라서 MF 시스템의 정지 상태는 최대 유사도 상태입니다.부분 유사성이 확률 밀도 함수(pdf) 또는 우도로 지정된 경우 모수 {S_m}의 정상 값은 점근적으로 치우치지 않고 이러한 ^[9]모수에 대한 효율적인 추정치입니다.동적 논리의 계산 복잡도는 N에서 선형입니다.

실제로 연속적인 반복에 의해 방정식을 풀 때는 증분식(5)이 아니라 (3)을 사용하여 반복할 때마다 f(m n)를 재계산할 수 있다.

위의 정리의 증명은 유사성 L이 각 반복마다 증가한다는 증거를 포함한다.이는 지식증가의 본능이 단계별로 충족돼 NMF-다이나믹 논리체계가 감정적으로 학습을 즐긴다는 긍정적 감정을 낳는다는 심리적 해석을 갖고 있다.

동적 로직 연산의 예시

노이즈를 밑도는 패턴을 찾는 것은 매우 복잡한 문제입니다.정확한 패턴 형태를 알 수 없고 알 수 없는 파라미터에 의존하는 경우 패턴 모델을 데이터에 적합시켜 이러한 파라미터를 찾아야 합니다.그러나 패턴의 위치와 방향을 알 수 없는 경우에는 적합하도록 데이터 점의 하위 집합을 선택해야 하는지가 명확하지 않습니다.이러한 종류의 문제를 해결하기 위한 표준 접근방식은 다중 가설 시험이다(싱어 등 1974년).서브셋과 모델의 모든 조합이 철저히 검색되기 때문에 이 방법은 조합 복잡성의 문제에 직면한다.이 예에서는 노이즈가 많은 '미소' 및 '크라운' 패턴을 찾습니다.그림 1a에는 소음이 없고 그림 1b에는 실제로 측정된 소음과 함께 표시된다.패턴의 실제 수는 3으로 알려져 있지 않습니다.따라서 3가지 패턴이 가장 적합하다고 판단하려면 적어도 4가지 패턴이 데이터에 적합되어야 합니다.이 예의 이미지 크기는 100x100 = 10,000 포인트입니다.10,000개의 데이터 점의 모든 부분 집합에 4개의 모형을 적합시키려고 하면 복잡도 계산은^N M ~ 10입니다⁶⁰⁰⁰.파라미터 공간을 검색하여 다른 계산을 하면 복잡도가 낮아집니다.각 패턴은 3-파라미터 포물선 형태로 특징지어집니다.100x100 그리드에 4x3=12개의 매개 변수를 무차별적으로 테스트하여 적합하게 하려면 10³²~10개의⁴⁰ 작업이 필요하며, 여전히 계산 복잡성이 매우 높습니다.이 문제에 NMF와 동적 로직을 적용하려면 예상되는 패턴의 파라미터 적응 모델을 개발해야 합니다.이 경우의 모델 및 조건부 부분 유사성은 노이즈에 대한 균일한 모델, 퍼지 상태가 높고 분해능이 떨어지는 패턴에 대한 가우스 블럽, '미소' 및 '물결'에 대한 포물선 모델에 자세히 설명되어 있다.^[10]이 예에서 컴퓨터 조작의 수는 약 10개입니다¹⁰.따라서 조합의 복잡성으로 인해 해결할 수 없었던 문제는 동적 논리를 사용하여 해결할 수 있게 됩니다.

적응 프로세스 중에 초기 퍼지 및 불확실한 모델은 입력 신호의 구조와 관련지어지며 퍼지 모델은 연속적인 반복에 따라 더욱 확실하고 선명해진다.모델의 유형, 형태 및 수는 시스템 내의 내부 표현이 입력 신호와 비슷하도록 선택됩니다.NMF 개념 모델은 신호 내의 구조 객체를 나타냅니다.다음 그림은 다이내믹 로직의 연산을 나타내고 있습니다.그림 1(a)에서 진정한 '미소' 및 '크라운' 패턴은 노이즈 없이 표시된다.b) 인식 가능한 실제 이미지(신호는 노이즈 미만, 신호 대 잡음비는 -2dB ~ -0.7dB 사이), (c) 초기 퍼지 모델, 다양한 반복 단계에서 큰 흐릿함은 지식의 불확실성에 대응한다(d)l/22회 반복).알고리즘은 5번 반복할 때마다 모형 수를 늘리거나 줄이려고 했습니다.(d)와 (e) 반복 사이에 알고리즘은 '최고의' 적합을 위해 3개의 가우스 모델이 필요하다고 결정했다.

모형에는 노이즈를 설명하는 균일한 모형(표시되지 않음)과 다양한 수의 블럽 모형 및 포물선 모형 등 여러 가지 유형이 있습니다. 이러한 모형은 데이터에서 추정됩니다.(g) 단계까지 알고리즘은 단순한 blob 모델을 사용했고, (g) 이상에서는 데이터를 기술하기 위해 보다 복잡한 포물선 모델이 필요하다고 판단했습니다.유사성이 증가하지 않게 되었을 때 반복은 (h)에서 멈췄다.

그림 1. 노이즈에 있어서의 「스마일」패턴과 「프라운」패턴을 찾아내기 위해서, 동적 논리 연산의 예를 들면, (a) 진정한 「스마일」패턴과「프라운」패턴이 잡음 없이 표시된다.b) 인식 가능한 실제 화상(신호는 노이즈 미만, 신호 대 잡음비는 -2dB~–0.7DB 사이), (c) 초기 퍼지 모델의 퍼지성, 퍼지 연산을 나타낸다.지식: (d)에서 (m)까지 다양한 반복 단계에서 개선된 모델을 보여준다(총 22회 반복).(d)단계와 (e)단계 사이에 알고리즘은 데이터를 둘 이상의 모델로 맞추려고 시도했고 데이터의 내용을 '이해'하기 위해 세 개의 블럽 모델이 필요하다고 결정했다.모델에는 노이즈를 설명하는 균일한 모델(표시되지 않음)과 데이터에서 추정되는 다양한 수의 블롭 모델 및 포물선 모델(수, 위치 및 곡면)(g)단계까지 알고리즘은 단순한 blob 모델의 관점에서 '생각'했고, (g) 이상에서는 데이터를 기술하기 위해 보다 복잡한 포물선 모델이 필요하다고 판단했다.유사성 L이 증가하지 않게 된 경우 반복은 (m)에서 멈췄다.이 예에 대한 자세한 내용은 (Linnehan 등 2003)을 참조하십시오.

신경 모델링 분야 계층 구성

위에서 계층형 NMF 시스템의 단일 처리 수준을 설명했습니다.계층의 각 레벨에는 하위 레벨로부터의 입력 신호, 모델, 유사성 측정(L), 유사성의 변화로 정의되는 감정 및 행동이 있습니다.행동에는 적응, 지식 본능을 만족시키는 행동, 유사성의 극대화가 포함됩니다.각 레벨에 대한 입력은 신호 X(n) 세트, 즉 신경용어로 신경활성화 입력 필드이다.특정 수준에서 신호 처리의 결과는 활성화된 모델 또는 입력 신호 n에서 인식된 개념 m입니다. 이러한 모델은 대응하는 본능적인 신호 및 감정과 함께 행동 모델을 활성화하고 이 수준에서 동작을 생성할 수 있습니다.

활성화된 모델은 다른 작업을 시작합니다.이들은 보다 일반적인 개념 모델이 인식되거나 생성되는 다음 처리 수준의 입력 신호 역할을 합니다.다음 레벨에 대한 입력으로 기능하는 특정 레벨로부터의 출력 신호는 다음과 같이 정의된 모델 활성화 신호입니다_m.

a_m = Ω_n=1..N f(m n).

계층형 NMF 시스템은 그림 2와 같다.정신의 계층 구조 내에서, 각 개념 모델은 더 높은 수준에서 그것의 "정신적" 의미와 목적을 발견합니다.예를 들어 개념 모델의 "의자"를 생각해 보자.그것은 앉는 행동을 시작하는 "행동적" 목적을 가지고 있다(몸에 의해 앉는 것이 필요한 경우). 이것은 같은 계층적 수준에서 "몸짱" 목적이다.게다가, 그것은 "순수히 정신적인" 목적을 계층에서 더 높은 수준으로 가지고 있는데, 이는 "콘서트 홀"과 같은 더 일반적인 개념을 인식하는데 도움을 주기 위한 목적이다.

그림 2. 계층형 NMF 시스템계층의 각 수준에는 모델, 유사성 측정 및 행동(적응, 지식 본능 최대화 - 유사성 포함)이 있습니다.높은 수준의 부분 유사성 척도는 주어진 수준에서 인식된 개념에 해당한다.개념 액티베이션은 이 레벨의 출력 신호이며, 다음 레벨로 입력 신호가 되어 지식을 계층 위로 전파합니다.

때때로 시스템은 새로운 개념을 형성하거나 오래된 개념을 제거한다.모든 레벨에서 NMF 시스템은 항상 모호한(퍼지한) 비활성 개념 모델을 보유합니다.파라미터가 데이터에 적응하지 않는다는 점에서 비액티브하므로 신호와의 유사성이 낮습니다.그러나, 큰 모호성(공분산) 때문에 유사성이 정확히 0은 아니다.새로운 신호가 활성 모델에 잘 맞지 않으면 비활성 모델과의 유사성이 자동으로 높아집니다(첫째, 모든 데이터가 모호한 모델이 고려되고 둘째, 비활성 모델은 더 구체적이고 덜 퍼지된 활성 모델에 맞지 않는 모든 신호를 "잡아" 넣을 수 있기 때문입니다).비활성 모델 m에 대한 활성화 신호_m a가 특정 임계값을 초과하면 모델이 활성화됩니다.마찬가지로 특정 모델의 활성화 신호가 임계값 아래로 떨어지면 모델이 비활성화됩니다.활성화 및 비활성화 임계값은 일반적으로 상위 계층 수준(사전 정보, 시스템 리소스, 다양한 유형의 활성화된 모델 수 등)에 존재하는 정보에 기초하여 설정됩니다.특정 레벨 {a_m}의 활성 모델에 대한 활성화 신호는 "신경장"을 형성하며, 이는 다음 레벨에 대한 입력 신호로 작용하며, 여기서 보다 추상적이고 일반적인 개념이 형성됩니다.

레퍼런스

^ [1]: 페로프스키, L.I. 2001.Neural Networks and Intelligence: 모델 기반의 개념을 사용합니다.뉴욕: 옥스포드 대학 출판부
^ 퍼롭스키, L.I. (2006)정신의 물리학을 향해: 개념, 감정, 의식, 그리고 상징.신체. 인생 3부(1), 페이지 22-55.
^ [2]: 디밍, R.W., 최대우도적응신경계(MLANS)를 사용한 자동 매설 지뢰 탐지, ISIC(Proceedings of Intelligent Control) 1998.IEEE 국제 로보틱스 및 자동화 컴퓨터 인텔리전스 심포지엄(CIRA), 인텔리전트 시스템 및 기호학(ISAS)과 공동 개최
^ [3]: MDA 테크놀로지 애플리케이션 프로그램 웹 사이트
^ [4]: 칸겔로시, A;티카노프, V.; 폰타나리, J.F.;Hourdakis, E. 언어와 인지 통합: 인지 로봇 접근법, 컴퓨터 인텔리전스 매거진, IEEE, 제2권, 제3호, 2007년 8월 페이지:65 ~ 70
^ [5]: 국토안보 및 국토방위 III(진행량)를 위한 센서, C3I(Command, Control, Communications, Intelligence) 기술:Edward M. Carapezza, 날짜: 2004년 9월 15일 ISBN978-0-8194-5326-6, 대테러 위협 예측 아키텍처 참조
^ 펠롭스키, L.I. (1996년)지성의 수학적 개념.미국 캘리포니아 샌디에이고 뉴럴 네트워크 세계회의(World Congress on Neural Networks); 로런스 얼바움 어소시에이츠, 뉴저지, 페이지 1013-16
^ 펠롭스키, L.I.(1997년)지성의 물리적 개념러시아 과학 아카데미, 354(3), 페이지 320-323.
^ 크레이머, H. (1946)통계의 수학적 방법 프린스턴 대학 출판부, 프린스턴 NJ.
^ Linnehan, R., Mutz, Perlovsky, L.I., C., Weiers, B., Shindler, J., Brokett, R.(2003)이미지에서 잡동사니 아래의 패턴을 검출합니다.내부 회의2003년 10월 1일부터 3일까지 MA 캠브리지, 지식집약적 멀티에이전트 시스템 통합에 대하여

Search