비선형 시스템 식별

시스템 식별은 시스템 입력과 출력의 측정으로부터 시스템의 수학적 모델을 식별하거나 측정하는 방법이다. 시스템 식별의 적용은 입력과 출력을 측정할 수 있고 산업 프로세스, 제어 시스템, 경제 데이터, 생물학 및 생명 과학, 의학, 사회 시스템 등을 포함할 수 있는 시스템을 포함한다.

비선형 시스템은 선형적이지 않은 어떤 시스템, 즉 중첩 원리를 만족하지 않는 어떤 시스템으로 정의된다. 이러한 부정적인 정의는 매우 다양한 유형의 비선형 시스템이 있다는 것을 모호하게 하는 경향이 있다. 역사적으로 비선형 시스템에^[1][2] 대한 시스템 식별은 특정 등급의 시스템에 초점을 맞추어 개발되었으며, 크게 다섯 가지 기본 접근법으로 분류할 수 있으며, 각각 모델 등급에 의해 정의된다.

1. Volterra 시리즈 모델,
2. 블록 구조화된 모델,
3. 신경망 모델들,
4. NARMAX 모델 및
5. 상태 공간 모델.

시스템 식별에는 데이터 수집, 모델 가정, 매개변수 식별 및 모델 검증의 네 가지 단계가 따라야 한다. 데이터 수집은 식별 용어의 첫 번째 및 필수적인 부분으로, 나중에 작성되는 모델에 대한 입력으로 사용된다. 적절한 데이터 세트 선택, 전처리 및 처리로 구성된다. 그것은 비행 테이프, 데이터 저장 및 데이터 관리, 교정, 처리, 분석 및 표시와 함께 알려진 알고리즘의 구현을 포함한다. 더욱이 특정 모델에 대한 신뢰도를 얻거나 이를 거부하기 위해서는 모델 검증이 필요하다. 특히 매개변수 추정과 모델 검증은 시스템 식별의 필수적인 부분이다. 검증은 개념 모델을 확인하고 모델의 계산 결과와 실제 데이터 사이의 적절한 일치성을 입증하는 과정을 말한다.^[3]

볼테라 시리즈 방법

초기 작품은 이산 시간 사례에서 볼테라 시리즈를 바탕으로 한 방법이 지배적이었다.

${\displaystyle {\begin{aligned}y(k)&=h_{0}+\sum \limits _{m_{1}=1}^{M}h_{1}(m_{1})u(k-m_{1})+\sum \limits _{m_{1}=1}^{M}\sum \limits _{m_{2}=1}^{M}h_{2}(m_{1},m_{2})u(k-m_{1})u(k-m_{2})\\&{}\quad {}+\sum \limits _{m_{1}=1}^{M}\sum \limits _{m_{2}=1}^{M}\sum \limits _{m_{3}=1}^{M}h_{3}(m_{1},m_{2},m_{3})u(k-m_{1})u(k-m_{2})u(k-m_{3})+\cdots \end{aligned}}$

여기서 u(k), y(k); k = 1, 2, 3은 각각 측정된 입력과 출력이고 $h{\displaystyle {}_{}}$ ${\displaystyle {\ell }_{}{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {}_{}}$ ${\displaystyle {\ell }_{}}$) ${\displaystyle h_{\ell }(m_{1},\ldots, m_{\ell })$은 lth-order Volterra 커널 또는 lth-drimimal 임펄스 응답이다. 볼테라 시리즈는 선형 콘볼루션 적분의 확장이다. 초기 식별 알고리즘의 대부분은 처음 두 개, 선형 및 2차, 볼테라 커널만 존재한다고 가정하고 두 개의 볼테라 커널을 식별하기 위해 가우스 화이트 노이즈와 상관관계 방법과 같은 특수 입력을 사용했다. 이러한 대부분의 방법에서 입력은 가우스와 백색이어야 하며 이는 많은 실제 프로세스에 심각한 제약이다. 이러한 결과는 후에 처음 세 개의 볼테라 커널을 포함하도록 확장되어 서로 다른 입력을 허용하고, Wiener 시리즈를 포함한 기타 관련 개발을 허용했다. 유명한 리와 셸첸 방법을 포함하여 1940년대부터 1960년대까지 MIT의 비너, 리, 보스와 동료들에 의해 매우 중요한 작업 기구가 개발되었다.^[4][5] 이러한 방법들이 오늘날에도 여전히 활발하게 연구되고 있지만, 몇 가지 기본적인 제약이 있다. 여기에는 선험적으로 볼테라 시리즈 용어의 개수를 알아야 하는 필요성, 특수 입력의 사용, 식별해야 하는 다수의 추정치가 포함된다. 예를 들어, 첫 번째 주문 볼테라 커널이 30개 샘플로 설명되는 시스템의 경우, 두 번째 주문 커널은 30x30, 세 번째 주문은 30x30 포인트가 필요하며, 따라서 좋은 견적을 제공하는 데 필요한 데이터의 양이 지나치게 커진다.^[6] 이러한 숫자는 특정 대칭을 이용하여 줄일 수 있지만 식별에 사용되는 알고리즘에 관계 없이 요구사항은 여전히 과도하다.

블록 구조 시스템

Volterra 모델의 식별 문제 때문에 비선형 시스템의 시스템 식별을 위한 기초로서 다른 모델 형식을 조사하였다. 다양한 형태의 블록 구조화 비선형 모델이 도입되거나 재도입되었다.^[6][7] 해머스타인 모델은 정적 단일 가치의 비선형 요소와 선형 동적 요소로 구성된다.^[8] Wiener 모델은 정적 비선형 특성 이전에 선형 요소가 발생하도록 이 조합의 역순이다.^[9] Wiener-Hammerstein 모델은 두 개의 동적 선형 요소 사이에 끼어 있는 정적 비선형 요소로 구성되며, 몇 가지 다른 모델 형식을 사용할 수 있다. 해머슈타인-위너 모델은 두 개의 정적 비선형 블록 사이에 낀 선형 동적 블록으로 구성된다.^[10] Uryson 모델은 다른 블록 모델과 다르며, 시퀀스 선형 및 비선형 블록으로 구성되지 않고 연산자의 커널 표현에서 동적 및 정적 비선형성을 모두 설명한다.^[13] 이 모든 모델은 볼테라 시리즈로 표현될 수 있지만, 이 경우 볼테라 커널은 각각의 경우에 특별한 형태를 취한다. 식별은 상관관계 기반 및 모수 추정 방법으로 구성된다. 상관관계 방법은 이러한 시스템의 특정 특성을 이용하는데, 이는 특정 입력, 종종 백색 가우스 노이즈가 사용되면 개별 요소를 한 번에 하나씩 식별할 수 있다는 것을 의미한다. 이로 인해 관리 가능한 데이터 요구사항이 발생하며 개별 블록은 때때로 연구 대상 시스템의 구성요소와 관련될 수 있다.

보다 최근의 결과는 매개변수 추정과 신경망 기반 해결책에 근거한다. 많은 결과가 소개되었고 이러한 시스템들은 계속해서 심도 있게 연구되고 있다. 한 가지 문제는 이러한 방법들이 각각의 경우에서 매우 특별한 형태의 모델에만 적용 가능하며 일반적으로 이 모델 형태는 식별하기 전에 알려져야 한다는 것이다.

신경망

인공신경망은 많은 수의 간단한 처리 요소를 통해 계산이 이루어지는 뇌의 뉴런 네트워크를 느슨하게 모방하려고 한다. 전형적인 신경망은 복잡한 네트워크를 형성하기 위해 상호 연결된 다수의 단순 처리 장치로 구성된다. 그러한 단위의 계층들은 데이터가 입력 계층에서 입력되고 출력 계층에 도달하기 전에 하나 또는 여러 개의 중간 계층을 통과하도록 배열된다. 감독되는 학습에서 네트워크는 실제 출력과 네트워크의 원하는 출력 사이의 차이, 예측 오류로 작동하여 노드 간의 연결 강도를 변경함으로써 훈련된다. 가중치를 반복함으로써 출력 오류가 허용 수준에 도달할 때까지 가중치를 수정한다. 이 과정을 머신러닝이라고 하는 이유는 네트워크가 출력 패턴이 재현되도록 가중치를 조정하기 때문이다. 신경망은 광범위하게 연구되어 왔으며,^[1][14] 일반적으로 이 주제에 전념하는 우수한 교과서와 통제와 시스템 적용을 강조하는 보다 집중적인 교과서가 많이 있다.^[1][15] 신경망을 이용해 연구할 수 있는 두 가지 주요 문제 유형이 있는데, 바로 정적 문제와 동적 문제들이다. 정적 문제에는 패턴 인식, 분류 및 근사치가 포함된다. 동적 문제는 지연된 변수를 포함하며 시스템 식별 및 관련 애플리케이션에 더 적합하다. 네트워크 아키텍처에 따라 훈련 문제는 최적화를 포함하는 비선형 매개변수 또는 고전적 접근방식을 사용하여 해결할 수 있는 선형 매개변수일 수 있다. 훈련 알고리즘은 감독, 감독 또는 강화 학습으로 분류할 수 있다. 신경망은 뛰어난 근사 특성을 가지고 있지만, 이것들은 대개 다항식, 이성적 함수 및 기타 잘 알려진 모델에 동일하게 잘 적용되는 Weierstrass Organization을 사용한 표준 함수 근사 결과에 기초한다. 신경망은 비선형 및 동적 관계를 수반하는 시스템 식별 문제에 광범위하게 적용되어 왔다. 그러나 고전적인 신경망은 순전히 총체적인 정적 근사 기계들이다. 네트워크 내에는 역학 관계가 없다. 그러므로 동적 모델을 장착할 때 모든 역학은 지연된 입력과 출력을 네트워크의 입력 계층에 할당함으로써 발생한다. 그런 다음 교육 절차는 입력 노드에 할당된 지연 변수를 출력과 연관시키는 최적의 정적 근사치를 산출한다. 입력 노드에 지연된 변수의 순서를 증가시켜 역동성을 만들어내는 반복 네트워크를 포함한 보다 복잡한 네트워크 아키텍처가 있다.^[1] 그러나 이러한 경우 시차를 지나치게 지정하기가 매우 쉬우며 이는 과잉 적합화 및 불량 일반화 특성을 초래할 수 있다. 신경 네트워크는 몇 가지 장점을 가지고 있다; 그것들은 개념적으로 단순하고, 훈련하고 사용하기 쉬우며, 훌륭한 근사 특성을 가지고 있으며, 국소 처리와 병렬 처리의 개념이 중요하며, 이것은 무결성과 내결함성을 제공한다. 고전적 신경망 모델에 대한 가장 큰 비판은 생산된 모델이 완전히 불투명하여 일반적으로 기록하거나 분석할 수 없다는 것이다. 그러므로 무엇이 무엇을 야기하는지 알고, 모델을 분석하거나, 모델로부터 동적 특성을 계산하는 것은 매우 어렵다. 이러한 점 중 일부는 모든 용도와 관련이 없지만 동적 모델링을 위한 것이다.

NARMAX 방법

외부 입력(NARMAX 모델)을 갖는 비선형 자기 회귀 이동 평균 모델은 광범위한 종류의 비선형 시스템을 나타낼 수 있으며,^[2] 다음과 같이 정의된다.

${\displaystyle {\begin{aligned}y(k)&=F[y(k-1),y(k-2),\ldots ,y(k-n_{y}),u(k-d),u(k-d-1),\ldots ,u(k-d-n_{u}),\\&{}\quad e(k-1),e(k-2),\ldots ,e(k-n_{e})]+e(k)\end{aligned}}}$

여기서 y(k), u(k) 및 e(k)는 각각 시스템 출력, 입력 및 노이즈 시퀀스, $n{\displaystyle {}_{}}$ $y{\displaystyle {}_{}}$ ${\$ n ${\displaystyle u_{}}$ ${\$ n ${\displaystyle e_{}}$ ${\$는 시스템 출력, 입력 및 노이즈의 최대 시차이다$$. F[•]는 비선형 함수로서, d는 일반적으로 d = 1로 설정된 시간 지연이다.모델은 본질적으로 과거 입력, 출력 및 소음 항의 확장이다. 소음을 명시적으로 모델링하기 때문에, 시스템 모델의 편향되지 않은 추정치는 관측되지 않은 높은 상관 관계 및 비선형 소음의 존재에서 얻을 수 있다. 볼테라, 블록 구조화 모델 및 많은 신경 네트워크 아키텍처는 모두 NARMAX 모델의 하위 집합으로 간주될 수 있다. NARMAX가 도입된 이후, 이 모델에 의해 어떤 종류의 비선형 시스템을 나타낼 수 있는지 증명함으로써, 이 설명을 중심으로 많은 결과와 알고리즘이 도출되었다. 초기 작업의 대부분은 NARMAX 모델의 다항식 확장에 기초하였다. 이것들은 오늘날에도 여전히 가장 인기 있는 방법이지만, 파도와 기타 확장에 기초한 다른 더 복잡한 형태는 심각하게 비선형적이고 매우 복잡한 비선형 시스템을 나타내기 위해 도입되었다. NARMAX 모델에는 혼돈, 분기 및 하위조화학과 같은 이국적인 행동을 하는 시스템을 포함하여 비선형 시스템의 상당 부분을 나타낼 수 있다. NARMAX는 모델의 이름으로 시작되었지만, 지금은 비선형 시스템 식별의 철학으로 발전했다.^[2] NARMAX 접근방식은 다음과 같은 몇 단계로 구성된다.

• 구조물 탐지: 모형에 있는 항
• 모수 추정: 모형 계수 결정
• 모델 유효성 검사: 모델이 편견 없이 올바른지 여부
• 예측: 향후 출력
• 분석: 시스템의 동적 특성

구조검출은 NARMAX의 가장 근본적인 부분을 형성한다. 예를 들어, 입방체 다항식으로 확장된 1개의 지연된 입력과 1개의 지연된 출력 조건, 3개의 지연된 노이즈 조건으로 구성된 NARMAX 모델은 82개의 가능한 후보 항으로 구성될 것이다. 이 수의 후보 조건은 정의에 의한 확장이 입방 확장 내에서 가능한 모든 조합을 포함하기 때문에 발생한다. 이러한 모든 항을 포함하는 모델을 순진하게 추정한 후 가지치기하는 것은 수치와 계산상의 문제를 일으킬 수 있으므로 항상 피해야 한다. 그러나 모형에서 몇 개의 항만 중요한 경우가 많다. 따라서 한 번에 하나씩 용어를 선택하는 것을 목표로 하는 구조 탐지가 매우 중요하다. 이러한 목표는 직교 최소 제곱 알고리즘과 그 파생 모델을 사용하여 한 번에 하나씩 NARMAX 모형 항을 선택하여 쉽게 달성할 수 있다. 이러한 아이디어들은 패턴 인식과 특징 선택에 적용될 수 있고 주요 요소 분석의 대안을 제공할 수 있지만, 원래 문제와 쉽게 관련되는 기본 기능으로 특성이 드러난다는 장점을 가지고 있다.
NARMAX 방법은 단지 최고의 근사치 모델을 찾는 것보다 훨씬 더 많은 것을 하도록 설계되었다. 시스템 식별은 두 가지 목표로 나눌 수 있다. 첫 번째는 좋은 예측이 이루어질 수 있도록 데이터 집합에 근접한 모델을 개발하는 것이 핵심 목표인 근사치를 포함한다. 예를 들어, 날씨, 주가, 연설, 표적 추적, 패턴 분류 등의 시계열 예측과 같이 이 접근법이 적합한 많은 애플리케이션이 있다. 그러한 애플리케이션에서 모델의 형태는 그리 중요하지 않다. 목표는 최소 예측 오류를 생성하는 근사 방법을 찾는 것이다. 첫 번째 목표를 부분 집합으로 포함하는 시스템 식별의 두 번째 목표는 단지 최고의 평균 제곱 오차를 달성하기 위한 모델을 찾는 것 이상의 것을 포함한다. 이 두 번째 목표는 왜 NARMAX 철학이 개발되었고 가장 단순한 모델 구조를 찾는 아이디어와 연결된다. 여기서의 목적은 기초 시스템의 동적 특성을 재현하는 모델을 개발하고, 가능한 한 가장 간단한 모델을 찾고, 이를 연구 중인 시스템의 구성 요소와 행동과 관련시키는 것이다. 그러므로 식별에 대한 이 두 번째 접근법의 핵심 목표는 시스템을 대표하는 규칙을 식별하고 밝히는 것이다. 이러한 목표는 모델 시뮬레이션 및 제어 시스템 설계와 관련이 있지만, 점점 더 의학, 신경 과학 및 생명 과학 분야에서의 적용에 관련된다. 여기서 목적은 종종 비선형적인 모델들을 식별하는 것인데, 이러한 시스템들이 어떻게 작동하고 동작하는지에 대한 기본적인 메커니즘을 이해하는 데 사용되어 우리가 그것들을 조작하고 이용할 수 있도록 하는 것이다. NARMAX 방법은 또한 주파수 영역과 임시 영역에서도 개발되었다.

확률적 비선형 모델

일반적인 상황에서는 일부 외생적인 불확실한 교란이 비선형 역학을 통과하여 산출물에 영향을 미치는 경우가 있을 수 있다. 이 상황을 포착하기에 충분히 일반적인 모델 등급은 확률론적 비선형 상태-공간 모델의 등급이다. 국가-공간 모델은 보통 기계, 전기 또는 열역학적 물리적 법칙과 ^[16]같은 제1원리 법칙을 사용하여 얻으며, 식별될 매개변수는 대개 어떤 물리적 의미나 유의성을 갖는다.

이산 시간 상태 공간 모델은 다음과 같은 차이 방정식으로 정의할 수 있다.

${\displaystyle {\displaysty}x_{t+1}&=f(x_{t},u_{t},\ta ),\y_{t}>g(x_{t},u_{t},v_{t};\ta ),\computer t=1,2,ded{ned}}}}}$

여기서 $t{\displaystyle }$ ${\displaystyle t}$은 시간을 나타내는 양의 정수임. $f{\displaystyle }$ ${\displaystyle f}$ 및$$ $g{\displaystyle }$ ${\displaystyle g}$ 함수는 일반적인$$ 비선형 함수다. 첫 번째 방정식은 상태 방정식, 두 번째 방정식은 출력 방정식으로 알려져 있다. 모든 신호는 확률적 공정을 사용하여 모델링한다. The process ${\displaystyle x_{t}}$ is known as the state process, ${\displaystyle w_{t}}$ and ${\displaystyle v_{t}}$ are usually assumed independent and mutually independent such that ${\displaystyle w_{t}\sim p(w;\theta ),\;v_{t}\sim p(v;\theta )}$. 매개변수 $\theta {\displaystyle }$ ${\displaystyle \theta}$은(실험 데이터를 사용하여) 추정할 유한 차원(실제) 매개변수다$$. 상태 프로세스가 물리적 신호일 필요는 없으며 일반적으로 관찰되지 않음(측정되지 않음)을 확인하십시오. $데이터{\displaystyle }$ 세트는 t${\displaystyle }$= ${\displaystyle 1}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle N}$ ${\displaystyle t=1$$,\dots$$,N$$}$에 대해 입력 출력 쌍$({\displaystyle {}_{}}$ ${\displaystyle t_{}}$ ,${\displaystyle {}_{}{}_{}}$ ${\displaystyle t_{}}$) ${\$$displaystyle$$(y_{t},u_{t}}}}}}}}$의 집합으로 제공된다$.$

불행히도, 관측되지 않은 랜덤 변수의 비선형 변환으로 인해 출력의 우도 함수는 분석적으로 난해하다.; 다차원 한계화 적분으로 주어진다. 따라서 최적 1단계 선행 예측 변수에^[16] 기초한 최대우도법 또는 예측 오차법과 같이 일반적으로 사용되는 모수 추정 방법은 분석적으로 난해하다. 최근 순차 몬테카를로 방법에 기초한 알고리즘은 출력의 조건부 평균에 근사치하거나 기대-최대화 알고리즘과 함께 최대우도 추정기의 근사치를 위해 사용되어 왔다.^[17] 이러한 방법은 무증상 최적이지만 계산적으로 요구되며, 그 사용은 채택된 입자 필터의 근본적인 한계를 피할 수 있는 특정 사례에 한정된다. 대안적 해결책은 차최적 예측 변수를 사용하여 예측 오차 방법을 적용하는 것이다.^[18][19][20] 결과 추정기는 강하게 일관되고 점증적으로 정상이며 비교적 단순한 알고리즘을 사용하여 평가할 수 있다.^[21][20]

참고 항목

• 그레이 박스 모델
• 통계적 모델

참조

추가 읽기

• 레나르트 Ljung: 시스템 식별 - 사용자를 위한 이론, 2차 개정판, PTR 프렌티스 홀, 상부 새들 리버, N. J., 1999.
• R. Pintelon, J. Schoukens, System Identification: A Frequency Domain Access, IEEE Press, New York, 2001. ISBN 978-0-7803 6000-6
• T. Söderstöm, P. Stoica, 시스템 식별, 프렌티스 홀, Upper Saddle River, 1989년. ISBN 0-13-881236-5
• R. K. 피어슨: 이산 시간 동적 모델. 옥스퍼드 대학 출판부, 1999.
• P. Marmarelis, V. Marmarelis, V. Analysis of Physical Systems, Plenum, 1978.
• K. Worden, G. R. Tomlinson, 2001년 물리학 출판 연구소 구조 역학의 비선형성.