마르코프 체인 근사법

Markov chain approximation method

확률적 미분 방정식에 대한 수치적 방법에서, 마르코프 체인 근사법(MCAM)은 확률적 제어 이론에 사용되는 몇 가지 숫자(구성표) 접근법에 속한다. 유감스럽게도 Runge-Kutta 방법과 같은 확률론적 모델을 일치시키기 위한 결정론적 방법의 단순한 적응은 전혀 작동하지 않는다.

그것은 강력하고 널리 이용 가능한 아이디어 집합인데, 현재 확률적 제어의 유아기 때문에 확률적 과정의 수치 및 기타 근사 문제에 대해 '불시'라고 말할 수도 있다.[1][2] 이들은 최적 제어 이론과 같은 결정론적 제어 이론의 상대자를 나타낸다.[3]

MCCAM의 기본 개념은 유한한 상태 공간에서 선택된 통제된 마르코프 프로세스에 의해 원래 통제된 프로세스를 근사하게 하는 것이다. 필요한 경우, 원래의 확률적 공정의 근사치를 위해 선택한 마르코프 체인과 일치하는 것에 대한 비용 함수의 근사치가 필요하다.

참고 항목

참조

  1. ^ Harold J Kushner, Paul G Dupuis, 연속 시간에서의 확률 제어 문제에 대한 수치적 방법, 수학의 적용 24, Springer-Verlag, 1992.
  2. ^ P E Kloeden, Eckhard Platen, 확률적 미분 방정식의 수치해결, 수학 23의 응용, 확률적 모델링과 적용 확률, 스프링거, 1992.
  3. ^ F. B. Hanson, C. T. Leondes, Ed, Stochastic Digital Control System Technologies, Academic Press, 1996, ISBN978-0120127764.