큰편차이론

Large deviations theory

확률론에서 큰 편차의 이론은 확률분포 시퀀스의 원격 꼬리의 점근거동에 관한 것이다. 이 이론의 일부 기본이념은 라플레이스로 추적할 수 있지만, 형식화는 보험 수학, 즉 크라메르룬드버그와의 파멸 이론에서 시작되었다. 큰 편차 이론의 통일된 공식화는 바라단의 논문에서 1966년에 개발되었다.[1] 큰 편차 이론은 측정 집중의 경험적 사상을 공식화하고 확률 측정의 수렴 개념을 널리 일반화한다.

대략적으로 말하면, 큰 편차 이론은 그 자체로 특정 종류의 극단 또는 꼬리 사건의 확률 측도의 기하급수적인 감소와 관련이 있다.

소개 사례

기본적인 예

페어 코인의 일련의 독립적인 던지기를 고려하라. 가능한 결과는 앞면이거나 뒷면이 될 수 있다. 에 의한 i번째 재판의 가능한 결과를 나타내자 여기서 우리는 헤드를 1로, 꼬리를 0으로 인코딩한다. 이제 (가) 시행 후 평균값을 나타내도록 하십시오.

= 1 i= 1 i

N 이 0과 1 사이에 놓여진다. 대수의 법칙에서 N이 커질수록 의 분포는.= [ 0단일 동전 던지기의 예상 값)으로 수렴된다.

더욱이 중앙 정리에서는 M N 에 대해 대략적으로 정규 분포를 따른다는 것을 따른다 중앙 한계 정리는 큰 숫자의 보다 M {\의 행동에 대해 더 자세한 정보를 제공할 수 있다. 예를 들어, 우리는 대략. 하지만, 중앙 하한은 근사 theo MN{\displaystyle M_{N}의 꼬리 확률}, P(MN>)){P(M_{N}>))\displaystyle}, MN{\displaystyle M_{N}}x{\displaystyle)}보다, N{N\displaystyle}고정된 값에 대한 큰 경우를 찾을 수 있다.렘 m (가) 크지 않은 displaystyle 과(와) 멀리 있으면 정확하지 않다. 또한 로서 꼬리 확률의 수렴에 관한 정보를 제공하지 않는다 다만, 큰 편차 이론은 그러한 문제에 대한 해답을 제공할 수 있다.

이 말을 좀 더 정확하게 하자. 값 0.5< x< 0.5에 대해 꼬리 확률 >을 계산하자 정의

)= x x+ (- x) ( 1- )+ ln(1-x)+\

Note that the function is a convex, nonnegative function that is zero at and increases as approaches . It is the negative of the Bernoulli entropy with 동전 던지기에 적합하다는 것은 베르누이 재판에 적용된 무증상 장비 특성에서 비롯된다. 체르노프의 불평등에 의해 P (> x (- ( ) ) [2]가) 있음을 알 수 있다. 이 튀어 오히려 점에서{I())\displaystyle}은 모든 긍정적인 N{N\displaystyle}.[3]에 대한 강력한 불평등( 하지만만, 역시 바운드 여전히subexponential 요인에 의해 1/N의 질서에 줄어들 수 있는지를 가져올 수 있을 만큼 더 많은 교체할 수 없는())은 날카롭다{\displaystyle 1/{\sqrt{N}}; 이는 베르누이 분포에 나타나는 이항 계수에 적용된 스털링 근사치에서 나타난다.) 따라서 다음과 같은 결과를 얻는다.

( > ) (- ( )

확률 > x) x에 따라 N→ ∞ N으로 기하급수적으로 감소한다. 이 공식은 표본 평균의 꼬리 확률에 근사하며 표본 수가 증가함에 따라 합치를 제공한다.

독립 랜덤 변수의 합계에 대한 큰 편차

위 코인토싱의 예에서 우리는 각 던지기가 독립적인 시험이라고 명시적으로 가정했고, 머리나 꼬리를 얻을 확률은 항상 같다.

, , 2,을(를) 독립적이고 동일한 분포(i.i.d.)의 공통 분포가 특정 성장 조건을 만족하는 임의 변수(i.d.)가 되도록 한다. 그러면 다음과 같은 제한이 존재한다.

N P N> x)=- ( x) N}}}}{{ P

여기

= 1 i= 1 i

종전과 같이

함수 () I을(를) "레이트 함수" 또는 "Cramér 함수" 또는 때로는 "엔트로피 함수"라고 한다.

위에서 언급한 제한은 N 에 대해 을 의미한다.

> ) [- ( )

[4][5]편차 이론의 기본 결과야

{\의 확률 분포를 알면 비율 함수에 대한 명시적 식을 얻을 수 있다 이건 레전드르-펜첼 변환에 의해 주어지는 [6]겁니다

( )= > 0[ x - ( )

어디에

누적 생성 함수(CGF)라고 하며 는) 수학적 기대를 나타낸다.

이(가) 정규 분포를 따르는 경우 비율 함수는 정규 분포의 평균에서 정점을 갖는 포물선이 된다.

} 이(가)[citation needed] 마코프 체인 경우 위에 언급된 기본 큰 편차 결과의 변형이 유지될 수 있다.

형식 정의

Given a Polish space let be a sequence of Borel probability measures on , let be a sequence of positive real numbers such that , and finally let be a lower semicontinuous functional on The sequence is said to satisfy a large deviation principle with speed (를) 선택하고 각 Borel 측정 가능한 집합 X {\E {\mathcal 인 경우에만 I

여기서 (와) {\ E(는) E 폐쇄내부를 의미한다[citation needed]

간략한 역사

큰 편차에 대한 첫 번째 엄격한 결과는 스웨덴의 수학자 하랄드 크레이머가 보험 사업을 모델화하는 데 적용했기 때문이다.[7] 보험사 입장에서는 매월 일정 비율(월 보험료)이지만 보험금 청구는 무작위로 들어온다. 회사가 일정 기간(가능하게 많은 달)에 걸쳐 성공하기 위해서는 총수익이 총청구액을 초과해야 한다. 따라서 프리미엄을 추정하려면 다음과 같은 질문을 던져야 한다: " 개월 동안 총 C= 이(가) 보다 작아야 하는 프리미엄 {\ 대편차설 Cramér는 속도 함수가 파워 시리즈로 표현되는 무작위 변수에 대해 이 질문에 대한 해결책을 제시했다.

중요한 진전을 이룬 수학자들의 매우 불완전한 목록에는 페트로프,[8] 사노프,[9] S.R.S. 바라단(이론에 기여한 공로로 아벨상을 받은 사람), D.가 포함될 것이다. Ruelle, O.E. Lanford, Amir Dembo, Ofer Zeituni.[10]

적용들

큰 편차의 원칙은 확률론적 모델에서 정보를 수집하기 위해 효과적으로 적용될 수 있다. 그러므로 큰 편차의 이론은 정보이론위험관리에서 그 응용을 발견한다. 물리학에서 큰 편차 이론의 가장 잘 알려진 적용은 열역학통계 역학에서 발생한다(요율 함수와 엔트로피 관련 관련).

큰 편차 및 엔트로피

속도 함수는 통계 역학의 엔트로피와 관련이 있다. 이것은 다음과 같은 방법으로 경험할 수 있다. 통계 역학에서 특정 매크로 상태의 엔트로피는 이 매크로 상태에 해당하는 미시 상태의 수와 관련이 있다. 우리의 동전 던지기 예에서 평균값 은 특정한 매크로 상태를 지정할 수 있다. M 의 특정 값을 발생시키는 머리와 꼬리의 특정 시퀀스는 특정 마이크로 상태를 구성한다. 느슨하게 말하면, 그것을 발생시키는 미시-상태의 수가 더 많은 거시국가는 엔트로피가 더 높다. 그리고 엔트로피가 더 높은 상태는 실제 실험에서 실현될 가능성이 더 높다. 평균 값이 1/2인 매크로 상태(꼬리만큼 머리 수가 많은)는 그것을 발생시키는 마이크로 상태의 수가 가장 많고 실제로 엔트로피가 가장 높은 상태인 것이다. 그리고 대부분의 실제 상황에서 우리는 실제로 많은 수의 실험을 위해 이 거시적인 상태를 얻을 것이다. 반면에 "요율 함수"는 특정 거시 상태의 출현 확률을 측정한다. 속도 함수가 작을수록 매크로 상태가 나타날 가능성이 높다. 우리의 동전 도장에서는 평균값 1/2에 대한 "레이트 함수"의 값이 0이다. 이렇게 하면 "요율 함수"를 "엔트로피"의 음으로 볼 수 있다.

큰 편차 이론의 "요율 함수"와 쿨백-라이블러 발산 사이에는 관계가 있으며, 그 연결은 사노프의 정리에 의해 확립된다(사노프와[9] 노박,[11] 14.5장 참조).

특별한 경우, 큰 편차는 그로모프-하우스도프 한계 개념과 밀접하게 관련되어 있다.[12]

참고 항목

참조

  1. ^ S.R.S. 바라단, 점근 확률미분 방정식, Comm. 순수 어플리케이션. 수학. 19 (1966),261-286.
  2. ^ "성능 분석을 위한 큰 편차: 대기열, 통신 및 컴퓨팅", 슈워츠, 아담, 1953- TN: 1228486
  3. ^ 바라단, S.R.S., 2008년 확률 연보, 36권, 2, 397–419, [1]
  4. ^ http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf
  5. ^ S.R.S. 바라단, 큰 편차 및 적용(SIAM, 필라델피아, 1984년)
  6. ^ Touchette, Hugo (1 July 2009). "The large deviation approach to statistical mechanics". Physics Reports. 478 (1–3): 1–69. arXiv:0804.0327. Bibcode:2009PhR...478....1T. doi:10.1016/j.physrep.2009.05.002.
  7. ^ Cramér, H. (1944년) 확률론의 새로운 한계 정리에 대해서. 우세키 마테마테스키크 나우크, (10), 166-178.
  8. ^ 페트로프 V.V. (1954) 크레이머의 한계 정리 일반화. 우스페히 마테름. 나우크, 9번, 4번(62) 195-202(러시아어)
  9. ^ a b 사노프 I.N. (1957) 무작위 규모의 큰 편차의 확률에 대하여. 마테름. 스보닉, 대 42(84), 11-44
  10. ^ 뎀보, A, & Zeituni, O. (2009) 큰 편차 기법 및 응용 프로그램(Vol. 38). 스프링거 사이언스 & 비즈니스 미디어
  11. ^ Novak S.Y. (2011) 재무에 필요한 애플리케이션을 포함하는 극단적 가치 방법. 채프먼 & 홀/CRC 프레스. ISBN 978-1-4398-3574-6
  12. ^ 코타니 M, 수나다 T. 편차수정 격자의 무한대에서의 접선 원뿔, 수학. Z. 254, (2006), 837-870.

참고 문헌 목록