역변환 표본 추출

의사 난수 샘플링을 위해 어떤 확률 분포의 누적 분포에서 지정된 무작위로 표본 번호를 생성하는에 역변환(또한 반전 시식회, 간접 귀납 확률 적분 변환 역 변환 법, 스미르노프 변환, 황금 rule[1]으로 알려져)샘플링은 기본적인 방법, 즉,. 재미기계 장치를 달다

역변환 추출한 다음){\displaystyle)}유통 P의 도메인에서 가장 큰 수를 반환합니다(X){P(X)\displaystyle}가 P(− ∞<>X<>))≤ 너{\displaystyle P(-\infty<0과 1사이의 숫자를 u{\displaystyle u}, 확률로 해석의 균일한 샘플이 걸린다.;X<, x)\leq$u}$예를 들어, $P{\displaystyle }$( ${\displaystyle X}$) ${\displaystyle P(X)}$이(가) 평균 0과 표준 편차가 1인 표준 정규 분포라고 가정해 보십시오.아래 표는 균일한 분포에서 추출한 표본과 표준 정규 분포에 대한 표본을 나타낸다.

균일 표본에서 정규 표본으로 변환

$(\displaystyle u}$	${\displaystyle F^{-1}(u)}$
.5	0
.975	1.95996
.995	2.5758
.999999	4.75342
1-2−52	8.12589

우리는 곡선 아래 면적의 비율을 무작위로 선택하고 영역의 숫자를 반환하여 면적의 정확히 이 비율이 그 면적의 왼쪽에서 발생하도록 하고 있다.직관적으로, 꼬리의 끝에는 0이나 1에 매우 가까운 숫자를 선택해야 하는 영역이 거의 없기 때문에, 우리는 꼬리의 끝에서 숫자를 선택할 것 같지 않다.

계산적으로, 이 방법은 분포의 계량함수 계산, 즉, 분포의 누적분포함수(CDF) 계산(영역의 숫자를 0과 1 사이의 확률로 매핑)을 한 다음 그 함수를 뒤집는 것을 포함한다.이것은 이 방법의 대부분의 이름에서 "반복" 또는 "반복"이라는 용어의 근원이다.이산형 분포의 경우 CDF 계산은 일반적으로 그리 어렵지 않다는 점에 유의하십시오. 즉, 분포의 다양한 점에 대한 개별 확률을 추가하면 된다.그러나 연속분포를 위해서는 대부분의 분포(정상분포 포함)에 대해 분석적으로 할 수 없는 분포의 확률밀도함수(PDF)를 통합할 필요가 있다.결과적으로, 이 방법은 많은 분포에 대해 계산적으로 비효율적일 수 있고 다른 방법을 선호하지만, 기각 샘플링에 기초한 샘플러와 같이 보다 일반적으로 적용 가능한 샘플러를 구축하는 데 유용한 방법이다.

정규 분포의 경우 해당 정량함수에 대한 분석 표현이 부족하면 다른 방법(예: Box-Muller 변환)이 계산적으로 선호될 수 있음을 의미한다.단순한 분포의 경우에도 역변환 샘플링 방법이 개선될 수 있는 경우가 많다. 예를 들어, 지구라트 알고리즘과 거부 샘플링을 참조하라.^[2]한편, 중등도 다항식을 이용하여 정규 분포의 정량함수를 극히 정확하게 추정할 수 있으며, 사실 이 방법은 역전 샘플링이 이제 통계 패키지 R의 정규 분포로부터 샘플링을 위한 기본 방법이 될 정도로 충분히 빠르다.^[3]

정의

확률 적분 변환은 $X{\displaystyle }$ ${\displaystyle X}$이$($가) 누적 분포 함수 $F{\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\$${\displaystyle X}$$}$를 갖는 연속 랜덤 변수인 경우, 랜덤 변수 $Y{\displaystyle }$= ${\displaystyle F_{}}$ ${\displaystyle {}_{}}$( X${\displaystyle }$) ${\displaysty Y=F_{X}(X)}$이 [0, 1]에 균일한 분포를 갖는다고 명시한다$$.The inverse probability integral transform is just the inverse of this: specifically, if ${\displaystyle Y}$ has a uniform distribution on [0, 1] and if ${\displaystyle X}$ has a cumulative distribution ${\displaystyle F_{X}}$, then the random variable ${\displaystyle F_{X}^{-1}(Y)}$ hasX ${\displaystyle X}$과 동일한 분포.$$

직감

$U{\displaystyle }$~ ${\displaystyle U\mathrm{}}$ ${\displaystyle \mathrm{n}}$ ${\displaystyle \mathrm{i}}$ f${\displaystyle }$[ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle U\sim {Unif}[$${\displaystyle 0}$$,1$에서 CDF ${\displaystyle F_{}}$ X${\displaystyle {}_{}}$(${\displaystyle }$) .${\displaystyle F_{X}(x$)가$$ 있는 $X{\displaystyle }$ ${\displaystystyle$ X$}$를 생성하고자 한다$.$$}$ 우리는$$ F ${\displaystyle X_{}}$( ${\displaystyle x}$) ${\displaystyle F_{X}(x)}}$을(를) 엄격히 증가시키는 함수로 가정하며$$, 이는 좋은 직관을 제공한다.

엄격히 단조로운 변환 $T{\displaystyle }$:${\displaystyle }$[ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle \mapsto }$ R ${\$ $:[0,1]\mapsto \mathb {R$을(를) 찾을 수 있는지 확인하고 싶다. $T{\displaystyle }$(${\displaystyle U}$)${\displaystyle \stackrel{}{}}$= ${\displaystyle d}$ ${\displaystyty T(U){d}{}}X$

${\displaystyle F_{X}(x)=\Pr(X\leq x)=\Pr(T(U)\leq x)=\Pr(U\leq T^{-1}(x))=T^{-1}(x), \x\in \mathb {R},}에 대한 {\text{ for }$

$여기$서 U ${\displaystyle U}$이(가) $({\displaystyle 0}$, 1${\displaystyle }$) ${\displaystyle$U}이(가) 균일할 때$$ ${\displaystyle \mathrm{Pr}(U}$ ${\displaystyle \le }$ y${\displaystyle }$)${\displaystyle }$= y ${\displaystyle \Pr(U\leq y)=y}$이(가$)$가 사용된 마지막 단계$.$

그래서 $우리$는 F ${\displaystyle X_{}}$ ${\$를 T ${\displaystyle T}$의 역함수로 설정하였고$,$ 또는 동등하게 ${\displaystyle {}_{}^{}}$ ${\displaystyle (u}$ ${\displaystyle )}$= ${\displaystyle {\mathrm{F}}_{}^{}}$ -${\displaystyle {}_{}^{}}$1 ${\displaystyle {}_{}^{}u}$)${\displaystyle }$, ${\displaystyle u}$ ${\displaystyle \in }$[ ${\displaystyle 0}$, ${\displaystyle 1}$ ${\displaystyle ]}$. ${\displaystyty T(u)=$의 역함수로 설정하였다$$.$F_{X}^{-1}(u),u\in [0,1]$$}$

따라서 $우리$는 F${\displaystyle {}_X^{}}$ - ${\displaystyle 1_{}^{}}$(${\displaystyle }$U ) 에서 X$$ ${\displaystyle X}$을(를) 생성할 수 있다${\displaystyle .}$ ${\displaystyle F_{X}^{-1}(U).$$}$

방법

역변환 표본 추출법이 해결하는 문제는 다음과 같다.

• $X{\displaystyle }$ ${\displaystyle X}$을(를) 누적 분포 함수 ${\displaystyle F_{}}$ X ${\$로 분포를 설명할 수 있는 랜덤 변수가 되도록$$ 한다$.$
• 우리는 이 분포에 따라 $분포$된 X$${\$displaystyle X$}의 값을 생성하고자 한다.

역변환 표본 추출 방법은 다음과 같이 작용한다.

1. 표준 균등 분포에서$$ 임의의 $숫자{\displaystyle }$ $u {\$$displaystyle [0$ ${\displaystyle 1}$]의 간격 $[0,$1$],$ 예:${\displaystyle }U{\displaystyle }$ ~ ${\displaystyle U\mathrm{}}$ ${\displaystyle \mathrm{n}}$ ${\displaystyle \mathrm{i}}$f [${\displaystyle 0,}$ ${\displaystyle 1],}${\$displaystyle U\sim \mathrmatr {Unif} [0,1]$을 생성하십시오.$}$
2. 원하는 CDF의 역(예: F $X{\displaystyle {}_{}^{}}$ -${\displaystyle {}_1^{}}$ (${\displaystyle {}_{}^{}x}$ )${\displaystyle$ F_${X}^{-1}(x)})$를 찾으십시오$.$
3. 계산 $X{\displaystyle }$= ${\displaystyle F_{}^{}}$ X${\displaystyle {}_{}^{}}$- ${\displaystyle 1_{}^{}}$ (${\displaystyle u}$ ) ${\displaystyle X=F_{X}^{-1}(u)}$.계산된 임의 변수 $X{\displaystyle }$ ${\$${\displaystyle \mathrm{displaystyle}}$ $X}$에는 분포 $F{\displaystyle {}_{}}$ ${\displaystyle X_{}}$( x${\displaystyle }$) ${\displaystyle F_{X}(x)}$이(가) 있다$$$.$

Expressed differently, given a continuous uniform variable ${\displaystyle U}$ in ${\displaystyle [0,1]}$ and an invertible cumulative distribution function ${\displaystyle F_{X}}$, the random variable ${\displaystyle X=F_{X}^{-1}(U)}$ has distribution ${\displaystyle$$F_{X}}($$또는{\displaystyle }$ X ${\displaystyle X}$이(가) $F{\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\$ 배포됨.$$

미분 방정식을 만족하는 물체와 같은 역함수의 처리가 주어질 수 있다.^[4]일부 그러한 미분방정식은 비선형성에도 불구하고 명시적인 파워 시리즈 솔루션을 인정한다.^{[citation needed]}

예

• 예를 들어, 랜덤 변수 $U{\displaystyle }$~ ${\displaystyle \mathrm{Un}}$ ${\displaystyle \mathrm{if}}$(${\displaystyle 0}$, 1${\displaystyle }$) ${\displaystyle U\sim \mathrmat {Unif} (0,1)$과 누적 분포 함수가 있다고 가정합시다.

${\displaystyle {\begin{aigned}F(x)=1-\exp(-{\sqrt{x}})\end{aigned}}}$

역전을 수행하기 위해 $F{\displaystyle ({}^{}}$- ${\displaystyle 1^{}}$ (${\displaystyle {}^{}u}$)${\displaystyle }$=${\displaystyle u}$ ${\displaystyle F(F^{-1})(u)$에 대해 해결하고자 한다.$=u}$

${\displaystyle {\begin{aignated}F(F^{-11}(u))&=u\\1-\exp \left(-{\sqrt {F^{-1}(u)}}\오른쪽)&=u\\F^{-1(u)&=(-\log(1-u))^{2}\\&=(\log(1-u))^{2}\end{aigned}}$

여기서부터 우리는 1, 2, 3단계를 수행할 것이다.

• $또{\displaystyle {}_{}}$ 다른 예로서, X ${\displaystyle X_{}}$ X${\displaystyle {}_{}}$(${\displaystyle x}$) =${\displaystyle {}^{}}$ - ${\displaystyle e^{}}$ -${\displaystyle {}^{}}$e - ${\displaystyle x^{}}$x {\$displaystyle F_{X}($x)=$1-e^{-\lambda$ x$}}$을(를) 사용한 지수 분포를 x 0 0에 대해$$ 사용한다.y=F(x)를 풀면 역함수를 얻는다.

${\displaystyle x=F^{-1(y)=-{\frac {1}{\lambda }}\ln(1-y).}$

$U{\displaystyle ~\mathrm{Un}}$ ${\displaystyle \mathrm{if}}$ ${\displaystyle (0}$$,$ ${\displaystyle 1}$) ${\displaystyle U\sim {Unif} (0,1$)에서$$ ${\displaystyle {y\mathrm{}}_{}}$ 0을 약간 그려서$$ $계산{\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle 0_{}^{}}$ =${\displaystyle {}_{}^{}}$F ${\displaystyle {\mathrm{X}}_{}^{}}$ -${\displaystyle {}_{}^{}}$1 ( ${\displaystyle {}_{}{0\mathrm{}}_{}}$)${\displaystyle }$= - ${\displaystyle \frac{1}{}}$ ${\displaystyle \mathrm{l}}$ ln${\displaystyle (}$( ${\displaystyle {}_{}}$ -${\displaystyle {}_{}{y\mathrm{}}_{}}$) ,$${\$displaystysty x_{$0}}=}=}을 의미함$F_{X}^{1$}^{-1$}(y_{0})=-{\frac${1$}{\lambda }}}\ln(1-y_{0}),}$ 이 $x$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$은 지수 분포를$$ 가지고 있다.

이 아이디어는 다음 그래프에 설명되어 있다.

임의의 숫자 y는_i 0과 1 사이의 균일한 분포로부터 생성된다. 즉, Y ~ U(0, 1)Y축에 컬러 포인트로 스케치한다.각 점은 x=F⁻¹(y)에 따라 매핑되며, 두 개의 예시점에 대해 회색 화살표로 표시된다.이 예에서는 지수 분포를 사용했다.Hence, for x ≥ 0, the probability density is ${\displaystyle \varrho _{X}(x)=\lambda e^{-\lambda \,x}}$ and the cumulative distribution function is ${\displaystyle F(x)=1-e^{-\lambda \,x}}$. Therefore, ${\displaystyle x=F^{-1}($$y)=-{\frac {\ln(1-y)}{\lambda$ $\}\}\}\}.$ 이 방법을 사용하면 많은 점이 0에 가깝고, 지수 분포에서 예상한 것처럼 x 값이 높은 점만 있는 것을 알 수 있다.

y 대신 1-y로 시작하면 분포가 변경되지 않는다는 점에 유의하십시오.따라서 계산상 [0, 1]에서 임의의 숫자 y를 생성하고 간단하게 계산하면 된다.

${\displaystyle x=F^{-1(y)=-{\frac {1}{\lambda }}\ln(y).}$

정확성 증명

F를 연속적 누적분포함수로 하고⁻¹ F를 역함수로 한다(CDF가 약하게 단조롭고 우연속적이기 때문에 최소값 사용).^[5]

${\displaystyle F^{-1(u)=\inf \;\{x\mid F(x)\geq u\}\qquad(0<u<1).}$

클레임: U가 (0, 1)의 균일한 랜덤 변수인 $경우{\displaystyle {}^{}}$ ${\displaystyle {\mathrm{F}}^{}}$- 1${\displaystyle {}^{}}$( ${\displaystyle U}$) ${\displaystyle F^{-1}(U)}$이(가) CDF로 F를 가지고 있다$$.

증명:

${\displaystyle {\begin{aligned}&\Pr(F^{-1}(U)\leq x)\\&{}=\Pr(U\leq F(x))\quad &({\text{applying }}F,{\text{ to both sides}})\\&{}=F(x)\quad &({\text{because }}\Pr(U\leq y)=y,{\text{ when U is uniform on}}(0,1))\\end{aigned}}$

잘린 분포

역변환 표본 추출은 기각 표본 추출 비용 없이$$ 구간$({\displaystyle a}$, ${\displaystyle b}$ ${\displaystyle ]}$ ${\displaystyle (a,b])$의 잘린 분포 사례로 간단히 확장할 수 있다. 동일한 알고리즘을 따를 수 있지만 0과 1 사이에 균일하게$$ 분포된 임의 숫자 $u{\displaystyle }$ ${\displaystyle u}$을(으)를 생성하는 대신 $u{\displaystyle }$ ${\dis$를 생성하십시오.$Playstyle u}$은(는${\displaystyle )}$ ${\displaystyle F(a)}$과$($${\displaystyle 와}$) ${\displaystyle$ F$(b)}$ 사이에 균일하게$$ 분포한 다음 다시 $F{\displaystyle {}^{}}$- ${\displaystyle 1^{}u)}$ ${\displaystystyle$ F$^{-1}(u)$를$$취한다.

반전 횟수 감소

많은 수의 표본을 얻으려면 동일한 수의 분포를 수행해야 한다.다항식 혼돈 확장 프레임워크 내에서 많은 수의 표본을 얻으면서 반전 횟수를 줄일 수 있는 한 가지 가능한 방법은 소위 확률적 콜로케이션 몬테카를로 샘플러(SCMC sampler)를 적용하는 것이다.이를 통해 분석적으로 사용할 수 있는 변수의 독립적인 표본(예: 표준 정규 변수)으로 원래 분포의 몇 개의 반전만을 가진 임의의 수의 몬테카를로 표본을 생성할 수 있다.^[6]

참고 항목

• 확률 적분 변환
• 확률 적분 변환을 통해 정의되는 코풀라.
• 역 CDF의 명시적 구성을 위한 퀀텀 함수.
• 이산형 성분의 분포에 대한 정밀한 수학적 정의를 위한 역분포함수.

참조