MM 알고리즘

MM 알고리즘은 함수의 최대값 또는 최소값을 구하기 위해 함수의 볼록성을 이용하는 반복 최적화 방법입니다.MM은 원하는 최적화가 최소화인지 최대화인지에 따라 "Majorize-Minimization" 또는 "Minorize-Maximization"을 나타냅니다.이름에도 불구하고 MM 자체는 알고리즘이 아니라 최적화 알고리즘을 구성하는 방법에 대한 설명입니다.

기대 최대화 알고리즘은 MM ^[1]^[2]알고리즘의 특수한 경우로 취급할 수 있습니다.그러나, 전자파 알고리즘에서는 조건부 기대치가 포함되는 반면, MM 알고리즘에서는 볼록성과 부등식이 주된 초점이며, 대부분의 ^{[clarification needed]}경우 이해하고 적용하기가 더 쉽다.

역사

MM 알고리즘의 역사적 근거는 적어도 Ortega와 라인볼트가 라인 검색 ^[3]방법과 관련된 연구를 수행하던 1970년으로 거슬러 올라갈 수 있다.같은 개념이 다른 영역에서 다른 형태로 계속해서 다시 나타났다.2000년에 Hunter와 Lange는 일반적인 프레임워크로 "^[4]MM"을 발표했습니다.최근의 연구는^[who?] 수학, 통계학, 기계학습, 공학 ^{[citation needed]}등 광범위한 과목에 이 방법을 적용하고 있다.

알고리즘.

MM 알고리즘

MM 알고리즘은 목적 함수를 마이너화 또는 메이저화하는 대리 함수를 찾아 작동합니다.대리 함수를 최적화하면 목적 함수의 값이 개선되거나 변경되지 않습니다.

minorize-maximization 버전을 취하면 f $f(\theta )$ $f(\theta )$ ) { $displaystyle$ f $(\theta)}$ 를 $f(\theta )$ 최대화하는 오목함수로 $f(\theta )$ .알고리즘의 m $단계$ 에서 $m=0,1...$ $m=0,1...$ $m=0,1...$ , 1 $m=0,1...$ $m=0,1...$ {\ $displaystyle$ $g(\theta |\theta _{m})$ $m=0,$ $g(\theta |\theta _{m})$ $m=0,1...$ $g(\theta |\theta _{m})$ 된 $g(\theta |\theta _{m})$ 함수 $g(\theta |\theta _{m})$ (\ $displaystyle$ g(\ $theta$ \ $theta _{m})$ 는 $g(\theta |\theta _{m})$ 목적 $\theta _{m}$ (대리 함수)의 마이너라이즈 버전 $(\$ $g(\theta |\theta _{m})$ _ ${m})$ 이라고 $\theta _{m}$ 불립니다 $.$

g(\theta \theta _{m})\leq f(\theta){\text{ for all }}\theta

\displaystyle g(\theta _{m} \theta _{m})=f(\theta _{m})}

그런 다음 f ${\)$ $대신$ g $g(\theta |\theta _{m})$ $f(\theta )$ $g(\theta |\theta _{m})$ m $)(\$ $displaystyle$ $g(\theta |\theta _{m})$ g $(\theta$ $\theta$ $f(\theta )$ _ ${m$ $f(\theta )$ 를 $g(\theta |\theta _{m})$ 최대화하고 다음과 같이 합니다.

\displaystyle \theta _{m+1}=\display \max _{\theta }g(\theta \theta _{m})}

위의 반복 방법은 m이 무한대로 ^[5]이동함에 $따라$ f ( $f(\theta _{m})$ m $f(\theta _{m})$ ) { $displaystyle$ f $(\theta$ _ ${m}$ )가 $f(\theta _{m})$ $f(\theta _{m})$ 최적점 또는 새들점으로 수렴됨을 보증합니다.상기의 구조에 의해

f(\theta _{m+1} \theta _{m})\geq g(\theta _{m} \theta _{m})=f(\theta _{m})

그림에는 목적함수에 대한 $\theta _{m}$ m \ $displaystyle \theta$ _ ${m}$ 의 $\theta _{m}$ 행진과 대리함수가 나와 있습니다.

메이저라이즈-최소화 절차는 동일하지만 최소화해야 할 볼록한 목표가 있다.

대리 함수 구성

부등식을 사용하여 목적 함수의 원하는 세분화/소형 버전을 구성할 수 있습니다.일반적인 선택지는 다음과 같습니다.

옌센 부등식
볼록 부등식
코시-슈바르츠 부등식
산술 평균과 기하 평균의 부등식
2차 테일러를 통한 2차 대분화/미분화 유계 곡률 함수의 2차 대분화/미분화.

레퍼런스

^ Lange, Kenneth. "The MM Algorithm" (PDF).
^ Kenneth Lange: "MM 최적화 알고리즘", SIAM, ISBN 978-1-611974-39-3(2016).
^ Ortega, J.M.; Rheinboldt, W.C. (1970). Iterative Solutions of Nonlinear Equations in Several Variables. New York: Academic. pp. 253–255. ISBN 9780898719468.
^ Hunter, D.R.; Lange, K. (2000). "Quantile Regression via an MM Algorithm". Journal of Computational and Graphical Statistics. 9 (1): 60–77. CiteSeerX 10.1.1.206.1351. doi:10.2307/1390613. JSTOR 1390613.
^ Wu, C. F. Jeff (1983). "On the Convergence Properties of the EM Algorithm". Annals of Statistics. 11 (1): 95–103. doi:10.1214/aos/1176346060. JSTOR 2240463.

[1] Lange, Kenneth. "The MM Algorithm" (PDF).

[2] Kenneth Lange: "MM 최적화 알고리즘", SIAM, ISBN 978-1-611974-39-3(2016).

[3] Ortega, J.M.; Rheinboldt, W.C. (1970). Iterative Solutions of Nonlinear Equations in Several Variables. New York: Academic. pp. 253–255. ISBN 9780898719468.

[4] Hunter, D.R.; Lange, K. (2000). "Quantile Regression via an MM Algorithm". Journal of Computational and Graphical Statistics. 9 (1): 60–77. CiteSeerX 10.1.1.206.1351. doi:10.2307/1390613. JSTOR 1390613.

[5] Wu, C. F. Jeff (1983). "On the Convergence Properties of the EM Algorithm". Annals of Statistics. 11 (1): 95–103. doi:10.1214/aos/1176346060. JSTOR 2240463.

[1]

[2]

[3]

[4]

[5]

Search

MM 알고리즘

네임스페이스

더

목차

역사

알고리즘.

대리 함수 구성

레퍼런스