LogSumExp

이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "LogSumExp" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2015년 8월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

LSE(LogSumExp)(RealSoftMax^[1] 또는 다변량 소프트플러스라고도 함) 기능은 최대 기능에 대한 부드러운 최대값 - 주로 기계 학습 알고리즘에 의해 사용된다.^[2]이 값은 다음과 같은 인수의 지수 합계의 로그로 정의된다.

${\displaystyle \mathrm {LSE}(x_{1},\dots,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n}}\right).}$

특성.

LogSumExp 함수 도메인은 실제 좌표 공간인$$ n {\displaystyle $\$$mathb {R} ^{n$이며, 코드메인은 실제 선인$$$R{\displaystyle \mathbb{}}${\$displaystyle$ \$mathb {R}}$이다.${\displaystyle \underset{}{최대값}}$ ${\displaystyle \underset{}{i}}$ ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle i_{}}$ ${\$에 대한 근사값이며, 범위는$$ 다음과 같다.

${\displaystyle \max{\x_{1},\dots ,x_{n}\}\leq \mathrm {LSE}(x_{1}, dots ,x_{n})\leq \max {\x_{1},\dots ,x_{n}}}+\log(n).}$

$n{\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle n=1}$이 아닌 한 첫 번째 불평등은 엄격하다$.$두 번째 불평등은 모든 주장이 동일하지 않는 한 엄격하다. (증거:Let $m{\displaystyle }$= ${\displaystyle \underset{}{max}}$ ${\displaystyle \underset{}{i}}$ x ${\displaystyle i_{}}$ ${\$그런 다음 ${\displaystyle \exp }$ ${\displaystyle }$ (${\displaystyle m}$) ${\displaystyle \underset{}{\overset{}{}}}$ i =${\displaystyle \underset{}{\overset{}{\mathrm{1n}}}}$ ${\displaystyle \exp }$ ${\displaystyle }$ (${\displaystyle }$x ${\displaystyle i_{}}$) ${\displaystyle \le }$ ${\displaystyle n}$ ${\displaystyle \exp }$ ${\displaystyle }$(${\displaystyle m}$) ${\displaystyle \exp(m)\leq \sum _{i=1}^{n}\exp(m$ 불평등에 로그인을 적용하면 결과가 나온다.)

게다가, 우리는 한계를 더 촘촘하게 만들기 위해 기능을 확장할 수 있다.$기능{\displaystyle \frac{\mathrm{}}{}}$ ${\displaystyle 1t\mathrm{}}$ ${\displaystyle \mathrm{L}}$ S ${\displaystyle \mathrm{E}}$( ${\displaystyle tx}$ )$${\$displaystyle${\$frac${1$}{t}\mathrm {LSE}(tx)}$을(를$)$ 고려하십시오.그러면

${\displaystyle \max{\x_{1},\dots,x_{n}\}\}{\frac {1}{{t}}}}\\\mathrm {LSE}(tx)\leq \\max {\x_{1},\dots,x_{n}}}+{\frac {\\\\\\\log(n(n}}}}}}}}}}}}}}}}}}}}}}}}.}$

(proof: 위의 불평등에서 일부 > ${\displaystyle tx_{i})$에 대해 각 $x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$$}$로 교체하여 다음을 ${\displaystyle {수행}_{}}$하십시오.

${\displaystyle \max {\{tx_{1},\dots {LSE}(tx_{1},\dots,tx_{n})\leq \max {\{tx_{1},\dots ,tx_{n}\}}}+log(n)}$

, > 0 ${\displaystyle$ t$>0}$ 이후부터

${\displaystyle t\max {\x_{1},\dots,x_{n}\}\mathrm {LSE}(tx_{1},\x_{n})\leq t\max {\x_{1},\dots ,x_{n}\}}}+\log(n).}$

마지막으로 $t{\displaystyle }$ ${\displaystyle t}$로 나누면 결과가 나온다$$.

또한 대신 음수로 곱하면 당연히 ${\displaystyle 최소}$ ${\displaystyle \min \}$ 함수와$$ 비교할 수 있다.

${\displaystyle \min {\x_{1},\dots,x_{n}\}\-{\frac {\log(n)}{t}}}{t}}}\frac {1}{-t}\fracmatrm {LSE}(-tx)\min {\x_{1},\dots}.}$

LogSumExp 기능은 볼록하며, 그 영역의 모든^[3] 곳에서 엄격히 증가하고 있다(그러나 모든 곳에서^[4] 볼록하지 않다).

$x{\displaystyle \mathbf{}}$=${\displaystyle }$( x ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle x_{}}$n )${\displaystyle }$, ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}),}$ 부분파생상품은 다음과 같다.

${\displaystyle {\frac {\partial }{\partial x_{i}}}{\mathbf {x}}}}={\frac {\exp x_{i}}{\sum _{j}\ex_{j}}},},}$

즉, LogSumExp의 구배는 소프트맥스 기능이다.

LogSumExp의 볼록 결합은 음의 엔트로피다.

로그 도메인 계산을 위한 로그섬 확장 트릭

LSE 함수는 로그 확률에서와 같이 로그 척도로 일반적인 산술 연산이 수행될 때 자주 접하게 된다.^[5]

선형 스케일의 곱셈 연산이 로그 스케일의 단순한 추가가 되는 것과 마찬가지로, 선형 스케일의 추가 연산은 로그 스케일의 LSE가 된다.

${\displaystyle \mathrm {LSE}(\log(x_{1}),...,\log(x_{n})=\log(x_{1}+\properties +x_{n}}}}$

로그 영역 계산을 사용하는 일반적인 목적은 매우 작거나 매우 큰 숫자가 한정된 정밀 부동 소수점 번호를 사용하여 직접 표시될 때(즉, 선형 도메인에서) 정확도를 높이고 과소 흐름 및 오버플로 문제를 방지하는 것이다.^[6]

불행하게도, 이 경우에 직접 LSE를 사용하는 것은 다시 오버플로/과잉 문제를 일으킬 수 있다.따라서 (특히 위의 'max' 근사치의 정확도가 충분하지 않은 경우) 대신 다음과 같은 동등한 것을 사용해야 한다.따라서 IT++와 같은 많은 수학 라이브러리는 LSE의 기본 루틴을 제공하며 이 공식을 내부적으로 사용한다.

${\displaystyle \mathrm {LSE}(x_{1},\dots,x_{n})=x^{*}+\log(\exp(x_{1}-x^{*})+\exp(x_-n}-x^{*}\right)}}$

여기서 $x{\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$= ${\displaystyle 최대}${ ${\displaystyle {x\mathrm{}}_{}}$ 1${\displaystyle {}_{}}$,${\displaystyle }$…${\displaystyle }$, x ${\displaystyle n_{}}$ ${\displaystyle {}_{}}$ ${\$ {\cH00$}, x_{n}\}}$

엄격히 볼록한 로그섬 확장형 함수

LSE는 볼록하지만 엄격히 볼록하지는 않다.0으로 설정된 추가 인수를 추가하여 엄격히 볼록한 로그섬 확장형 함수를^[7] 정의할 수 있다.

${\displaystyle \mathrm {LSE} _{0}^{+}(x_{1},...,x_{n})=\mathrm {LSE}(0,x_{1},x_{n})}$

이 기능은 적절한 Bregman 발생기(강력하게 볼록하고 차별화됨)이다.예를 들어 다항식/이항식 계열의 적혈구로서 기계학습에서 접하게 된다.

열대 분석에서, 이것은 로그의 의미에 있는 합이다.

참고 항목

• 로그 평균
• 로그 의미 부여
• 평활 최대값
• 소프트맥스 함수

참조