자동 차별화

수학과 컴퓨터 대수학에서, 자동 미분(AD)은 알고리즘 미분, 계산 미분,^[1]^[2] 자동 미분 또는 간단히 자동 미분이라고도 불리며, 컴퓨터 프로그램에 의해 지정된 함수의 도함수를 평가하기 위한 기술 집합이다.AD는 모든 컴퓨터 프로그램이 아무리 복잡해도 일련의 기초 연산(더하기, 빼기, 곱하기, 나누기 등)과 기초 함수(exp, log, sin, cos 등)를 실행한다는 사실을 이용한다.이들 연산에 체인규칙을 반복 적용함으로써 임의의 차수의 도함수를 자동적으로 정확하게 작업정밀도에 대해 산출할 수 있으며, 원래의 프로그램보다 더 작은 상수계수를 이용할 수 있다.

그림 1: 자동 차별화와 심볼적 차별화의 관계

자동 미분은 상징적 미분과 수치적 미분과 구별된다.기호적 미분은 컴퓨터 프로그램을 하나의 수학식으로 변환하는 어려움에 직면해 비효율적인 코드를 초래할 수 있습니다.수치미분(유한차이의 방법)은 이산화 프로세스 및 취소 과정에서 반올림 오류를 일으킬 수 있다.이러한 고전적인 방법 모두 복잡성과 오차가 증가하는 고차 미분 계산에 문제가 있습니다.마지막으로, 이 두 가지 고전적인 방법 모두 구배 기반 최적화 알고리즘에 필요한 많은 입력에 대한 함수의 부분 도함수를 계산하는 데 느리다.이러한 모든 문제는 자동 차별화 기능으로 해결됩니다.

연쇄 규칙, 정방향 및 역방향 누적

AD의 기본은 체인 규칙에 의해 제공되는 미분 분해이다.심플한 구성

({displaystyle {argined}y&=f(g(x)))=f(h(w_{0})=f(w_{2})=w_{3}\w_{0}&=x\w_{1}&=h(w_{0})={1}&gt;w_{g}&gt;{1}&gt;{g})&gt;

사슬의 법칙이 주어지다

{frac} {frac} = frac {dy} {frac_{2} } {frac_{1} } {\frac {frac_{1} = frac {df_{2} } {frac {f} {f} {frac {f_{1} } {frac} {f

통상, AD 의 2 개의 다른 모드, 즉 순방향 축적(또는 순방향 모드)과 역방향 축적(또는 역방향 모드)이 표시됩니다.순방향 누적에서는 체인 규칙을 내부에서 외부로 통과시키는 것을 지정합니다(즉, 먼저 $dw_{1}/dx$ w $dw_{1}/dx$ / $dw_{1}/dx$ x $dw_{1}/dx$ { $display$ style $dw$ _ { $1}$ / $dw_{2}/dw_{1}$ $dw_{1}/dx$ $dw_{2}/dw_{1}$ { $display style$ $dw$ _ {2 $}$ / $dw$ _ ${$ 1 $}$ at $dw_{1}/dx$ at $dy/dw_{2}$ d d d $dy/dw_{2}$ / $dy/dw_{2}$ _ { { $display$ style dw $_$ { { $}$ } $dy/dw_{2}$ ）。역방향 누적에서는 순방향 누적에는 순방향 통과가 있습니다.m outside to inside (처음에는 $dy/dw_{2}$ / $dy/dw_{2}$ 2 $dw_{2}/dw_{1}$ (\ $displaystyle$ dw_ ${2$ $}/dw_$ ${1})$ 를 $dy/dw_{2}$ $dw_{2}/dw_{1}$ $dy/dw_{2}$ 한 $dw_{1}/dx$ $dw_{1}/dx$ / $dw_{1}/dx$ 1 $dw_{2}/dw_{1}$ (\ $displaystyle$ $dw_{2$ $}/dw_$ {1 $}/dw)$ 를 계산).좀 더 간결하게 말하면

forward accumulation은 재귀 ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ 를 ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ 합니다. ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ = ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ - ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ d ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ - 1 ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ x ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ { $displaystyle$ { $frac {$ display style } $= 3$ y $display _$ ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ { frac _ { $i$ } { $paramblic$ _ { i ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ } } } ${\ frac$ { $display$ _ { $i-1$ $}$ } ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ } } } } } {\ frac {\ frac {\ frac {\ $frac$ { ty ${\frac {dw_{i}}{dx}}={\frac {dw_{i}}{dw_{i-1}}}{\frac {dw_{i-1}}{dx}}$ $w_{3}=y$ }
역누적으로 재귀관계가 ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ 됩니다. ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ w ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ y ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ + ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ w ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ + ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ w i $}$ = $displaystyle$ { $frac$ { $dy$ } $w_{0}=x$ $display$ { $dy$ } { $display$ _ { i ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ + $1 }$ } { \ $frac$ { dy } } { $display$ _ { dy } { $w_{0}=x$ } { $w_{0}=x$ } } } } { display { display _ { di + { display { $displac$ ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ } $w_{0}=x$ } } } } ${\frac {dy}{dw_{i}}}={\frac {dy}{dw_{i+1}}}{\frac {dw_{i+1}}{dw_{i}}}$ } { dis

전진적립

그림 2: 계산 그래프를 사용한 전방 누적의 예

순방향 누적 AD에서는 먼저 미분이 이루어지는 독립 변수를 고정하고 각 서브 표현의 도함수를 재귀적으로 계산한다.펜 앤 페이퍼 계산에서, 이것은 연쇄 규칙에서 내부 함수의 도함수를 반복적으로 치환하는 것을 포함한다.

{displaystyle} {\frac {\frac y} {\frac y} {\frac w_{n-1}} {\frac w_{n-1}} {\frac x} {\[6pt] &=frac w_frac {\frac w_n-1} {\frac w_frac w_fr} {\frac w_n-1}\[6pt]&=flac {\flac w_{n-1}\flac {\flac w_{n-2}\flac {\flac w_{n-2}}{\flac w_{n-3}}{\flac w_{n-3}}{\flac w_fright}\flac w_fright}\[6pt]&=\cdots\end{aligned}}

이것은 야코비안의 행렬 곱으로서 여러 변수로 일반화 될 수 있다.

역축적에 비해 순축적은 자연스럽고 파생정보의 흐름이 평가순서와 일치하기 때문에 구현이 용이하다.각 $변수$ w는 그 도함수 $θ$ (심볼식이 아닌 수치로 기억)로 증강된다.

(\displaystyle {dot {w}}=param frac {\param x})

점으로 나타내듯이.파생상품은 평가 단계와 동시에 계산되고 연쇄규칙을 통해 다른 파생상품과 결합된다.

예를 들어 다음 함수를 생각해 보겠습니다.

{displaystyle {x_{1},x_{2}\\&=x_{1}x_{1}+\sin w_{2}+\sin w_{1}\\&=w_{3}+w_{4}}\\&=w_{5}\end{aligned}

알기 쉽게 하기 위해 개별 하위 표현식에는

변수 i

w로 레이블이 지정되었습니다.

미분이 실행되는 독립 변수의 선택은 시드 값 $and 1$ 및 $ẇ$ 에₂ 영향을 줍니다.x에 $대한 1$ 이 함수의 도함수에 관심이 있는 경우 시드 값은 다음과 같이 설정되어야 한다.

{\dot {w}}_{1}=black {\dot x_{1}}=1\{\dot {w}}_{2}=black {\dot x_{1}=0\end {aligned}

시드 값이 설정되어 있는 경우 값은 그림과 같이 체인 규칙을 사용하여 전파됩니다.그림 2는 계산 그래프로 이 프로세스를 그림으로 나타낸 것입니다.

가치를 계산하기 위한 운영	파생상품 계산 작업
$w_{1}=x_{1$	${\dot {w}}_{1}=1$ ${\dot {w}}_{1}=1$ 1 $=$ $({displaystyle {w}}_{$ 1}=1} $($ 시드)
$w_{2}=x_{2}$	${\dot {w}}_{2}=0$ ${\dot {w}}_{2}=0$ 2 ${\dot {w}}_{2}=0$ { $displaystyle { w$ } $_ {$ 2} = $0$ （ 시드)
$w_{3}=w_{1}\cdot w_{2}$	${w}_{3}=w_{2}\cdot {w}_{1}+w_{1}\cdot {w}_{2$
$w_{4}=\sin w_{1}$	${w}_{4}=\cos w_{1}\cdot {w}_{1$
$w_{5}=w_{3}+w_{4}}$	${dot {w}_{5}=도트 {w}_{3}+{\dot {w}}_{4}$

x뿐만 $아니라 1$ $x$ 에₂ 대해서도 $f$ 의 도함수가 필요한 이 예제 함수의 구배를 계산하기 위해 w ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ 0 ; w ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ $=$ 1 \ $display$ { $dot$ { $w } _$ { 1 } = $0$ ; { \ $dot$ { w $} _$ { { } ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ 1 } $the$ the the the the the the the the the the the the the the ${\dot {w}}_{1}=0;{\dot {w}}_{2}=1$ the the the the the the the the the the the the the the the the the the the the using the

전방 누적의 한 스위프의 계산 복잡도는 원래 코드의 복잡도에 비례합니다.

역방향 축적은 역방향 축적을 위한 m $스위프$ 보다 n개의 $스위프$ 만 필요하므로 기능 $f$ : $R n$ → $R m$ $with$ m $µ$ n의 역방향 축적을 위한 것보다 효율적이다.

역축적

그림 3: 계산 그래프를 사용한 역축적의 예

역축적 AD에서는 미분해야 할 의존 변수를 고정하고 각 서브 표현에 대해 도함수를 재귀적으로 계산한다.펜 앤 페이퍼 계산에서 외부 함수의 도함수는 체인 규칙에서 반복적으로 치환됩니다.

{\frac y} {\frac w_{1} = \frac \ frac \ frac {\frac y} {\frac w_{2} {\frac w_{1} {\frac w_frc} {\frac w_1}\cdots w_{2}}{\cdots w_{1}}\right}{\frac {\cdots}=\cdots

역축적에서 관심량은 막대(w);)로 표시된 인접이다. 이는 하위 $표현식$ w에 관해 선택된 종속 변수의 파생물이다.

(\displaystyle\bar {w}}=syslogfrac{\syslog w})

역누적은 외부에서 내부로, 또는 그림 3의 계산 그래프의 경우 위에서 아래로 체인 규칙을 통과합니다.예제 함수는 스칼라 값이며, 따라서 도함수 계산에 대한 시드는 1개뿐이며, 계산 그래프는 (2성분) 구배를 계산하는 데 1개만 필요합니다.이는 정방향 누적과 비교하면 절반에 불과하지만 역방향 누적에는 중간 $변수 i$ w와 이를 생성한 명령어(또는 "테이프")^[3]^[4]가 필요하며, 계산 그래프가 클 경우 상당한 메모리가 소비될 수 있습니다.이것은 중간 변수의 하위 집합만 저장하고 필요한 작업 변수를 재구성함으로써 어느 정도 완화될 수 있다. 이는 재물질화라고 알려진 기법이다.체크 포인팅은 중간 상태를 저장하기 위해서도 사용됩니다.

역누적을 사용하여 도함수를 계산하는 연산은 아래 표에 나와 있습니다(역순서 참고).

파생상품 계산 작업: ${w}}_{5}=1개의 텍스트(시드)}}$; $({displaystyle {w}}_{4}=바 {w}}_{5})$; $({displaystyle {w}}_{3}=바 {w}}_{5})$; ${w}_{2}=바 {w}}_{3}\cdot w_{1$; ${w}_{1}=바 {w}}_{3}\cdot w_{2}+{\bar {w}_{4}\cdot \cos w_{1}$

계산의 데이터 흐름 그래프는 원래 계산의 구배를 계산하도록 조작할 수 있습니다.이것은 각 프라이머리 노드에 인접 노드를 추가하여 이루어집니다.인접 노드는 프라이머리 에지와 평행하지만 반대 방향으로 흐릅니다.인접 그래프의 노드는 원시 노드에 의해 계산된 함수의 도함수에 의한 곱셈을 나타냅니다.예를 들어 primal의 추가는 인접의 팬아웃을 발생시키고, primal의 팬아웃은 ^[a]인접의 추가를 발생시키며, primal의 $단항함수$ y = $f (x)$ 는 인접의xθ = $fθ (x)$ 를 $발생$ 시킨다.

역축적은 $m$ $스위프$ 만 $필요$ 하므로ⁿ f : R → $R m$ $with$ m $µ$ n의 $함수$ 에 대한 순축보다 효율적이다.

리버스 모드 AD는 1976년 Seppo Linnainmaa에 ^[5]^[6]의해 처음 출판되었습니다.

기계 학습에 사용되는 기술인 다층 퍼셉트론의 오류 역전파는 역모드 ^[2]AD의 특별한 경우이다.

정방향 및 역방향 축적을 넘어

정방향 누적과 역방향 누적은 체인 규칙을 통과하기 위한 두 가지(극단) 방법일 뿐입니다.최소의 산술 연산으로 f : $R n$ → $R$ 의^m $완전$ 야코비안을 계산하는 문제는 최적 야코비안 축적(OJA) 문제로 알려져 있으며, 이는 NP-완전이다.^[7]이 증거의 중심은 그래프의 가장자리에 라벨을 붙이는 국소 부분 사이에 대수적 의존성이 존재할 수 있다는 생각이다.특히 둘 이상의 가장자리 라벨이 동일한 것으로 인식될 수 있습니다.모든 에지 레이블이 고유하고 대수적으로 독립적이라고 가정할 경우 문제의 복잡성은 여전히 해결되지 않습니다.

듀얼 번호를 사용한 자동 차별화

순방향 모드 자동 미분은 실수의 대수를 증가시켜 새로운 연산을 얻음으로써 실현된다.각 수에는 함수의 도함수를 나타내기 위해 추가 성분이 추가되며, 모든 연산자는 증강대수에 대해 확장된다.증강대수는 이중수의 대수이다.

모든 $\,x$ x(\ $displaystyle$ \, $x)$ 를 $\,x$ $x+x'\varepsilon$ x + $x+x'\varepsilon$ x $+$ $x'\varepsilon$ 로 바꿉니다 $.$ $x'$ 서 x ${\$ {\ $displaystyle$ \ $varepsilon$ $\varepsilon$ }은 $x'$ $\varepsilon$ (\ $displaystyle$ \varepsilon $^{2})$ 는 $\varepsilon ^{2}=0$ $= 0인$ 추상수입니다.초기 분석).이것만을 사용하여, 정규 산술은 다음을 나타낸다.

{\displaystyle{\begin{정렬}(x+x'\varepsilon)+(y+y'\varepsilon)&, =x+y+(x'+y의)\varepsilon \\(x+x'\varepsilon)-(y+y'\varepsilon)&, =x-y+(x'-y의)\varepsilon \\(x+x'\varepsilon)\cdot(y+y'\varepsilon)&, =xy+xy'\varepsilon +yx'\varepsilon +x'y'\varepsilon ^ᆴ=xy+(xy'+yx의)\varepsilon \\(x+x'\varepsilon)(y+y'\varepsilon)&.)(x/y+x'\va.repsilon /y)/(1+y'\varepsilon /y)=(x/y+x'\varepsilon /y)\cdot(1-y'\varepsilon /y)=x/y+(x4xy-xy4xy^{2}\varepsilon \end{aligned}}}

using

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

(

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

+

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

/

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

)

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

（

1 -

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

=

1

\

display style

( 1 + y ' \

varepsilon

/

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

)\

cdot

(

(1+y'\varepsilon /y)\cdot (1-y'\varepsilon /y)=1

1 - y ' \

varepsilon

/ y )

= 1

} 。

이제 다항식은 이 증강 산술로 계산할 수 있습니다. $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ ( $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ ) $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ + $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ + $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ + $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ + $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ $P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}$ n \ $display style$ P $(x$ ) = $p_{0}$ + $p_{1$ $}x+p_{2}x^{2}+\cdots$ + $p_{n$ x $^{$ n}},

{\displaystyle {begin {aligned}P(x+x'\varepsilon)&=p_{0}+p_{1}(x+x'\varepsilon)+cdots +p_{n}(x+x'\varepsilon)^{n}\&=p_{0}+p_{1}}x+\cdots +p_{n}x{1}x'\varepsilon +2p_{2}xx'\varepsilon +np_{n}x^{n-1}x'\varepsilon \&=P(x)+P^{1}(xend)\arepsilon

P^{(1)}

서

P^{(1)}

P(

P^{(1)}

{{

P

^{(1)}}

는

P^{(1)}

첫 번째 인수에 대한

P({

displaystyle

P

P

})의 도함수를 나타내며

x'

라고 불리는 x

({

x

x'

는 임의로 선택할 수 있습니다.

새로운 산술은 순서쌍 $\langle x,x'\rangle$ 「x」, 「x $\langle x,x'\rangle$ 라고 쓰여진 요소 $,$ $\langle x,x'\rangle$ 」({ $displaystyle\langle$ x $,x'\rangle$ 로 구성되어 있으며, 첫 번째 컴포넌트에서는 일반 산술, 두 번째 컴포넌트에서는 1차 미분 산술로 구성되어 있습니다.위의 다항식 결과를 해석 함수로 확장하면 새로운 산술에 대한 기본 산술 및 일부 표준 함수 목록이 제공됩니다.

{\displaystyle{\begin{정렬}\left\langleu,u'\right\rangle+\left\langle v,v'\right\rangle&=\left\langleu+v,u'+v'\right\rangle \\\left\langle u,u'\right\rangle-\left\langle v,v'\right\rangle&=\left\langle u-v,u'-v'\right\rangle \\\left\langleu,u'\right\rangle*\left\langle v,v'\right\rangle&=\left\langle uv,u'v+uv'\right\rangle.\\\left\lanGle, =\left\langle{\frac{마}{v}},{\frac{u'v-uv의}{v^{2}}}\right\rangle\quad(v\neq 0)\\\sin\left\langle u,u'\right\rangle&=\left\langle \sin(u),u'\cos(u)\right\rangle \\\cosu,u'\right\rangle 및 \left\langle,=\left\langle \cos(u),-u'\sin(u)\right\rangle \\\exp \left\langle u,u'\right\r/\left\langle v,v'\right\rangle 및 u,u'\right\rangle.각도&=\lefT\langle,=\left\langle u^{k},u'ku^{k-1}\right\rangle \quad\left\langle u,u'\right\rangle \right 및(u\neq 0)\\\left, =\left\langle \leftu\right,u'\operatorname{서명하}u\right\ranu\right\rangle \\\log \left\langle u,u'\right\rangle&=\left\langle \log(u),u'/u\right\rangle \quad(u>0)\\\left\langle u,u'\right\rangle ^{k}& u,u'\exp \exp.gle \quad(u\neq 0)\end {aligned}}

일반적으로

기본

함수 g

\displaystyle

g에 대해서는

\displaystyle g(\displaystyle u,u'\rangle),\displayle v,v'=\displayle g(u,v),g_{u}(u,v)u'+g_{v'(u,v)v'\rangle }

g_{u}

서 g

u {

displaystyle g

_ {

u

}

g_{v}

g_{v}

v {

displaystyle

g

_

{

v

} where

g_{v}

、 v where g {

displaystyle

g

}

where

where where where

g

where where where where where where,, ,,,,,,, ,,,,,

2진수 기본연산을 혼합인수 $\langle u,u'\rangle$ u $\langle u,u'\rangle$ u $,$ u, { $displaystyle$ \ $displaystyle$ $u, u$ '\rangle $c$ 와 $\langle u, u' \rangle$ $c$ 에 적용할 경우, 먼저 실수는 $\langle c,0\rangle$ $,$ { $displaystyle$ c $,0\rangle$ 로 상승합니다 $f:\mathbb {R} \to \mathbb {R}$ $fstyle$ $\langle c,0\rangle$ $f:\mathbb {R} \to \mathbb {R}$ $:$ $f:\mathbb {R} \to \mathbb {R}$ $x_{0}$ $({$ $displaystyle$ ${$ $0})$ 의 { $R}$ \ $to \mathbb {R$ $}은$ 는 $\langle f(x_{0}),f'(x_{0})\rangle$ 위의 산술로 $\langle f(x_{0}),f'(x_{0})\rangle$ ( $\langle f(x_{0}),f'(x_{0})\rangle$ 0 $)$ , f(x $\langle f(x_{0}),f'(x_{0})\rangle$ $)$ $\langle f(x_{0}),f'(x_{0})\rangle$ , $\langle f(x_{0}),f'(x_{0})\rangle$ 0 $)$ \ $rangle$ (x $0$ 를 $f(\langle x_0, 1 \rangle)$ 계산하면 찾을 수 있습니다 $.$

벡터 인수 및 함수

다변량 함수는 지향성 미분 연산자를 채택함으로써 일변량 함수와 동일한 효율성 및 메커니즘으로 처리할 수 있다. $y'=\nabla f(x)\cdot x'$ , y $y'=\nabla f(x)\cdot x'$ $y'=\nabla f(x)\cdot x'$ $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ $y'=\nabla f(x)\cdot x'$ f ( $y'=\nabla f(x)\cdot x'$ ) $y'=\nabla f(x)\cdot x'$ ⋅ x $′$ { $display$ y ' = \ $displayla$ $y'=\nabla f(x)\cdot x'$ f ( x ) \ $cdot$ x $y'=\nabla f(x)\cdot x'$ ' $y'=\nabla f(x)\cdot x'$ } $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ , R $y'\in \mathbb {R} ^{m}$ R $y'\in \mathbb {R} ^{m}$ $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ $display$ { $R$ $y'\in \mathbb {R} ^{m}$ } ^ { $y'\in \mathbb {R} ^{m}$ $mathbb$ { $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ $style$ f} 의 $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ 도함수 y ′ R ′ R $y'\in \mathbb {R} ^{m}$ ′ R = R $display styla$ f(x ) : $x'\in \mathbb {R} ^{n}$ $R}$ $x'\in \mathbb {R} ^{n}$ ^{ $x'\in \mathbb {R} ^{n}$ $}$ $x'\in \mathbb {R} ^{n}$ 의 R n \ $displaystyle$ x $'\in \mathbb {R}$ ^{ $n}$ 은 $x'\in \mathbb {R} ^{n}$ ( may $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ , $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ 1 $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ y $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ y m $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ y m $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ ) $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ ( $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ , x 1 $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ n $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ )로 $(\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )$ 됩니다 $.$ gle $,\ldots ,\sublicle x_{n},x'_{n}\rangle}}$ 을 $(\langle y_1,y'_1\rangle, \ldots, \langle y_m,y'_m\rangle) = f(\langle x_1,x'_1\rangle, \ldots, \langle x_n,x'_n\rangle)$ (를) 위와 같은 연산을 사용합니다. $\nabla f$ $\display$ style $\nabla$ f의 모든 $\nabla f$ 요소를 원하는 경우 $\display style$ n의 기능 평가가 $n$ 필요합니다.많은 최적화 어플리케이션에서 방향성 도함수는 실제로 충분하다는 점에 유의하십시오.

높은 차수와 많은 변수

위의 산술은 다변량 함수의 2차 이상의 도함수를 계산하기 위해 일반화 될 수 있다.그러나 산술 규칙은 빠르게 복잡해집니다. 복잡도는 가장 높은 미분 차수의 2차입니다.대신, 잘린 테일러 다항식 대수를 사용할 수 있다.일반화된 이중 번호로 정의된 결과 산술은 함수를 데이터 유형처럼 사용하여 효율적으로 계산할 수 있습니다.일단 함수의 테일러 다항식이 알려지면, 도함수는 쉽게 추출된다.

실행

순방향 모드 AD는, 실수가 2개의 번호로 치환되고, 상수가 0의 엡실론 계수로 2개의 번호로 상승하며, 수치 프리미티브가 2개의 번호로 동작하도록 상승하는 프로그램의 비표준 해석에 의해서 실장된다.이 비표준 해석은 일반적으로 소스 코드 변환 또는 연산자 오버로드의 두 가지 전략 중 하나를 사용하여 구현됩니다.

소스 코드 변환(SCT)

그림 4: 소스 코드 변환의 동작 예

함수의 소스 코드는 원래 명령과 인터리브된 파생상품을 계산하는 문을 포함하는 자동으로 생성된 소스 코드로 대체됩니다.

소스 코드 변환은 모든 프로그래밍 언어에 대해 구현할 수 있으며 컴파일러가 컴파일 시간 최적화를 수행하는 것도 더 쉽습니다.다만, AD 툴의 실장은 그 자체보다 어렵습니다.

연산자 오버로드(OO)

그림 5: 오퍼레이터의 오버로드 동작 예

연산자 오버로드는 이를 지원하는 언어로 작성된 소스 코드일 수 있습니다.위에 나타낸 증강 산술에 맞추기 위해 실수 및 초급 수학 연산을 위한 개체는 과부하가 걸려야 합니다.이를 위해 함수를 구별하기 위해 원래 소스 코드의 형식이나 조작 시퀀스를 변경할 필요는 없지만 오버로드를 지원하기 위해 숫자 및 벡터의 기본 데이터 유형을 변경해야 하는 경우가 종종 있으며 특수한 플래깅 조작의 삽입도 수반됩니다.

정방향 축적을 위한 연산자 오버로드는 구현이 용이하며 역방향 축적이 가능하다.그러나 LLVM과 같은 기성 컴파일러는 전진 축적에 비해 코드 최적화에 뒤처집니다.일반적으로 AAD 툴의 인접 계수는 5를 넘습니다.즉, AAD를 도입하여 모든 리스크를 계산할 수 있는 경우 퍼포먼스의 5배의 불이익을 받습니다.특수 AAD 컴파일러를 사용하면 인접 계수를 0.4로^[8] 줄일 수 있습니다.

연산자 오버로드는 정방향 및 역방향 누적 모두에 대해 개체가 스칼라가 아닌 실수의 벡터인 애플리케이션에 적합합니다.이는 테이프가 벡터 연산을 구성하기 때문입니다.이것에 의해, 각 벡터 연산이 다수의 스칼라 연산을 실행하는 계산 효율의 실장이 용이하게 됩니다.예를 들어 Vector Adjoint Algorithmic Differentation(Vector AAD; 벡터 인접 알고리즘 미분) 기술을 사용하여 Monte-Carlo 시뮬레이션에 의해 계산된 값을 미분할 수 있습니다.이러한 기법은 xVA 가격 책정 및 그리스 ^[9]계산의 연산 속도를 비약적으로 높일 수 있는 금융 기관 및 에너지 회사에 적용할 수 있습니다.

C++에서의 자동 차별화 오퍼레이터 오버로드 구현의 예로는 Adapt 및 Stan 라이브러리가 있습니다.

「」를 참조해 주세요.

차별화 가능한 프로그래밍

메모들

^ 가중치 행렬의 관점에서 인접은 전치이다. $[1\cdots 1]$ 1 $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[1\cdots 1]$ 1 $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ { \ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[ 1$ \ $cdots$ 1 $[1\cdots 1]$ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[1\cdots 1]$ $=$ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ 1 + $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ + $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ n $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ [ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ 、 { \ $displaystyle$ [ 1 \ $cdots$ 1 $]x$ _ ${ 1$ \ \ \ \ $vdots$ \ $n }$ \ $left$ [ { \ $right }$ ）。 $\displaystyle \left$ [ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ ][ x $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ ] $=$ [ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ 。\ $displaystyle$ \ left [ { \ $small matrix$ } \ \ \ \ \ \ $vdots \$ \ 1 \ \ \ \ \ \ \ \ \ \ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right],$ $vdots$ \ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right],$ $small$ matrix } \ right $][ x$ ] $이후$ [ 1 \ 1 \ ] $}$

레퍼런스

^ Neidinger, Richard D. (2010). "Introduction to Automatic Differentiation and MATLAB Object-Oriented Programming" (PDF). SIAM Review. 52 (3): 545–563. CiteSeerX 10.1.1.362.6580. doi:10.1137/080743627.
^ ^a ^b Baydin, Atilim Gunes; Pearlmutter, Barak; Radul, Alexey Andreyevich; Siskind, Jeffrey (2018). "Automatic differentiation in machine learning: a survey". Journal of Machine Learning Research. 18: 1–43.
^ R.E. Wengert (1964). "A simple automatic derivative evaluation program". Comm. ACM. 7 (8): 463–464. doi:10.1145/355586.364791. S2CID 24039274.
^ Bartholomew-Biggs, Michael; Brown, Steven; Christianson, Bruce; Dixon, Laurence (2000). "Automatic differentiation of algorithms". Journal of Computational and Applied Mathematics. 124 (1–2): 171–190. Bibcode:2000JCoAM.124..171B. doi:10.1016/S0377-0427(00)00422-2. hdl:2299/3010.
^ Linnainmaa, Seppo (1976). "Taylor Expansion of the Accumulated Rounding Error". BIT Numerical Mathematics. 16 (2): 146–160. doi:10.1007/BF01931367. S2CID 122357351.
^ Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?" (PDF). Optimization Stories, Documenta Matematica. Extra Volume ISMP: 389–400.
^ Naumann, Uwe (April 2008). "Optimal Jacobian accumulation is NP-complete". Mathematical Programming. 112 (2): 427–441. CiteSeerX 10.1.1.320.5665. doi:10.1007/s10107-006-0042-z. S2CID 30219572.
^ https://wilmott.com/aad-breaking-the-primal-barrier/
^ https://www.intel.com/content/dam/www/public/us/en/documents/white-papers/xva-pricing-application-financial-services-white-papers.pdf^{[베어 URL PDF]}

추가 정보

Rall, Louis B. (1981). Automatic Differentiation: Techniques and Applications. Lecture Notes in Computer Science. Vol. 120. Springer. ISBN 978-3-540-10861-0.
Griewank, Andreas; Walther, Andrea (2008). Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation. Other Titles in Applied Mathematics. Vol. 105 (2nd ed.). SIAM. ISBN 978-0-89871-659-7. Archived from the original on 2010-03-23. Retrieved 2009-10-21.
Neidinger, Richard (2010). "Introduction to Automatic Differentiation and MATLAB Object-Oriented Programming" (PDF). SIAM Review. 52 (3): 545–563. CiteSeerX 10.1.1.362.6580. doi:10.1137/080743627. Retrieved 2013-03-15.
Naumann, Uwe (2012). The Art of Differentiating Computer Programs. Software-Environments-tools. SIAM. ISBN 978-1-611972-06-1.
Henrard, Marc (2017). Algorithmic Differentiation in Finance Explained. Financial Engineering Explained. Palgrave Macmillan. ISBN 978-3-319-53978-2.

외부 링크

www.autodiff.org, "자동 차별화에 대해 알고 싶은 모든 정보 입력 사이트"
병렬 OpenMP 프로그램 자동 차별화
자동 차별화, C++ 템플릿 및 사진 측량
자동 차별화, 오퍼레이터 과부하 접근법
웹 기반 인터페이스를 통해 Fortran77, Fortran95 또는 C 프로그램의 분석 파생상품을 계산합니다. Fortran 프로그램의 자동 차별화
Scala에서의 자동 전송에 관한 설명과 예시 코드
finmath-lib 자동 미분 확장, 랜덤 변수에 대한 자동 미분(확률적 자동 미분 구현).
인접 알고리즘 미분: 보정 및 암묵적 함수 정리
C++ 템플릿 기반 자동 차별화 문서 및 구현
접선 소스 간 디버깅 가능한 파생상품
[1], 알고리즘 미분에 의한 정확한 1차 및 2차 그리스어
[2], GPU 가속 어플리케이션의 인접 알고리즘의 미분
[3], 알고리즘 미분을 위한 컴퓨터 파이낸스 소프트웨어 도구 지원의 인접 방식
인텔 Xeon 스케일러블 프로세서를 통한 xVA 가격 계산 속도 1,000배 이상 향상

[5] 가중치 행렬의 관점에서 인접은 전치이다. $[1\cdots 1]$ 1 $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[1\cdots 1]$ 1 $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ { \ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[ 1$ \ $cdots$ 1 $[1\cdots 1]$ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ $[1\cdots 1]$ $=$ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ 1 + $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ + $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ n $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ [ $[1\cdots 1]\left[{\begin{smallmatrix}x_{1}\\\vdots \\x_{n}\end{smallmatrix}}\right]=x_{1}+\cdots +x_{n},$ 、 { \ $displaystyle$ [ 1 \ $cdots$ 1 $]x$ _ ${ 1$ \ \ \ \ $vdots$ \ $n }$ \ $left$ [ { \ $right }$ ）。 $\displaystyle \left$ [ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ ][ x $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ ] $=$ [ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right][x]=\left[{\begin{smallmatrix}x\\\vdots \\x\end{smallmatrix}}\right].$ 。\ $displaystyle$ \ left [ { \ $small matrix$ } \ \ \ \ \ \ $vdots \$ \ 1 \ \ \ \ \ \ \ \ \ \ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right],$ $vdots$ \ $\left[{\begin{smallmatrix}1\\\vdots \\1\end{smallmatrix}}\right],$ $small$ matrix } \ right $][ x$ ] $이후$ [ 1 \ 1 \ ] $}$

[1] Neidinger, Richard D. (2010). "Introduction to Automatic Differentiation and MATLAB Object-Oriented Programming" (PDF). SIAM Review. 52 (3): 545–563. CiteSeerX 10.1.1.362.6580. doi:10.1137/080743627.

[baydin2018automatic-2] Baydin, Atilim Gunes; Pearlmutter, Barak; Radul, Alexey Andreyevich; Siskind, Jeffrey (2018). "Automatic differentiation in machine learning: a survey". Journal of Machine Learning Research. 18: 1–43.

[3] R.E. Wengert (1964). "A simple automatic derivative evaluation program". Comm. ACM. 7 (8): 463–464. doi:10.1145/355586.364791. S2CID 24039274.

[4] Bartholomew-Biggs, Michael; Brown, Steven; Christianson, Bruce; Dixon, Laurence (2000). "Automatic differentiation of algorithms". Journal of Computational and Applied Mathematics. 124 (1–2): 171–190. Bibcode:2000JCoAM.124..171B. doi:10.1016/S0377-0427(00)00422-2. hdl:2299/3010.

[lin1976-6] Linnainmaa, Seppo (1976). "Taylor Expansion of the Accumulated Rounding Error". BIT Numerical Mathematics. 16 (2): 146–160. doi:10.1007/BF01931367. S2CID 122357351.

[grie2012-7] Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?" (PDF). Optimization Stories, Documenta Matematica. Extra Volume ISMP: 389–400.

[8] Naumann, Uwe (April 2008). "Optimal Jacobian accumulation is NP-complete". Mathematical Programming. 112 (2): 427–441. CiteSeerX 10.1.1.320.5665. doi:10.1007/s10107-006-0042-z. S2CID 30219572.

[9] ttps://wilmott.com/aad-breaking-the-primal-barrier/

[10] ttps://www.intel.com/content/dam/www/public/us/en/documents/white-papers/xva-pricing-application-financial-services-white-papers.pdf^{[베어 URL PDF]}

[1]

[2]

[3]

[4]

[a]

[5]

[6]

[7]

[8]

[9]

Search

자동 차별화

네임스페이스

더

목차

연쇄 규칙, 정방향 및 역방향 누적

전진적립