自動微分

自動微分的基礎是，根據复合函数求导法则來合併微分值。以${\displaystyle f(x)=g(h(x))}$為例，根據复合函数求导法则，我們有：

${\displaystyle {\frac {df}{dx}}={\frac {df}{dh}}{\frac {dh}{dx}}}$

通常有兩個不同的模式：“前向積累”（或“前向模式”）和“反向積累”（或反向模式）。 前向積累由右到左地使用复合函数求导法则，即先計算 ${\displaystyle dh/dx}$ ，然後才${\displaystyle dg/dh}$。 反向積累則是由左到右。

前向積累

前向積累式的自動微分是最容易理解和實作的。 ${\displaystyle f(x_{1},x_{2})=x_{1}x_{2}+\sin(x_{1})}$這個函數是可被電腦（或程式設計師） 解釋成一連串對變數${\displaystyle w_{i}}$的運算。 前向積累式自動微分的工具則會增加相對應的作用於第二項上的運算。

原本程式碼敘述	為導數而新增的敘述
${\displaystyle w_{1}=x_{1}}$	${\displaystyle w'_{1}=1}$ (種子)
${\displaystyle w_{2}=x_{2}}$	${\displaystyle w'_{2}=0}$ (種子)
${\displaystyle w_{3}=w_{1}w_{2}}$	${\displaystyle w'_{3}=w'_{1}w_{2}+w_{1}w'_{2}=1x_{2}+x_{1}0=x_{2}}$
${\displaystyle w_{4}=\sin(w_{1})}$	${\displaystyle w'_{4}=\cos(w_{1})w'_{1}=\cos(x_{1})1}$
${\displaystyle w_{5}=w_{3}+w_{4}}$	${\displaystyle w'_{5}=w'_{3}+w'_{4}=x_{2}+\cos(x_{1})}$

計算${\displaystyle f(x_{1},x_{2})=x_{1}x_{2}+\sin(x_{1})}$的導數需要初始化， 以區別是要對${\displaystyle x_{1}}$或${\displaystyle x_{2}}$來求導數。 上述表格則以${\displaystyle w'_{1}=1}$和${\displaystyle w'_{2}=0}$來初始化， 並且我們可以看到其結果${\displaystyle x_{2}+\cos(x_{1})}$正是對${\displaystyle x_{1}}$的導數。 注意，雖然表格列出了符號微分， 但以電腦的角度而言，電腦總是儲存數值。圖2則以圖形表明上述的敘述。

為了計算這個例子的導數，其分別為${\displaystyle \partial f/\partial x_{1}}$和${\displaystyle \partial f/\partial x_{2}}$， 需要計算兩次，一次是以${\displaystyle w'_{1}=1}$和${\displaystyle w'_{2}=0}$做初始值， 另一次則以${\displaystyle w'_{1}=0}$和${\displaystyle w'_{2}=1}$做為初始值。

前向積累的計算複雜度則正比於原來程式的計算複雜度。

對於函數${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} ^{m}}$且 ${\displaystyle m\gg 1}$來說， 前向積累只要計算一次，優於需要計算 m 次的反向積累。

前向式積累自動微分可藉由擴充實數中的代數並得到一個新的算術系統來達成。 每一個數都會新增另一數，用來表示一函數在這數上導數的數。 而每一個算術運算都被擴充於此新的代數。 這個擴充後的代數就是二元數的代數。

將每一個數${\displaystyle \,x}$替換成數${\displaystyle x+x'\varepsilon }$，其中${\displaystyle x'}$是一個實數，但${\displaystyle \varepsilon }$則只是一個據有${\displaystyle \varepsilon ^{2}=0}$這個特性的符號。 使用這特性，我們可以有運算

${\displaystyle (x+x'\varepsilon )+(y+y'\varepsilon )=x+y+(x'+y')\varepsilon }$

${\displaystyle (x+x'\varepsilon )\cdot (y+y'\varepsilon )=xy+xy'\varepsilon +yx'\varepsilon +x'y'\varepsilon ^{2}=xy+(xy'+yx')\varepsilon }$

減法和除法則類似。

現在，我們可以計算多項式。 如果${\displaystyle P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}}$，則

${\displaystyle P(x+x'\varepsilon )}$	${\displaystyle =\,}$	${\displaystyle p_{0}+p_{1}(x+x'\varepsilon )+\cdots +p_{n}(x+x'\varepsilon )^{n}}$
	${\displaystyle =\,}$	${\displaystyle p_{0}+p_{1}x+\cdots +p_{n}x^{n}}$
		${\displaystyle \,{}+p_{1}x'\varepsilon +2p_{2}xx'\varepsilon +\cdots +np_{n}x^{n-1}x'\varepsilon }$
	${\displaystyle =\,}$	${\displaystyle P(x)+P^{(1)}(x)x'\varepsilon }$

其中 ${\displaystyle P^{(1)}}$ 表示 ${\displaystyle P}$ 對第一個參數的導數。 而 ${\displaystyle x'}$ 則稱作“種子”，可以任意選擇。

新的算術是由有序對、寫成${\displaystyle \langle x,x'\rangle }$ 及對第一項的運算和對第二項的第一階微分運算所組成。 將上述結果應用於多項式的解析函數上， 我們可以得到一系列關於基本算術和一些標準函數的新算術：

${\displaystyle \langle u,u'\rangle +\langle v,v'\rangle =\langle u+v,u'+v'\rangle }$

${\displaystyle \langle u,u'\rangle -\langle v,v'\rangle =\langle u-v,u'-v'\rangle }$

${\displaystyle \langle u,u'\rangle *\langle v,v'\rangle =\langle uv,u'v+uv'\rangle }$

${\displaystyle \langle u,u'\rangle /\langle v,v'\rangle =\left\langle {\frac {u}{v}},{\frac {u'v-uv'}{v^{2}}}\right\rangle \quad (v\neq 0)}$

${\displaystyle \sin \langle u,u'\rangle =\langle \sin(u),u'\cos(u)\rangle }$

${\displaystyle \cos \langle u,u'\rangle =\langle \cos(u),-u'\sin(u)\rangle }$

${\displaystyle \exp \langle u,u'\rangle =\langle \exp u,u'\exp u\rangle }$

${\displaystyle \log \langle u,u'\rangle =\langle \log(u),u'/u\rangle \quad (u>0)}$

${\displaystyle \langle u,u'\rangle ^{k}=\langle u^{k},ku^{k-1}u'\rangle \quad (u\neq 0)}$

${\displaystyle \left|\langle u,u'\rangle \right|=\langle \left|u\right|,u'{\mbox{sign}}u\rangle \quad (u\neq 0)}$

並且，一般而言，對於一個函數 ${\displaystyle g}$，我們會有

${\displaystyle g(\langle u,u'\rangle ,\langle v,v'\rangle )=\langle g(u,v),g^{(1)}(u,v)u'+g^{(2)}(u,v)v'\rangle }$

其中${\displaystyle g^{(1)}}$和${\displaystyle g^{(2)}}$分別是${\displaystyle g}$對其第一項和第二項的導數。

對一個二元算術運算作用於混合的參數時（數對${\displaystyle \langle u,u'\rangle }$和實數${\displaystyle c}$）， 實數會先被轉成${\displaystyle \langle c,0\rangle }$。 函數${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} }$在${\displaystyle x_{0}}$上的導數 則為以上述算術計算${\displaystyle f(\langle x_{0},1\rangle )}$，其結果為${\displaystyle \langle f(x_{0}),f'(x_{0})\rangle }$。

前向式積累是由對程式的非標準化轉譯程序來實作。 即將實數替換成二元數，常數則換成有第二項為零係數的二元數。 而數值上基本運算則被換成二元數的運算。 非標準化轉譯程序一般使用兩者策略之一：程式碼轉換和運算符重載。

程式碼轉換

Figure 4: Example of how source code transformation could work

一個函數的程式碼會被自動產生的程式碼所替換， 新生成用來計算導數的程式碼則會插入原程式碼中。

程式碼轉換可實作在所有的程式語言上，且它對編譯器而言，是容易最佳化的。 然而，實作自動微分的工具則是比較困難的。

例子：

• ADIC[1] (C/C++, 前向積累)
• ADIFOR[2] (Fortran77)
• OpenAD[3] (Fortran77, Fortran95, C/C++)
• TAPENADE[4] (Fortran77, Fortran95)

運算符重載

Figure 5: Example of how operator overloading could work

如果所使用的程式語言支持，運算符重載是個可行的方法。 實數的物件跟基本數學運算必須重載以滿足上述 augmented 算術。 這不須要改變要被微分的函數的程式碼。

運算符重載對前向積累是容易實作的，並且可能對反向積累亦如此。 然而，與前向積累相比，現有的編譯器在最佳化程式碼方面則是較為落後。

例子：

• ADC Version 4.0[5] (C/C++)
• ADF Version 4.0[6] (Fortran 77, Fortran 95)
• ADOL-C[7] (C/C++)
• FADBAD++[8] (C/C++)
• CppAD[9] (C/C++)
• MAD[10] (Matlab)
• Sacado (Trilinos[11]的一部分) (C++, forward/reverse)

• Rall, Louis B. . Lecture Notes in Computer Science 120. Springer. 1981. ISBN 978-3-540-10861-0.
• Griewank, Andreas. . Frontiers in Applied Mathematics 19. SIAM. 2000. ISBN 0-89871-451-6.

• www.autodiff.org （页面存档备份，存于）, An "entry site to everything you want to know about automatic differentiation"
• Automatic Differentiation of Parallel OpenMP Programs
• Automatic Differentiation, C++ Templates and Photogrammetry
• Automatic Differentiation, Operator Overloading Approach （页面存档备份，存于）
• Compute analytic derivatives through a web-based interface Automatic differentiation of nonlinear models
• Compute analytic derivatives of any Fortran77 or Fortran95 through a web-based interface （页面存档备份，存于） Automatic Differentiation of Fortran programs