哈密顿-雅可比-贝尔曼方程

考慮在時間${\displaystyle [0,T]}$內，以下確定系統最佳控制的問題：

${\displaystyle V(x(0),0)=\min _{u}\left\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\right\}}$

其中C[ ]為純量成本函數，D[ ]為計算其最終狀態時效力時或經濟值的函數，x(t)為系統狀態向量，x(0)假設已知，及u(t)是想要求得的控制向量，在 0 ≤ t ≤ T。

此系統也需滿足下式：

${\displaystyle {\dot {x}}(t)=F[x(t),u(t)]\,}$

其中F[ ]可以根據狀態向量決定向量後續的變化。

針對上述簡單的系統，哈密顿-雅可比-贝尔曼微分方程如下：

${\displaystyle {\dot {V}}(x,t)+\min _{u}\left\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\right\}=0}$

需符合以下條件

${\displaystyle V(x,T)=D(x),\,}$

其中${\displaystyle a\cdot b}$為向量a和b的內積，而${\displaystyle \nabla }$為梯度運算子。（注意：${\displaystyle \nabla V(x,t)}$ 表示 ${\displaystyle V(x,t)}$ 对 ${\displaystyle x}$ 求导，非对 ${\displaystyle t}$ 求导！）

上述PDE中的未知向量${\displaystyle V(x,t)}$是貝爾曼間接效用函數，表示從時間${\displaystyle t}$，狀態${\displaystyle x}$開始控制系統，以最佳方式控制系統一直到時間${\displaystyle T}$的成本。

HJB方程可以用以下的方式推導：假設${\displaystyle V(x(t),t)}$是最佳的成本函數，則根據理查·貝爾曼的貝爾曼方程，從時間t到t + dt，可得：

${\displaystyle V(x(t),t)=\min _{u}\left\{\int _{t}^{t+dt}C(x(t),u(t))\,dt+V(x(t+dt),t+dt)\right\}.}$

注意最後一項的泰勒展開式如下：

${\displaystyle V(x(t+dt),t+dt)=V(x(t),t)+{\dot {V}}(x(t),t)\,dt+\nabla V(x(t),t)\cdot {\dot {x}}(t)\,dt+o(dt),}$

其中o(dt)是泰勒展開式中的高階項，若在等式兩側刪除V(x(t), t)，除以dt，並取dt趨近為零的極限，可得上述定義的HJB方程。

HJB方程一般會用逆向归纳法求解，也就是從${\displaystyle t=T}$往前求解到${\displaystyle t=0}$。

若對整個狀態空間求解，HJB方程是最佳解的充份必要條件[2]。若可以求解${\displaystyle V}$，就可以找到達到最小成本的控制${\displaystyle u}$。

一般而言，HJB方程不會有一個傳統光滑函数的解。為了這些情形發展了許多廣義解的表示方式，包括皮埃爾-路易·利翁及迈克尔·克兰德尔的粘性解，Andrei Izmailovich Subbotin的極小化極大演算法等。

上述的作法主要是應用贝尔曼的最优化原理，以及在時間上由最終時間倒推求解，針對隨機控制問題也可以用類似的作法求最佳解。考慮以下的問題

${\displaystyle \min \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}}$

此時${\displaystyle (X_{t})_{t\in [0,T]}\,\!}$為隨機過程，而${\displaystyle (u_{t})_{t\in [0,T]}\,\!}$為控制變數。首先使用貝爾曼方程，再用伊藤引理將${\displaystyle V(X_{t},t)}$展開，可以得到以下的隨機HJB方程。

${\displaystyle \min _{u}\left\{{\mathcal {A}}V(x,t)+C(t,x,u)\right\}=0,}$

其中${\displaystyle {\mathcal {A}}}$為隨機微分運算子，以下是最終時間的限制條件。

${\displaystyle V(x,T)=D(x)\,\!.}$

注意此時已沒有隨機性了。此例中後者的${\displaystyle V\,\!}$不一定是原來方程式的解，它只是可能解之一，需要再作驗證。此技巧常用在財務數學中，決定在市場中的最佳投資策略（例如像默顿的投资组合问题）。

• 貝爾曼方程，離散的哈密顿-雅可比-贝尔曼方程。
• Pontryagin最小值定理，是將哈密顿量最小值，是最佳化必要但不充份的條件，和哈密顿-雅可比-贝尔曼方程相比的好處是只要考慮滿足條件的單一軌跡。

• Dimitri P. Bertsekas. . Athena Scientific. 2005.