貝爾曼方程

令 ${\displaystyle t}$ 时刻的状态为 ${\displaystyle x_{t}}$。对于一个从时刻 0 开始的决策，令${\displaystyle x_{0}}$为初始状态。在任意时刻，可能的行动集合都取决于当前状态。可以将其写作 ${\displaystyle a_{t}\in \Gamma (x_{t})}$，其中，${\displaystyle a_{t}}$代表了一个或者多个控制变量。还可以假定，当采取行动 ${\displaystyle a}$时，状态由${\displaystyle x}$变为新状态 ${\displaystyle T(x,a)}$，当前收益为${\displaystyle F(x,a)}$。最后使用 ${\displaystyle 0<\beta <1}$代表折扣因子（discount factor），折扣因子平衡了当前时刻的收益与较远时刻的收益间的影响。

在这些假设下，一个无限范围决策问题有以下形式：

${\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}$

服从以下约束：

${\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }$

注意已经使用了 ${\displaystyle V(x_{0})}$ 来表示可以通过最大化符合约束假设的目标函数得到的最优值。这个函数就是 价值函数。由于最优值取决于初始状态，因此，它是初始状态变量 ${\displaystyle x_{0}}$的函数。

动态规划方法将决策问题分解为更小的子问题。贝尔曼最优化原理描述了如何做到这点：

最优化原理：最优化策略有这样的性质，即无论初始状态和初始决策是什么，余下的决策必定构成一个与由初始决策导致的状态有关的最优化策略。 (See Bellman, 1957, Chap. III.3.)

在计算机科学领域，一个可以如此分解的问题称作有最优子结构。在博弈论中，这个原理与subgame perfect equilibrium的概念类似，尽管在这种情况下，构成最优策略的条件取决于决策者的对手从他们的立场选择类似的最优策略。

正如最优化原理所说，会单独考虑初始决策，将所有将来决策暂放一边。收集右侧括号的将来决策，上述无限尺度决策问题等价于：

${\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}$

服从以下约束：

${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$

此处选择 ${\displaystyle a_{0}}$, 已知选择会导致时刻1的状态成为 ${\displaystyle x_{1}=T(x_{0},a_{0})}$. 自时刻1起，该新状态会影响随后决策问题。整个未来的决策问题出现在右边的方括号内。

子问题和贝尔曼方程 对于每个t = 0, . . . , T, 子问题对应的子方程: 已知 st = s,

最大化 rt(st, at) + βrt+1(st+1, at+1)+ · · · + β^T −t−1*rT−1(sT−1, aT−1) + β^T−t*rT (sT )

服从于: 对于 k = t, . . . , T − 1, ak ∈ Ak(sk) sk+1 − gk(sk, ak) = 0

• 最优值函数, v∗t(s): 子问题（第t行）的最大值

• 由此可得贝尔曼方程的公式: (未知数: v∗t(s))

v∗t(s) = max 【a∈At(s)】 rt(s, a) + βv∗t+1(gt(s, a)), s ∈ S, t = 0, . . . , T − 1

v∗T(s) = rT (s), s ∈ S