馬可夫決策過程

马尔可夫决策过程的目标是为决策者找到一个好的“策略”：一个函数${\displaystyle \pi }$，它指定决策者在状态${\displaystyle s}$时将选择的动作${\displaystyle \pi (s)}$。一旦以这种方式将马尔可夫决策过程与策略组合在一起，就可以确定在每个状态的动作，并且生成的组合行为类似于马尔可夫链（因为在状态${\displaystyle s}$的动作都由${\displaystyle \pi (s)}$决定，${\displaystyle \Pr(s_{t+1}=s'\mid s_{t}=s,a_{t}=a)}$简化为${\displaystyle \Pr(s_{t+1}=s'\mid s_{t}=s)}$，成为一个马尔可夫轉移矩陣）。

目标是选择一个策略${\displaystyle \pi }$，使随机奖励的累积函数最大化，通常是在潜在的无限范围内的预期贴现总和:

${\displaystyle E\left[\sum _{t=0}^{\infty }{\gamma ^{t}R_{a_{t}}(s_{t},s_{t+1})}\right]}$（我们选择${\displaystyle a_{t}=\pi (s_{t})}$也就是策略给出的动作）。并且期望值为${\displaystyle s_{t+1}\sim P_{a_{t}}(s_{t},s_{t+1})}$。

其中${\displaystyle \ \gamma \ }$是折现因子，满足${\displaystyle 0\leq \ \gamma \ \leq \ 1}$，通常接近于1（例如，对于贴现率r，存在${\displaystyle \gamma =1/(1+r)}$）。较低的折扣率促使决策者倾向于尽早采取行动，而不是无限期地推迟行动。

使上述函数最大化的策略称为最优策略，通常用${\displaystyle \pi ^{*}}$表示。一个特定的MDP可能有多个不同的最佳策略。由于馬可夫決策過程的性质，可以证明最优策略是当前状态的函数，就像上面所叙述的那样。

在许多情况下，很难明确地表示转移概率分布${\displaystyle P_{a}(s,s')}$。在这种情况下，可以使用模拟器通过提供来自转换发行版的示例来隐式地对MDP建模。隐式MDP模型的一种常见形式是情景环境模拟器，它可以从初始状态启动，生成后续状态，并在每次接收到操作输入时给予奖励。通过这种方式，我们可以模拟出目标经过的状态、采取的行动以及获得的奖励（统称“轨迹”）。

另一种形式的模拟器是生成模型，即能够生成下一个状态的样本并提供所有状态和行动奖励的单步骤模拟器。[4]在用伪代码表示的算法中，${\displaystyle G}$通常用来表示生成模型。例如，表达式${\displaystyle s',r\gets G(s,a)}$可以表示从生成模型中取样的动作，其中${\displaystyle s}$和${\displaystyle a}$是当前状态和动作，${\displaystyle s'}$和${\displaystyle r}$是下一步的状态和奖励。与情景模拟器相比，生成模型的优势在于它可以从任何状态获取数据，而不仅仅是在轨迹中遇到的状态。

這些模型類形成了信息內容的層次結構：顯式模型通過從分佈中採樣簡單地生成生成模型，並且生成模型的重複應用生成軌跡模擬器。在相反的方向上，只能通過迴歸分析研究近似模型。可用於特定MDP的模型類型在確定哪種解決方案算法合適方面起著重要作用。例如，下一節中描述的動態規划算法需要一個顯式模型，而蒙地卡羅樹搜尋需要一個生成模型（或可以在任何狀態下複製的情景模擬器），而大多數強化學習算法只需要一個軌跡模擬器 。

數值迭代也稱為反向歸納，不使用${\displaystyle \pi }$函數.相反，${\displaystyle \pi (s)}$的值在需要時在${\displaystyle V(s)}$內計算。 將${\displaystyle \pi (s)}$的計算代入${\displaystyle V(s)}$的計算得出組合步驟：

${\displaystyle V_{i+1}(s):=\max _{a}\left\{\sum _{s'}P_{a}(s'|s)\left(R_{a}(s,s')+\gamma V_{i}(s')\right)\right\},}$

其中${\displaystyle i}$是迭代数，值迭代从${\displaystyle i=0}$和${\displaystyle V_{0}}$开始，作为价值函数的猜测。