LQG控制

考慮連續時間的線性動態系統

${\displaystyle {\dot {\mathbf {x} }}(t)=A(t)\mathbf {x} (t)+B(t)\mathbf {u} (t)+\mathbf {v} (t),}$

${\displaystyle \mathbf {y} (t)=C(t)\mathbf {x} (t)+\mathbf {w} (t),}$

其中${\displaystyle {\mathbf {x} }}$是系統狀態變數的向量，${\displaystyle {\mathbf {u} }}$是控制輸入向量，${\displaystyle {\mathbf {y} }}$是輸出量測值的向量，可用在回授上。系統受到加成性的高斯系統雜訊${\displaystyle \mathbf {v} (t)}$及加成性的高斯量測雜訊${\displaystyle \mathbf {w} (t)}$所影響。給定一系統，其目標是找到一控制輸入${\displaystyle {\mathbf {u} }(t)}$，此控制輸入在每個時間${\displaystyle {\mathbf {} }t}$下，和以往的量測量${\displaystyle {\mathbf {y} }(t'),0\leq t'<t}$有線性關係，而且此控制輸入可以讓以下的費用函數有最小值：

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} ^{\mathrm {T} }}(T)F{\mathbf {x} }(T)+\int _{0}^{T}{\mathbf {x} ^{\mathrm {T} }}(t)Q(t){\mathbf {x} }(t)+{\mathbf {u} ^{\mathrm {T} }}(t)R(t){\mathbf {u} }(t)\,dt\right],}$

${\displaystyle F\geq 0,\quad Q(t)\geq 0,\quad R(t)>0,}$

其中${\displaystyle \mathbb {E} }$為期望值。最終時間（horizon）${\displaystyle {\mathbf {} }T}$可能是有限值或是無限值。若最終時間為無限，則費用函數的第一項${\displaystyle {\mathbf {x} }^{\mathrm {T} }(T)F{\mathbf {x} }(T)}$可以忽略，和問題無關。而為了要讓費用函數為有限值，會定義費用函數為${\displaystyle {\mathbf {} }J/T}$。

求解上述LQG問題的LQG控制器可以用以下方程表示：

${\displaystyle {\dot {\hat {\mathbf {x} }}}(t)=A(t){\hat {\mathbf {x} }}(t)+B(t){\mathbf {u} }(t)+L(t)\left({\mathbf {y} }(t)-C(t){\hat {\mathbf {x} }}(t)\right),\quad {\hat {\mathbf {x} }}(0)=\mathbb {E} \left[{\mathbf {x} }(0)\right],}$

${\displaystyle {\mathbf {u} }(t)=-K(t){\hat {\mathbf {x} }}(t).}$

矩陣${\displaystyle {\mathbf {} }L(t)}$稱為卡尔曼增益（Kalman gain），和第一個方程卡尔曼滤波有關。在時間${\displaystyle {\mathbf {} }t}$，濾波器會根據過去量測及輸入來產生狀態${\displaystyle {\mathbf {x} }(t)}$的估測值${\displaystyle {\hat {\mathbf {x} }}(t)}$。卡尔曼增益${\displaystyle {\mathbf {} }L(t)}$是根據${\displaystyle {\mathbf {} }A(t),C(t)}$、二個和白色高斯雜訊有關密度矩陣${\displaystyle \mathbf {v} (t)}$、${\displaystyle \mathbf {w} (t)}$及最後的${\displaystyle \mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right]}$來計算。這五個矩陣會透過以下的矩陣Riccati微分方程來決定卡尔曼增益：

${\displaystyle {\dot {P}}(t)=A(t)P(t)+P(t)A^{\mathrm {T} }(t)-P(t)C^{\mathrm {T} }(t){\mathbf {} }W^{-1}(t)C(t)P(t)+V(t),}$

${\displaystyle P(0)=\mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right].}$

假設其解${\displaystyle P(t),0\leq t\leq T}$，則卡尔曼增益等於

${\displaystyle {\mathbf {} }L(t)=P(t)C^{\mathrm {T} }(t)W^{-1}(t).}$

矩陣${\displaystyle {\mathbf {} }K(t)}$稱為回授增益（feedback gain）矩陣，是由${\displaystyle {\mathbf {} }A(t),B(t),Q(t),R(t)}$及${\displaystyle {\mathbf {} }F}$矩陣，透過以下的矩陣Riccati微分方程來決定

${\displaystyle -{\dot {S}}(t)=A^{\mathrm {T} }(t)S(t)+S(t)A(t)-S(t)B(t)R^{-1}(t)B^{\mathrm {T} }(t)S(t)+Q(t),}$

${\displaystyle {\mathbf {} }S(T)=F.}$

假設其解${\displaystyle {\mathbf {} }S(t),0\leq t\leq T}$，回授增益等於

${\displaystyle {\mathbf {} }K(t)=R^{-1}(t)B^{\mathrm {T} }(t)S(t).}$

觀察上述二個矩陣Riccati微分方程，第一個沿時間從前往後算，而第二個是沿時間從後往前算，這稱為「對偶性」。第一個矩陣Riccati微分方程解了線性平方估測問題（LQE），第二個矩陣Riccati微分方程解了LQR控制器問題。這二個問題是對偶的，合起來就解了線性平方高斯控制問題（LQG)，因此LQG問題分成了LQE問題以及LQR問題，且可以獨立求解，因此LQG問題是「可分離的」。

當${\displaystyle {\mathbf {} }A(t),B(t),C(t),Q(t),R(t)}$和雜訊密度矩陣${\displaystyle \mathbf {} V(t)}$, ${\displaystyle \mathbf {} W(t)}$不隨時間變化${\displaystyle {\mathbf {} }t}$，且${\displaystyle {\mathbf {} }T}$趨於無限大時，LQG控制器會變成非時變動態系統。此時上述二個矩陣Riccati微分方程會變成代數Riccati方程。

離散時間的LQG控制問題和連續時間下的問題相近，因此以下只關注其數學式。

離散時間的線性系統方程為

${\displaystyle {\mathbf {x} }_{i+1}=A_{i}\mathbf {x} _{i}+B_{i}\mathbf {u} _{i}+\mathbf {v} _{i},}$

${\displaystyle \mathbf {y} _{i}=C_{i}\mathbf {x} _{i}+\mathbf {w} _{i}.}$

其中${\displaystyle \mathbf {} i}$是離散時間，${\displaystyle \mathbf {v} _{i},\mathbf {w} _{i}}$是離散時間高斯白雜訊過程，其共變異數矩陣為${\displaystyle \mathbf {} V_{i},W_{i}}$。

要最小化的二次費用函數為

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} }_{N}^{\mathrm {T} }F{\mathbf {x} }_{N}+\sum _{i=0}^{N-1}(\mathbf {x} _{i}^{\mathrm {T} }Q_{i}\mathbf {x} _{i}+\mathbf {u} _{i}^{\mathrm {T} }R_{i}\mathbf {u} _{i})\right],}$

${\displaystyle F\geq 0,Q_{i}\geq 0,R_{i}>0.\,}$

離散時間的LQG控制器為

${\displaystyle {\hat {\mathbf {x} }}_{i+1}=A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}{\mathbf {u} }_{i}+L_{i+1}\left({\mathbf {y} }_{i+1}-C_{i+1}\left\{A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}u_{i}\right\}\right),{\hat {\mathbf {x} }}_{0}=\mathbb {E} [{\mathbf {x} }_{0}]}$,

${\displaystyle \mathbf {u} _{i}=-K_{i}{\hat {\mathbf {x} }}_{i}.\,}$

卡尔曼增益等於

${\displaystyle {\mathbf {} }L_{i}=P_{i}C_{i}^{\mathrm {T} }(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i})^{-1},}$

其中${\displaystyle {\mathbf {} }P_{i}}$是由以下依時間往前進的矩陣Riccati差分方程所決定：

${\displaystyle P_{i+1}=A_{i}\left(P_{i}-P_{i}C_{i}^{\mathrm {T} }\left(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i}\right)^{-1}C_{i}P_{i}\right)A_{i}^{\mathrm {T} }+V_{i},P_{0}=\mathbb {E} \left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)^{\mathrm {T} }.}$

回授增益矩陣為

${\displaystyle {\mathbf {} }K_{i}=(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i})^{-1}B_{i}^{\mathrm {T} }S_{i+1}A_{i}}$

\ 其中${\displaystyle {\mathbf {} }S_{i}}$是由以下時間從後往前算的矩陣Riccati差分方程所決定：

${\displaystyle S_{i}=A_{i}^{\mathrm {T} }\left(S_{i+1}-S_{i+1}B_{i}\left(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i}\right)^{-1}B_{i}^{\mathrm {T} }S_{i+1}\right)A_{i}+Q_{i},\quad S_{N}=F.}$

若問題中所有的矩陣都是非時變的，且時間長度${\displaystyle {\mathbf {} }N}$趨近無窮大，則離散時間的LQG控制器就是非時變的。此時矩陣Riccati差分方程可以用離散時間的代數Riccati方程取代。可以決定非時變的離散線性二次估測器，以及非時變的離散LQR控制器。為了讓費用是有限值，會用${\displaystyle {\mathbf {} }J/N}$來代替${\displaystyle {\mathbf {} }J}$。