壓縮感知

傅立葉級數展开是正交基展开（orthogonal basis expansion）的方法:

${\displaystyle x(t)\approx \sum _{m=1}^{M}a_{m}\exp(j2\pi f_{m}t)}$

${\displaystyle \int \exp(j2\pi f_{m}t){\overline {\exp(j2\pi f_{n}t)}}\mathrm {d} t=0,}$if ${\displaystyle f_{m}\neq f_{n}}$

Three-parameter atom expansion，Four-parameter atom (chirplet) expansion，

PSWF 展开則是过完备的非正交基集展开（over-complete and non-orthogonal basis expansion）的方法:

${\displaystyle x(t)\approx \sum a_{t0,f0,{\displaystyle \sigma }}\phi _{t0,f0,{\sigma }}(t)}$

${\displaystyle {\displaystyle \phi }_{t0,f0,{\displaystyle \sigma }}}$ (t) 不构成一个完备的正交基集。

压缩感知希望处理的问题是：

假设 ${\displaystyle b_{0}(t),b_{1}(t),b_{2}(t),b_{3}(t),\cdots }$ 组成一个过完备的非正交基集

我们希望最小化 ${\displaystyle ||c||_{0}}$ ( ${\displaystyle \lVert \cdot \rVert _{0}}$ 是 ${\displaystyle L_{0}}$ 范数， ${\displaystyle ||c||_{0}}$ 意指${\displaystyle c_{m}}$ 的值不為0 的個數)，使得：

${\displaystyle x(t)\approx \sum _{m}c_{m}b_{m}(t)}$

我们希望最小化 ${\displaystyle ||c||_{0}}$ ，使得：

${\displaystyle \int (x(t)-\sum _{m}c_{m}b_{m}(t))^{2}\mathrm {d} t<{\text{threshold}}}$

限制 ${\displaystyle ||c||_{0}}$ 为 M，我们想要最小化：

${\displaystyle \int (x(t)-\sum _{m}c_{m}b_{m}(t))^{2}\mathrm {d} t}$

原子：${\displaystyle b_{m}(t),m=1,2,3,\cdots }$

${\displaystyle \left|\int b_{m}(t)b_{m}^{*}(t)\mathrm {d} t\right|=1}$ （归一化）

[第1步]输入：${\displaystyle x(t)}$,初始化: ${\displaystyle n=0,x_{r}(t)=x(t)}$

[第2步]找到最小化${\displaystyle \left|\int x_{r}(t)b_{m}^{*}(t)\mathrm {d} t\right|}$的m

[第3步]令 ${\displaystyle \phi _{n}(t)=b_{m}(t),u_{n}=\int x_{r}(t)b_{m}^{*}(t)\mathrm {d} t}$

[第4步]${\displaystyle x_{r}(t)=x_{r}(t)-u_{n}{\displaystyle \phi }_{n}(t)}$

[第5步]${\displaystyle n=n+1}$

[第6步]檢查下列條件是否符合，若不符合，回到[第2步]；若符合，則進到[第7步]

問題一:是否满足 ${\displaystyle x_{r}(t)=0}$

問題二:是否满足 ${\displaystyle \int x_{r}^{2}(t)\mathrm {d} t<{\text{threshold}}}$

問題三:是否满足${\displaystyle n=M}$

[第7步] ${\displaystyle x(t)\approx \sum _{m}u_{m}{\displaystyle \phi }_{m}(t)}$

将 ${\displaystyle L_{0}}$ 范数改为 ${\displaystyle L_{1}}$ 范数

${\displaystyle \lVert c\rVert _{1}=|c|_{0}+|c|_{1}+|c|_{2}+......}$

問題一:

我们想要最小化 ${\displaystyle ||c||_{1}}$ ，使得：

${\displaystyle x(t)\approx \sum _{m}c_{m}b_{m}(t)}$

問題二:

我们想要最小化 ${\displaystyle ||c||_{1}}$ ，使得：

${\displaystyle \int (x(t)-\sum _{m}c_{m}b_{m}(t))^{2}\mathrm {d} t<{\text{threshold}}}$

問題三:

令${\displaystyle \lVert c\rVert _{1}\leq M}$，我们想要最小化：

${\displaystyle \int (x(t)-\sum _{m}c_{m}b_{m}(t))^{2}\mathrm {d} t}$

目前較常被使用的兩種結構簡化採樣矩陣為循環矩陣與常對角矩陣

循環矩陣的形式為下式：

${\displaystyle A={\begin{bmatrix}a_{1}&a_{2}&a_{3}&\dots &a_{n}\\a_{n}&a_{1}&a_{2}&&a_{n-1}\\a_{n-1}&a_{n}&a_{1}&&a_{n-2}\\\vdots &&&\ddots &\vdots \\a_{n-m+2}&a_{n-m+3}&a_{n-m+4}&\dots &a_{n-m+1}\end{bmatrix}}}$

常對角矩陣的形式為下式：

${\displaystyle A={\begin{bmatrix}a_{0}&a_{-1}&a_{-2}&\ldots &\ldots &a_{-n+1}\\a_{1}&a_{0}&a_{-1}&\ddots &&\vdots \\a_{2}&a_{1}&\ddots &\ddots &\ddots &\vdots \\\vdots &\ddots &\ddots &\ddots &a_{m-n-1}&a_{m-n-2}\\\vdots &&\ddots &a_{m-n+1}&a_{m-n}&a_{m-n-1}\\a_{m-1}&\ldots &\ldots &a_{m-n+2}&a_{m-n+1}&a_{m-n}\end{bmatrix}}}$，

其中${\displaystyle A_{i,j}=A_{i+1,j+1}=a_{i-j}.\ }$。

可以發現到，若採用循環矩陣作為測量矩陣的話，只需要存取一列的矩陣元素；相反地，若使用常對角矩陣，除了第一列的矩陣元素外，需要額外儲存第一行的矩陣元素。

但是經過實驗發現，常對角矩陣的相干性是低於循環矩陣的，因此使用者可以依據自己的使用環境，來找到一個平衡點。

採用這兩種矩陣進行壓縮感知取樣時，可以大幅降低儲存成本，也為此算法的前端感測器大幅降低實現門檻。

数值简化采样矩阵普遍将原有的、按照高斯分布随机取值的采样矩阵元素以数值上更为简单的元素取代，但在分布上维持矩阵元素的分布随机性——即缩减了储存浮点数这一方面的成本。

一种较为基本的数值简化采样矩阵是0-1伯努利矩阵，其中的元素仅有0和1两种，分布模式为相同独立的伯努利分布（identical independent Bernoulli distribution）。

对于每一个矩阵元素，该分布的概率质量函数${\displaystyle f}$为： ${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\[6pt]1-p&{\text{if }}k=0.\end{cases}}}$

基追踪是一种信号重建演算法，被广泛地用于压缩感知领域，属于数学最优化问题的范畴，形式为${\displaystyle \min _{s}\|s\|_{1}\quad {\mbox{subject to}}\quad y=Hs}$。

其中s是n×1向量，表示输出（信号），y是m×1的测量向量，H是m×n的“转换矩阵”或稱作“测量矩阵”，其中M < N。

基追踪常在需要完美满足欠定线性方程组系统中${\displaystyle y=Hs}$时被应用，且要求解在L₁基准下为最稀疏的。

若应用情景允许降低对完美恢复的要求，以换取更加稀疏的解s，降噪基追踪更为适用。

匹配追踪是一种稀疏近似运算，旨在找到多维数据在某个超完备字典（dictionary）${\displaystyle D}$上映射的“最佳匹配”。其基本的概念就是要用来自${\displaystyle D}$的函数组${\displaystyle g_{\gamma _{n}}}$（称为基元，或atom）的加权和来表示希尔伯特空间${\displaystyle H}$上的信号${\displaystyle f}$：

${\displaystyle f(t)=\sum _{n=0}^{+\infty }a_{n}g_{\gamma _{n}}(t)}$

其中${\displaystyle n}$表示被选取基元的序数，${\displaystyle a_{n}}$是每个基元的加权常数。对于固定的字典，匹配追踪会先找到与信号间内积最大的一个基元，再减去该基元带来的影响，然后重复找寻影响力次大的基元直到信号被较好地分解。

相较而言，以傅里叶级数表示的信号来说，字典是构建于正弦基函数之上的。信号处理领域中傅里叶分析的主要缺点就在于它只能提取出信号中常存的特征，而不能适应当前的分析目标信号${\displaystyle f}$。

若采用一组极端保险、带有大量冗余的字典，我们就能够找到可以完美匹配信号的${\displaystyle f}$函数组。在对信号进行编码与压缩时，最好是能够找到一组映射，使加权和中的大部分系数都接近零（具有“稀疏性”）。

正交匹配追蹤(Orthogonal Matching Pursuit)是匹配追蹤的特殊形式，正交匹配追蹤的算法與匹配追蹤相同，但是正交匹配追蹤不會重複使用同一個基元來進行匹配，因此會比匹配追蹤更快收斂。

迭代閾值算法(Iterative Shrinkage-Thresholding Algorithm)是上述基於貪婪演算法(Greedy Algorithm)之匹配追蹤與正交匹配追蹤的替代算法，迭代算法主要是透過不斷的投影和取閾值來進行收斂，而他在每次迭代中，都還可以進行其他優化例如:Wigener 濾波，不僅可以降低運算複雜度，也可以提高還原品質。

利用信號經過這兩種變換後都會有稀疏性的特性，把這兩種變換變成矩陣形式，讓信號直接投影到具有稀疏性的空間上。

好處

1. 不需要特別針對信號做不同${\displaystyle \psi }$的選擇，對於絕大部分信號可以直接使用。
2. 並不需要前處理，可以直接使用。

壞處

1. 限制了原信號的維度，必須滿足n = ${\displaystyle 2^{x}}$,x為任意正整數。
2. 因為通用所有信號，故經過壓縮感知還原演算法後還原的信號品質較差。

顧名思義即把${\displaystyle \psi }$當作一本要學習的字典，不斷的利用該信號和還原演算法後的結果做字典的更新，直到找到一個${\displaystyle \psi }$能夠把該信號投影到稀疏性空間上。

字典學習的流程：

1. 設定字典學習的學習次數(Iter)
2. 收集一定量(L筆)要學習的資料s,組成S = [s₁, s₂, ... ,s_L]
3. 固定${\displaystyle \psi }$，利用還原演算法找出每一筆資料的z，組成Z = [z₁, z₂, ... ,z_L]
   • ${\displaystyle {\underset {c}{min}}}$||S - ${\displaystyle \psi }$Z|${\displaystyle |_{F}^{2}}$ s.t. ||z_i||₀ < K_th ${\displaystyle \forall }$i
4. 固定Z， 利用3.所得之Z來更新字典
   • 當Z固定時，定義誤差e_i = s_i - ${\displaystyle \psi }$z_i，組成E = [e₁, e₂, ... ,e_L]
   • 所以整體的均方误差為 ||E|${\displaystyle |_{F}^{2}}$= || [e₁, e₂, ... ,e_L] |${\displaystyle |_{F}^{2}}$ = || S - ${\displaystyle \psi }$Z|${\displaystyle |_{F}^{2}}$
   • 在Z固定下使得E最小，將得到關係式 (S - ${\displaystyle \psi }$Z)Z^T = 0
   • => ${\displaystyle \psi }$= SZ^T(ZZ^T)^-1
5. 檢查Z上面是否已經有稀疏性，如有則結束學習；如沒有則回到3.直到達到學習的次數

字典學習的演算法有很多，較為常用的有Method of optimal directions(MOD[1])。

好處

1. 因為針對該種類信號做學習，故還原後的品質較好。
2. 對原信號的維度並沒有任何限制。

壞處

1. 需要事前收集該種類的信號做學習，不能未學習直接使用。
2. 因為針對該種類信號做學習，故直接使用在不同種類信號效果較差/不適用。

压缩感知技术被用于手机摄像头传感器设计中。这一技术使得在获取图像时所耗费的能量大大降低，可达原先耗费的15分之一——当然，需要引入复杂的解压算法；这一运算可能会需要脱机状态下的预先安装、设置。

压缩感知亦被用于实现单像素摄影。贝尔实验室运用了这一技术，用无镜片单像素相机在栅格中随机选取的孔隙处拍照，以达到成像效果。随着拍照次数的逐渐增多，照片质量也会逐步提高；一般来说，这种技术较之传统的摄影成像技术仅仅需要一小部分的数据占用量，且能完全避免与镜片或聚焦相关的故障或失常；参见 （页面存档备份，存于） 。

压缩感知可被用于增加通过单幅全息图中所能得到的立体像素的数量改进全息摄影技术中的图像重建问题。在光学全息图或毫米波全息图采样率不足的情况下，这一技术也能够被用于图像检索以作出改善。

压缩感知目前被用于面部识别应用之中，参见Engineers Test Highly Accurate Face Recognition （页面存档备份，存于）。

壓縮感知也被應用在醫療影像上，特別是核磁共振成像(Magnetic Resonance Imaging, MRI)，具有稀疏的特性，因此能使用壓縮感知的技術。在過去核磁共振成像會因為物理學、生理學上的限制，而有掃描時間較長的問題，如今壓縮感知利用核磁共振成像具有的稀疏特性，來改善成像品質以及降低所需要量測數量，能有效縮短核磁共振的掃描時間，近期相關的壓縮感知演算法也被廣為討論，可以參見 （页面存档备份，存于） 、 （页面存档备份，存于） 與 （页面存档备份，存于），其中涉及的重建方法包括ISTA、FISTA、SISTA等。

一般來說地震成像既不稀疏，也不可壓縮，具有高維度、大面積的特性，因此會耗費大量的量測以及運算時間，所以希望能降低取樣的次數，同時能保有原本的品質。因此有人利用壓縮感知技術將取樣以及編碼同時進行，來達到降低維度的目的，最後再透過壓縮感知的還原演算法進行還原，可以參考[2]。

在通訊系統當中會遇到高頻寬的問題，因此會需要較高的取樣頻率，然而其中的信號可能含有的資訊是遠小於頻寬的，因此就會浪費軟、硬體的資源來進行取樣。所以有人提出用類比信息轉換(Analog-to-Information Converter, AIC)取代類比數位轉換(Analog-to-Digital Converter, ADC)，利用隨機解調(Random Demodulation)的方式，來降低所需要的取樣次數，對於在時頻上有稀疏特性、寬頻的信號特別適合，可以參考[3]。

压缩感知在被用于旨在利于网络管理的网络诊断应用中时带来了极佳成效。对网络延时的估计和网络拥塞的探知均可被归纳、建模为非定性的线性方程组系统，其中的参数矩阵正是所分析网络的路由选择矩阵。此外，在互联网情景中，网络路由矩阵常常能够满足压缩感知技术所要求的几个基本要素：低相关性、稀疏性及（可能的）R.I.P条件，请参见 （页面存档备份，存于） 。

目前，基于压缩感知技术的商用短红外相机已被推出 （页面存档备份，存于） 。这些相机的光敏度大约从0.9µm到1.7µm，在上述波段上，人类的肉眼是无效的。

隨著通訊要求的頻寬越來越大，因此可用的頻帶從微波(Microwave)轉到毫米波(mmWave)的頻段，雖然可用的頻寬增加，然而會受到更嚴重的通道衰減，所以波束成型的技術被提出，結合天線陣列來對抗通道衰減的效應。然而大量的天線陣列會使得做通道估測的複雜度上升，傳統的做法是使用最小平方法(Least Square, LS)來進行通道估測，不過有人發現通道具有稀疏的特性，因此提出了利用壓縮感知的技術，進行壓縮通道估測(Compressed Channel Estimation, CCS)，相較最小平方法，不僅複雜度降低，還能達到更低的錯誤率以及延遲性。

利用压缩感知理论可以恢复出稀疏信号的特性，压缩感知理论被广泛应用于波达方向估计(Direction of Arrival,DOA)中。基于压缩感知的波达方向估计中将信号源矩阵看作是一个稀疏矩阵，在已知采样矩阵和阵列流形矩阵为前提下，对稀疏信号源矩阵进行重构以获得被测量信号源的波达方向。使用这种方法，不仅避免了传统波达方向估计中需要计算复杂协方差矩阵的步骤，同时还对空间中的相干信号源有着很好的性能。

在物聯網的情境之下，裝置的數量會大幅增加，然而因為資源有限，所以用來辨別裝置的展頻碼(m)會少於裝置的數量(n)，因此會使得整個系統變成欠定的線性系統，然而這些裝置大部分的時候都是處於休息、監測的狀態，並不會一直傳送訊息給基地台，因此就有了稀疏的性質，利用壓縮感知的技術就能分辨出處於活動狀態的裝置，並解出其所傳送的訊號。

壓縮感知演算法天生就具有加密的性質，因為要重建原本信號的話，必須要知道採樣矩陣才能進重建。因此現今也有許多加密的研究關注於壓縮感知演算法，因為虛擬亂數傳感矩陣(Pseudo-random Sensing Matrix)可以被視為一組加密後的鑰匙，能對信號進行壓縮並同時加密，而不需要額外的運算，可以參考[4]。