匹配追蹤

為了找到最符合原訊號的一組原子加權總合，如果對原子庫進行所有組合的嘗試過於耗費時間。在1993年由Mallat S和Zhang Z的論文[1]中，提出了一個貪婪演算法（Greedy Algorithm），並大幅降低找出近似解的時間。其作法首先在原子庫中尋找與原訊號內積結果最大的原子${\displaystyle g_{\gamma _{n}}}$，找到此訊號以及其內積結果${\displaystyle a_{n}}$之後再將原訊號減掉${\displaystyle a_{n}g_{\gamma _{n}}}$作為下一次重複運算的原始訊號，如此反覆做下去即可得到一系列的${\displaystyle a_{n}}$以及原子${\displaystyle g_{\gamma _{n}}}$，直到達到停止條件為止，其詳細的演算法如下：

輸入：Signal: ${\displaystyle f(t)}$, dictionary ${\displaystyle D}$.

輸出：List of coefficients: ${\displaystyle \left(a_{n},g_{\gamma _{n}}\right)}$.

初始化：

${\displaystyle R_{1}\,\leftarrow \,f(t)}$;

${\displaystyle n\,\leftarrow \,1}$;

重複：

寻找 ${\displaystyle g_{\gamma _{n}}\in D}$ 具有最大内积 ${\displaystyle |\langle R_{n},g_{\gamma _{n}}\rangle |}$;

${\displaystyle a_{n}\,\leftarrow \,\langle R_{n},g_{\gamma _{n}}\rangle }$;

${\displaystyle R_{n+1}\,\leftarrow \,R_{n}-a_{n}g_{\gamma _{n}}}$;

${\displaystyle n\,\leftarrow \,n+1}$;

直到達到停止條件（例如：${\displaystyle \|R_{n}\|<threshold}$）

在信號處理的許多應用中，需要將信號分解為一群在時域和頻域都具有良好局部性(集中在某一範圍)的函數，這些函數稱為時頻原子(time-frequency atom)。

選擇不同的時頻原子時，分解方式的特性會有很大的差異。窗函數傅立葉轉換(window Fourier transform)和小波轉換(wavelet transform)都是時頻信號分解的方法。

通常一個時頻原子群可以由單一的窗函數${\displaystyle g(t)\in L^{2}(R)}$經過scale、translation和modulation產生，令${\displaystyle g(t)\in O({\frac {1}{t^{2}+1}})}$為一個實數的連續可微函數，且限制${\displaystyle \|g\|=1}$、${\displaystyle g(t)}$的積分不為零、${\displaystyle g(0)\neq 0}$。

以${\displaystyle \gamma =(s,u,\xi )}$表示scale參數${\displaystyle s(s>0)}$、translation參數${\displaystyle u}$和modulation參數${\displaystyle \xi }$，定義${\displaystyle g_{\gamma }(t)}$為

${\displaystyle g_{\gamma }(t)={\frac {1}{\sqrt {s}}}g({\frac {t-u}{s}})e^{i\xi t}}$

其中${\displaystyle \gamma }$是集合${\displaystyle \Gamma =R^{+}\times R^{2}}$中的元素，${\displaystyle {\frac {1}{\sqrt {s}}}}$使得${\displaystyle \|g\|=1}$。

事實上，函數群${\displaystyle D={(g_{\gamma }(t))}_{\gamma \in \Gamma }}$含有許多冗餘的元素，對於任何函數${\displaystyle f(t)}$，更有效率的表示方法是，在原子${\displaystyle {(g_{\gamma _{n}}(t))}_{n\in N}}$中，只選取適當數量的子集合，其中${\displaystyle \gamma _{n}=(s_{n},u_{n},\xi _{n})}$，則${\displaystyle f(t)}$可以表示為

${\displaystyle f(t)=\sum _{n=-\infty }^{+\infty }a_{n}g_{\gamma _{n}}(t)}$

在窗函數傅立葉轉換中，所有原子${\displaystyle g_{\gamma _{n}}}$具有相同的scale參數${\displaystyle s_{n}=s_{0}}$，因此主要分布在一個大小為${\displaystyle s_{0}}$倍數的區間內，由於上述特性，窗函數傅立葉轉換無法準確地描述比${\displaystyle s_{0}}$大許多或小許多的函數結構。

小波轉換將信號分解為不同尺度的時頻原子，稱為小波(wavelet)，小波群${\displaystyle {(g_{\gamma _{n}}(t))}_{n\in N}}$的建構方法是令${\displaystyle \xi _{n}=\xi _{0}/s_{n}}$ ，其中${\displaystyle \xi _{0}}$是一個常數。小波轉換可以分析不同尺寸的信號成分，然而，受限於參數${\displaystyle \xi _{n}}$和${\displaystyle s_{n}}$必須成反比的條件，小波轉換的係數無法精準估計傅立葉轉換後具有良好局部性的頻率成分。

自適應時頻分解(adaptive time-frequency decomposition)的目的是將信號展開到一組波形(waveform)上，這些波形選自一個數量龐大的冗餘字典，而匹配追蹤是能達到自適應分解的一種方法。

一個希爾伯特空間可表示為${\displaystyle L^{2}(R)}$，其組成的複數函數${\displaystyle f}$必須滿足

${\displaystyle \|f\|=\int _{-\infty }^{+\infty }{|f(t)|}^{2}dt<+\infty }$

令${\displaystyle H}$代表一個希爾伯特空間，則將「字典」定義為${\displaystyle H}$中的一個向量群${\displaystyle D={(g_{\gamma })}_{\gamma \in \Gamma }}$，滿足${\displaystyle \|g_{\gamma }\|=1}$，其中${\displaystyle \gamma }$是集合${\displaystyle \Gamma =R^{+}\times R^{2}}$中的元素。${\displaystyle V}$代表字典向量的封閉線性生成空間(closed linear span)，在空間${\displaystyle V}$中，集合${\displaystyle D}$之向量的有限線性展開(finite linear expansion)是稠密(dense)的，如果${\displaystyle V=H}$，則稱此字典具有完備性(completeness)。對於「時頻原子分解」段落所描述的字典，${\displaystyle H=L^{2}(R)}$，在空間${\displaystyle L^{2}(R)}$中，時頻分子的有限線性展開是稠密的，因此該字典具有完備性。

假設有一信號${\displaystyle f\in H}$，欲將其線性展開到由集合${\displaystyle D}$中選出的一組向量上，使得結果最匹配原來的信號結構。匹配追蹤的方法是連續地將${\displaystyle f}$以其在集合${\displaystyle D}$中元素的正交投影(orthogonal projection)近似。

令${\displaystyle g_{\gamma _{0}}\in D}$，向量${\displaystyle f}$可以被分解為

${\displaystyle f=\langle f,g_{\gamma _{0}}\rangle g_{\gamma _{0}}+Rf}$

其中${\displaystyle Rf}$是將${\displaystyle f}$以${\displaystyle g_{\gamma _{0}}}$的方向近似後的剩餘向量(residual vector)，由於${\displaystyle g_{\gamma _{0}}}$和${\displaystyle Rf}$正交，可得下式

${\displaystyle {\|f\|}^{2}={|\langle f,g_{\gamma _{0}}\rangle |}^{2}+{\|Rf\|}^{2}}$

為了最小化${\displaystyle \|Rf\|}$，必須選取${\displaystyle g_{\gamma _{0}}\in D}$使得${\displaystyle |\langle f,g_{\gamma _{0}}\rangle |}$最大化。在某些情況下，只能找到近似最佳的向量${\displaystyle g_{\gamma _{0}}}$，符合

${\displaystyle |\langle f,g_{\gamma _{0}}\rangle |\geq \alpha \ {\underset {\gamma \in \Gamma }{\sup }}|\langle f,g_{\gamma }\rangle |}$

其中${\displaystyle 0<\alpha \leq 1}$，在選擇向量${\displaystyle g_{\gamma _{0}}}$時，並非隨機選擇，而是由一個選擇函數${\displaystyle C}$決定。

重複上述步驟，疊代地將剩餘向量${\displaystyle Rf}$投影到集合${\displaystyle D}$中最匹配${\displaystyle Rf}$的向量，並將${\displaystyle Rf}$分解。

匹配追蹤的步驟可以由數學歸納法來表示

1. 令${\displaystyle R^{0}f=f}$
2. 假設已經計算第${\displaystyle n}$次的剩餘向量${\displaystyle R^{n}f}$，${\displaystyle n\geq 0}$
3. 根據選擇函數${\displaystyle C}$，選取一個最匹配${\displaystyle R^{n}f}$的元素${\displaystyle g_{\gamma _{n}}\in D}$

${\displaystyle |\langle R^{n}f,g_{\gamma _{n}}\rangle |\geq \alpha \ {\underset {\gamma \in \Gamma }{\sup }}|\langle R^{n}f,g_{\gamma }\rangle |}$

剩餘向量${\displaystyle R^{n}f}$被分解為

${\displaystyle R^{n}f=\langle R^{n}f,g_{\gamma _{n}}\rangle g_{\gamma _{n}}+R^{n+1}f}$

由於${\displaystyle g_{\gamma _{n}}}$和${\displaystyle R^{n+1}f}$正交，可得下式

${\displaystyle {\|R^{n}f\|}^{2}={|\langle R^{n}f,g_{\gamma _{n}}\rangle |}^{2}+{\|R^{n+1}f\|}^{2}}$

當分解到第${\displaystyle m}$次時，${\displaystyle f}$被分解為

${\displaystyle {\begin{aligned}f&=\sum _{n=0}^{m-1}(R^{n}f-R^{n+1}f)+R^{m}f\\&=\sum _{n=0}^{m-1}\langle R^{n}f,g_{\gamma _{n}}\rangle g_{\gamma _{n}}+R^{m}f\\\end{aligned}}}$

${\displaystyle {\|f\|}^{2}}$被分解為

${\displaystyle {\begin{aligned}{\|f\|}^{2}&=\sum _{n=0}^{m-1}({\|R^{n}f\|}^{2}-{\|R^{n+1}f\|}^{2})+{\|R^{m}f\|}^{2}\\&=\sum _{n=0}^{m-1}{|\langle R^{n}f,g_{\gamma _{n}}\rangle |}^{2}+{\|R^{m}f\|}^{2}\\\end{aligned}}}$

此公式具有能量守恆的意義，原來的向量${\displaystyle f}$被分解為許多字典中元素的總和。

當信號存在的空間${\displaystyle H}$具有有限的維度${\displaystyle N}$時，匹配追蹤方法會有特殊的特性。在字典${\displaystyle D}$中，可能含有無限多的元素，假設此字典具有完備性，此時可以用一種有效率的匹配追蹤方法，剩餘向量的範數(norm)會以指數方式下降。

當字典含有非常多冗餘的元素時，要尋找和剩餘向量最匹配的向量，通常可以只限制在一個子字典${\displaystyle D_{\alpha }={(g_{\gamma })}_{\gamma \in {\Gamma _{\alpha }}}\subset D}$中尋找，假設${\displaystyle \Gamma _{\alpha }}$是一個包含於${\displaystyle \Gamma }$的有限索引集，使得對於所有信號${\displaystyle f\in H}$，滿足

${\displaystyle {\underset {\gamma \in \Gamma _{\alpha }}{\sup }}|\langle f,g_{\gamma }\rangle |\geq \alpha \ {\underset {\gamma \in \Gamma }{\sup }}|\langle f,g_{\gamma }\rangle |}$

依據${\displaystyle \Gamma _{\alpha }}$的大小和字典${\displaystyle D}$的冗餘程度，集合${\displaystyle \Gamma _{\alpha }}$可以比${\displaystyle \Gamma }$小許多。

以數學歸納法表示此處的匹配追蹤方法

1. 計算內積${\displaystyle {(\langle f,g_{\gamma }\rangle )}_{\gamma \in \Gamma _{\alpha }}}$
2. 假設已經計算${\displaystyle {(\langle R^{n}f,g_{\gamma }\rangle )}_{\gamma \in \Gamma _{\alpha }}}$，${\displaystyle n\geq 0}$
3. 從子字典${\displaystyle D_{\alpha }}$中找出一個元素${\displaystyle g_{\tilde {\gamma _{n}}}}$，使得

${\displaystyle |\langle R^{n}f,g_{\tilde {\gamma _{n}}}\rangle |={\underset {\gamma \in \Gamma _{\alpha }}{\sup }}|\langle R^{n}f,g_{\gamma }\rangle |}$

為了從字典中找到一個比${\displaystyle g_{\tilde {\gamma _{n}}}}$更匹配${\displaystyle f}$的元素，可以利用牛頓法(Newton’s method)，在${\displaystyle \Gamma }$中尋找${\displaystyle {\tilde {\gamma _{n}}}}$的鄰近索引${\displaystyle \gamma _{n}}$，使得內積達到局部最大值，在此情況下，可以得出下式

${\displaystyle |\langle R^{n}f,g_{\gamma _{n}}\rangle |\geq |\langle R^{n}f,g_{\tilde {\gamma _{n}}}\rangle |\geq \alpha \ {\underset {\gamma \in \Gamma }{\sup }}|\langle R^{n}f,g_{\gamma }\rangle |}$

在此處，選擇函數${\displaystyle C}$與希爾伯特空間中的匹配追蹤不同，必須進行二次搜尋。

在選出一個${\displaystyle g_{\tilde {\gamma _{n}}}}$後，必須計算新的剩餘向量${\displaystyle R^{n+1}f}$和任何${\displaystyle g_{\gamma }\in D_{\alpha }}$的內積，更新公式如下

${\displaystyle \langle R^{n+1}f,g_{\gamma }\rangle =\langle R^{n}f,g_{\gamma }\rangle -\langle R^{n}f,g_{\gamma _{n}}\rangle \langle g_{\gamma _{n}},g_{\gamma }\rangle }$

由於先前的計算已經得到${\displaystyle \langle R^{n}f,g_{\gamma }\rangle }$和${\displaystyle \langle R^{n}f,g_{\gamma _{n}}\rangle }$，因此上式的更新只需要計算${\displaystyle \langle g_{\gamma _{n}},g_{\gamma }\rangle }$。

對於一個給定的信號${\displaystyle f}$，要對其剩餘向量分解多少次，決定於要求的精準度${\displaystyle \epsilon }$，重複的次數為能夠滿足下式的最小值${\displaystyle p}$

${\displaystyle \|R^{p}f\|=\|f-\sum _{n=0}^{p-1}\langle R^{n}f,g_{\gamma _{n}}\rangle g_{\gamma _{n}}\|\leq \epsilon \|f\|}$

根據能量守恆，此公式等價於

${\displaystyle \|f\|-\sum _{n=0}^{p-1}{|\langle R^{n}f,g_{\gamma _{n}}\rangle |}^{2}\leq \epsilon ^{2}\|f\|}$

由於在此方法中，每一次重覆計算時，並沒有計算剩餘向量${\displaystyle R^{n}f}$，因此只根據上式來判斷是否達到停止分解的條件。

重複次數${\displaystyle p}$決定於${\displaystyle \|R^{n}f\|}$的下降速率，依據信號的不同，${\displaystyle p}$可以有很大的變化，但在一般情況下，${\displaystyle p}$會比空間${\displaystyle H}$的維度${\displaystyle N}$小很多。

• 任何訊號${\displaystyle f}$都會在由原子庫所張的空間中找到收斂的解。
• 稀疏性：當原子庫很大的時候，MP演算法找出來的最佳吻合解，其中的大部分原子訊號的係數可能都是0，只有少部分的係數不為0，此性質稱為稀疏代表性，而此特性對於影像或視訊編碼和壓縮很有幫助。

匹配追蹤演算法的靈活性和效率在訊號處理領域中越來越重要，尤其在以下幾種領域中更有其重要的應用：

在視訊編碼和影像壓縮上，對於運動的影像估計和補償，在提出新的原子庫或是擴展的演算法之後，有相當的改良。在影像辨識和形狀辨認上，匹配追蹤演算法的稀疏性對於同樣具有稀疏性的圖像提供新的研究方向。另外在音樂、語音方面，最早即在時頻分析上作為MP演算法研究對象。

壓縮感知

[1] S. G. Mallat and Z. Zhang, "Matching pursuits with time-frequency dictionaries," in IEEE Transactions on Signal Processing, vol. 41, no. 12, pp. 3397-3415, Dec 1993.

[2] Jian-Jiun Ding, Time frequency analysis and wavelet transform class note,the Department of Electrical Engineering, National Taiwan University (NTU), Taipei, Taiwan, 2012.

[3] B. Torresani, "Wavelets associated with representations of the affine Weyl-Heisenberg group," 1. Math. Physics, vol. 32, pp. 1273-1279, May 1991.