图像压缩

• 文章：常用字或字母(字母多出現E，少出現QXZ)。
• 歌曲：重複的旋律、頻率的倍頻關係、節拍內頻率的穩定。
• 聲音：能量多集中在低頻、頻率在短區間內的穩定。
• 卡通：每塊區域的邊緣(edge)資訊與顏色(color)、邊緣(edge)資訊可以用較少參數編碼(如果邊緣(edge)是幾何圖案)。

• 聲音：MP3(.mp3)，壓縮率約1/3。
• 圖片：JPEG(.jpg)，壓縮率約1/10(灰階)或1/20(彩色，利用4：2：0)。
• 影片：MPEG(H.264、H.265)，壓縮率約1/30(灰階)或1/60(彩色)。

影像中每一點的值，會和相鄰的點的值非常接近。

${\displaystyle \operatorname {F} [m,n+1]\,\!}$ ≈ ${\displaystyle \operatorname {F} [m,n]\,\!}$

${\displaystyle \operatorname {F} [m+1,n]\,\!}$ ≈ ${\displaystyle \operatorname {F} [m,n]\,\!}$

直方圖(histogram)是統計出現次數的一種方法，它會去計算一個向量(vector)或一個矩陣(matrix)當中，有多少個點會等於某一個值。

舉例來說，${\displaystyle \operatorname {x} [n]=[1,2,3,4,4,5,5,3,5,5,4]\,\!}$

則 ${\displaystyle \operatorname {x} [n]\,\!}$的直方圖(histogram)為 ${\displaystyle \operatorname {h} [1]=1\,\!}$，${\displaystyle \operatorname {h} [2]=1\,\!}$，${\displaystyle \operatorname {h} [3]=2\,\!}$，${\displaystyle \operatorname {h} [4]=3\,\!}$，${\displaystyle \operatorname {h} [5]=4\,\!}$

將影像相臨值的差異，利用直方圖(histogram)來統計，會發現值幾乎都落在0附近。

一張影像的頻譜大多集中在低頻的地方。 影像的「頻率」是在空間域(space domain)作分析：

• 低頻成分代表變化較為緩和的地方，對應的是影像的「顏色」(color)和「強度」(intensity)。
• 高頻成分代表變化較為劇烈的地方，對應的是影像的「邊緣」(edge)和「雜訊」(noise)。

此技術運用的是空間上的一致性。

將像素(pixel)的RGB值，利用以下的公式轉換成YCbCr

Y = 0.299 R + 0.578 G + 0.114 B

Cb = -0.169 R - 0.331 G + 0.500 B ( Cb = 0.565 (B - Y) )

Cr = 0.500 R - 0.419 G - 0.081 B ( Cr = 0.713 (R - Y) )

其中 Y 是亮度(Luminance)，Cb是藍色色差(chrominance) ，Cr 是紅色色差(chrominance)。

人類的視覺系統，對於亮度比較敏感，而對於彩度比較不敏感。 因此我們可以利用人類視覺的特性，減少Cb、Cr的取樣個數，取樣格式有4：2：2 與 4：2：0兩種。

假設一張圖片原本壓縮前(即4：4：4)的Y、Cb、Cr各有M×N個值，4：2：2的壓縮Y保留為M×N個值、Cb、Cr則取樣到各剩下M/2×N個值；4：2：0的壓縮Y同樣保留為M×N個值、Cb、Cr則進一步取樣到各剩下M/2×N/2個值。 從4：4：4到4：2：2，壓縮率約為2/3；從4：4：4到4：2：0，壓縮率約為1/2。 從4：4：4壓縮到4：2：2，再壓縮到4：2：0，單一像素(pixel)儲存的bit 數可以等效為：24 bits/pixel → 16 bits/pixel → 12 bits/pixel。

還原時，則是利用插值(interpolation)的方式：

${\displaystyle \operatorname {C_{\text{b}}} [2m+1,2n]\,\!}$ = 1/2 ×(${\displaystyle \operatorname {C_{\text{b}}} [2m,2n]\,\!}$ + ${\displaystyle \operatorname {C_{\text{b}}} [2m+2,2n]\,\!}$ )

此技術運用的是頻率上的一致性。

通常我們會將影像切成8×8的方格作離散餘弦轉換(DCT)，原因如下：

• 一張影像的每個區塊，其高低頻成分都不一樣，對整張影像直接作離散餘弦轉換(DCT)，多少會有高頻成分的出現。如果切成8×8的方格，則對大部分的方格幾乎都沒有高頻成分。
• 降低記憶體的需要量
• 降低運算量

經過離散餘弦轉換(DCT)後的8×8矩陣稱為DCT矩陣。DCT矩陣最左上角的係數稱為直流(DC)成分，而其他63個係數則稱為交流(AC)成分。越靠近DC值的AC值係數表示頻率較低的部分，而越往右下角方向的AC值代表的頻率則越高。

2D的8×8 DCT的輸出通常會按照"zigzag"的順序，將2D轉為1D的型態。按照此順序排列，能量可能較大的會被擺在前面，而後面的高頻成分從某個值開始後幾乎為零，以符號EOB(end of block)表示，指後面的高頻的部分經過量化(quantization)之後皆為0。

此技術運用的是空間上的一致性。

差分編碼指的是，除第一個元素外，將其中各元素都表示為各該元素與其前一元素的差的編碼。

對${\displaystyle \operatorname {DC} [i,j]\,\!}$ ，是針對 ${\displaystyle \operatorname {DC} [i,j]\,\!}$ - ${\displaystyle \operatorname {DC} [i,j-1]\,\!}$ 去編碼， 而不是直接對${\displaystyle \operatorname {DC} [i,j]\,\!}$作編碼。

霍夫曼編碼(Huffman coding)的編碼原則：(Greedy Algorithm)

• 所有的碼皆在編碼樹(coding tree)的端點，再下去沒有分枝。滿足唯一可解譯碼(uniquely decodable code)與即時可解碼(instantaneous decodable code)。
• 機率越大的，編碼長度(code length)越短；機率越小的，編碼長度(code length)越長。
• 假設 ${\displaystyle S_{\text{a}}\,\!}$ 是第L層的節點(node)，${\displaystyle S_{\text{b}}\,\!}$ 是第L+1層的節點(node)，則 ${\displaystyle \operatorname {P} (S_{\text{a}})\,\!}$ >= ${\displaystyle \operatorname {P} (S_{\text{b}})\,\!}$ 必須滿足。

不滿足以上的條件則往上推一層。

霍夫曼編碼(Huffman coding)是將每一筆資料分開編碼，算術編碼(Arithmetic coding)則是將多筆資料一起編碼，因此壓縮效率比霍夫曼編碼(Huffman coding)更高，近年來的壓縮資料大多使用算術編碼(Arithmetic coding)。

• 範例：

假設要對X來作二進位的編碼，且經過事先的估計，${\displaystyle \operatorname {X} [i]=a\,\!}$ 的機率為0.8，${\displaystyle \operatorname {X} [i]=b\,\!}$ 的機率為0.2。

若實際上輸入的資料為 ${\displaystyle \operatorname {X} =aaabaa\,\!}$

Initial(${\displaystyle \operatorname {X} [1]=a\,\!}$)：lower =0，upper=0.8

When i = 2 (${\displaystyle \operatorname {X} [2]=a\,\!}$)：lower =0，upper=0.64

When i = 3 (${\displaystyle \operatorname {X} [3]=a\,\!}$)：lower =0，upper=0.512

When i = 4 (${\displaystyle \operatorname {X} [4]=b\,\!}$)：lower =0.4096，upper=0.512

When i = 5 (${\displaystyle \operatorname {X} [5]=a\,\!}$)：lower =0.4096，upper=0.49152

When i = 6 (${\displaystyle \operatorname {X} [6]=a\,\!}$)：lower =0.4096，upper=0.475136

由於 lower =0.4096，upper=0.475136

lower <= 14*${\displaystyle 2^{-5}\,\!}$ < 15*${\displaystyle 2^{-5}\,\!}$ <= upper

所以編碼的結果為

${\displaystyle 14_{\text{(2,5)}}=01110\,\!}$

• 灰階影像在Matlab 當中是一個矩陣，彩色影像在Matlab 當中是三個矩陣，分別代表紅色(Red)、綠色(Green)、藍色(Blue)。

.bmp: 沒有經過任何壓縮處理的圖檔

.jpg: 有經過JPEG 壓縮的圖檔

• 要對影像做運算時，要先變成double的格式，否則電腦會預設影像為integer 的格式，在做浮點運算時會產生誤差。

例如，若要對影像做2D離散傅立葉轉換(Discrete Fourier transform)：

im=imread('C:\Program Files\MATLAB\pic\Pepper.bmp');

im=double(im);

Imf=fft2(im);

• Image 檔讀取: imread
• Image 檔顯示: imshow, image, imagesc
• Image 檔製作: imwrite
• Video 檔讀取: aviread

• 黑白影像

im=double(imread('C:\Program Files\MATLAB\pic\Pepper.bmp'));

(如果Pepper.bmp 是個灰階圖，im 將是一個矩陣)

size(im);

(用size 這個指令來看im 這個矩陣的大小)

image(im);

colormap(gray(256));

• 彩色影像

im2=double(imread('C:\Program Files\MATLAB\pic\Pepper512c.bmp'));

size(im2);

(由於這個圖檔是個彩色的，所以im2 將由三個矩陣複合而成)

对于如绘制的技术图、图表或者漫画，优先使用无损压缩，这是因为有损压缩方法，尤其是在低的位速条件下，将会带来压缩失真，如医疗图像或者用于存档的扫描图像……等，这些有价值的内容的压缩也尽量选择无损压缩方法。

• 游程编码
• 熵編碼法
• 如LZW这样的自适应字典算法

有损方法非常适合于自然的图像，例如一些应用中图像的微小损失是可以接受的（有时是无法感知的），这样就可以大幅度地减小位速。

• 色彩空间：这是化减到图像中常用的颜色。所选择的颜色定义在压缩图像头的调色板中，图像中的每个像素都用调色板中颜色索引表示。这种方法可以与抖动一起使用以模糊颜色边界。
• 色度抽样：这利用了人眼对于亮度变化的敏感性远大于颜色变化，这样就可以将图像中的颜色信息减少一半甚至更多。
• 变换编码：这是最常用的方法。首先使用如离散余弦变换（DCT）或者小波变换这样的傅立叶相关变换，然后进行量化和用熵編碼法压缩。
• 分形压缩：