算术编码

前一個例子中的消息0.538可能已經由同樣短的分數 0.534, 0.535, 0.536, 0.537, 0.539 編碼。這表明使用十進製而不是二進制引入了一些低效率。這是對的;三位十進制的信息內容是 ${\displaystyle 3*\log _{2}(10)\approx 9.966}$ 個位元;相同的消息可以在二進制分數 0.10001010 （相當於 0.5390625 十進制）中編碼，僅花費 8 個位元。 （最後的零必須在二進制小數中指定，否則消息將是不明確的，沒有外部信息，如壓縮流大小。）

該 8 位元輸出大於信息內容或消息的熵，也就是：

${\displaystyle \sum -\log _{2}(p_{i})=-\log _{2}(0.6)-\log _{2}(0.1)-\log _{2}(0.1)=7.381{\text{ bits}}}$

但是在二進制編碼中必須使用整數位，因此該消息的編碼器將使用至少8位，從而產生比熵內容大 8.4％ 的消息。隨著消息大小的增加，這種至多 1 位的低效率導致相對較少的開銷。

此外，要求保護的符號概率為 [0.6, 0.2, 0.1, 0.1) ，但本例中的實際頻率為 [0.33, 0, 0.33, 0.33) 。如果為這些頻率重新調整間隔，則消息的熵將是 4.755 位元，並且相同的中性負數據結束消息可以被編碼為間隔 [0, 1/3) ; [1/9, 2/9) ; [5/27, 6/27) ; 和二進制間隔 [0.00101111011, 0.00111000111) 。這也是算術編碼等統計編碼方法如何產生大於輸入消息的輸出消息的示例，尤其是在概率模型關閉的情況下。

• 若dataX有M個可能的值${\displaystyle (X[i]=1,2,...orM)}$,使用k進位的編碼，且

 ${\displaystyle P_{n}}$:the probability of x = n(from prediction)

 ${\displaystyle S_{0}=0,S_{n}=\sum _{j=1}^{n}P_{j}}$

現在要對dataX做編碼，假設length(X) = N

• 算術編碼的運算方式

initiation: lower = ${\displaystyle S_{X[1]-1}}$  upper = ${\displaystyle S_{X[1]}}$

for i=2:N

     lower = ${\displaystyle S_{X[i]-1}\times (upper-lower)}$

     upper = ${\displaystyle S_{X[i]}\times (upper-lower}$)

end

假設 lower${\displaystyle \leq C\cdot k^{-b}<(C+1)\cdot k^{-b}\leq upper}$
且C和b為整數(b越小越理想)，則dataX可以被編碼成${\displaystyle C_{(k,b)}}$
且${\displaystyle C_{(k,b)}}$
為k進為何b bits來表示C
ex = 01110
ans = b=5,C=14

• 範例

1.假設要對X來做二進位(k=2)的編碼且經由事先的估計，X[i] = a 的機率為0.8,X[i] = b 的機率為0.2
${\displaystyle \Rightarrow P_{1}=0.8,P_{2}=0.2,S_{0}=0,S_{1}=0.8,S_{2}=1}$
若實際上輸入的資料為X = a a a b a a initial (X[1] = a): lower = 0, upper = 0.8
When i=2, (X[2] = a): lower = 0, upper = 0.64
When i=3, (X[3] = a): lower = 0, upper = 0.512
When i=4, (X[4] = b): lower = 0.4096, upper = 0.512
When i=5, (X[5] = a): lower = 0.4096, upper = 0.49152
When i=6, (X[6] = a): lower = 0.4096, upper = 0.475136
由於 lower = 0.4096, upper = 0.475136
lower ${\displaystyle \leq 14\cdot 2^{-5}<15\cdot 2^{-5}\leq }$ upper
所以編碼結果為 ${\displaystyle 14_{(2,5)}=01110}$,2進位,5bits

假設編碼的結果為Y,length(Y) = b,其他的假設和編碼相同(k進位)

• 算術解碼的運算方式

initiation: lower = 0, upper = 1, lower1 = 1, upper1 = 1

for i=1:N

     check = 1;
     while check =1
       if there exists an n such that 
          ${\displaystyle lower+(upper-lower)S_{n-1}\leq lower1}$ and 

          ${\displaystyle lower+(upper-lower)S_{n}\leq upper1}$ are both satisfied,

          then check = 0;
       else
          ${\displaystyle upper1=lower1+(Y[j]+1)k^{-j}}$

          ${\displaystyle lower1=lower1+(Y[j])k^{-j}}$

          j = j+1
       end
       X(i) = n;
       ${\displaystyle lower=lower+(upper-lower)S_{n-1}}$

       ${\displaystyle upper=lower+(upper-lower)S_{n}}$

end

算术编码和哈夫曼编码的相似程度很高——事實上，哈夫曼编码只是算术编码的一个特例。但是，算术编码将整个消息翻译成一个表示为基数 b，而不是将消息中的每个符号翻译成一系列的以 b 为基数的数字，因此通常比哈夫曼编码更能达到最优熵编码。

因為算術編碼不能一次壓縮一個數據，所以在壓縮iid字符串時它可以任意接近熵。相反，使用霍夫曼編碼（到字符串）的擴展不會達到熵，除非字母符號的所有概率都是 2 的冪，在這種情況下，霍夫曼和算術編碼都實現熵。

當霍夫曼編碼二進製字符串時，即使熵低（例如（{0, 1}）具有概率{0.95, 0.05}），也不可能進行壓縮。霍夫曼編碼為每個值分配 1 位元，產生與輸入長度相同的代碼。相比之下，算術編碼可以更加地壓縮位元，接近最佳壓縮比

${\displaystyle 1-[-0.95\log _{2}(0.95)+-0.05\log _{2}(0.05)]\approx 71.4\%.}$

解決霍夫曼編碼次優性的一種簡單方法是連接符號（阻塞）以形成新的字母表，其中每個新符號表示來自原始字母表的原始符號序列（在這種情況下是位元）。在上面的例子中，在編碼之前對三個符號的序列進行分組將產生具有以下頻率的新「超符號」：

• 000: 85.7%
• 001, 010, 100: 4.5% each
• 011, 101, 110: 0.24% each
• 111: 0.0125%

通過這種分組，霍夫曼編碼每三個符號平均為 1.3 位元，或每符號 0.433 位元，而原始編碼中每符號一位元，即 ${\displaystyle 56.7\%}$ 壓縮。允許任意大的序列隨意接近熵（就像算術編碼一樣），但需要大量代碼才能這樣做，因此不如算術編碼那麼實用。

另一種方法是通過基於霍夫曼的 Golomb-Rice 編碼編碼遊程長度。這種方法允許比算術編碼或甚至霍夫曼編碼更簡單和更快的編碼/解碼，因為後者需要表查找。在 {0.95, 0.05} 示例中，具有四位餘數的 Golomb-Rice 代碼實現了壓縮率 ${\displaystyle 71.1\%}$ ，遠遠低於使用三位塊的壓縮率。 Golomb-Rice 代碼僅適用於伯努利輸入，例如本例中的輸入，因此它不能代替所有情況下的阻塞。

算术编码与区间编码有很深的相似渊源，以至于人們通常认为兩者的性能是相同的，如果确实有什么不同的话也只是区间编码仅仅落后几个位的值而已。区间编码与算术编码不同，通常认为它不被任何公司的专利所約束。

区间编码的原理是这样的，它没有像算术编码那样从 [0,1] 开始并根据每个字符出现的概率把它分成相应的不同的小区间，它从如 000,000,000,000 到 999,999,999,999 这样一个很大的非负整数区间开始，并且根据每个字符的概率划分成小的子区间。当子区间小到一定程度最后结果的开头数字出现的时候，那些数字就能够“左移”出整个运算，并且用“右边”的数字替换——每次出现移位时，就大体相当于最初区间的一个回归放大（retroactive multiplication）。