作者 | 李琿
編輯 | 爾悅

> 小 T 導讀：眾所周知，壓縮演算法的目的主要是為了減少儲存空間或傳輸頻寬，透過把原始資料轉換成比原始格式更緊湊的形式，來提高資料的傳輸、儲存和處理效率。我們熟悉的很多壓縮軟體都是藉助非常複雜的演算法才得以實現，像一些時序資料庫（Time-Series Database），比如 TDengine，也是透過內建壓縮功能，才能實現對時序資料的高比例壓縮。那具體來說，資料壓縮的流程是怎樣的？時序資料庫中常見的資料編碼和壓縮演算法又有哪些呢？本篇文章將會從具體實踐出發進行經驗分享。

**資料壓縮/解壓縮的流程**

**壓縮：**輸入原始資料，經過壓縮器編碼後，輸出壓縮後的資料。
input data —-> compressor —-> coded data
**解壓縮：**輸入壓縮過的資料，經過解壓縮器解碼/重建後，輸出原始資料。
coded data —-> decompressor —-> output data
如果輸出資料和輸入資料始終完全相同，那麼這個壓縮方案被稱為可逆壓縮，也稱無損編碼器。否則，它就是一個非可逆壓縮，也稱有損編碼器。

- 可逆壓縮：能夠無失真地從壓縮後的資料重構，準確地還原原始資料。可用於對資料準確性要求嚴格的場合，如可執行檔案和普通檔案的壓縮、磁碟的壓縮，也可用於多媒體資料的壓縮。該方法的壓縮比較小，如差分編碼、RLE、Huffman 編碼、LZW 編碼、算術編碼。
- 非可逆壓縮：有失真，不能完全準確地恢復原始資料，重構的資料只是原始資料的一個近似。可用於對資料的準確性要求不高的場合，如多媒體資料的壓縮。該方法的壓縮率比較高，例如預測編碼、音感編碼、分形壓縮、小波壓縮、JPEG/MPEG。

![](http://img.blog.itpub.net/blog/2022/06/17/4345d5874687c8fa.png?x-oss-process=style/bb)

我們都知道，資料在計算機內部是以二進位制方式表示和儲存的，因此，通俗地講，資料壓縮就是以最少的位元數表示資料物件。資料壓縮的本質是用計算時間換取儲存空間，不同資料型別對應不同的資料壓縮演算法，不存在某個壓縮演算法能夠壓縮任意資料。資料壓縮說到底是對資料趨勢性、規律性的總結，這個資料規律性可分為基於內容（比如影片的幀與幀之間、影像的畫素與畫素之間的相似）、基於表示（比如變換編碼、熵編碼）和基於碼流（比如差量壓縮、深度壓縮）等多種級別。

舉一個資料壓縮的簡單例子：給定一個字串”this is a example”，正常情況下，每個字元佔用 8 個位元位，假設該字串含有 17 個字元（包含空格），每一個字元出現的頻率分別是a(2),e(2),h(1),i(2),m(1),p(1), t(1),s(2),x(1),l(1),空格(3). 現在我們按照字母出現的頻率進行編碼，用 111 表示“空格”，001 表示“a”，110 表示“e”，011 表示“i”，000 表示“s”，0101 表示“h”，1011 表示“m”，1000 表示“p”，0100 表示“t”，1010 表示“x”，1001 表示“l”。最後”this is a example”被編碼成 010001010110001110110001110011101010001101110001001110，共 54 個位元。相比未壓縮前的 136 位元，儲存空間縮小了 2.5 倍。
![](http://img.blog.itpub.net/blog/2022/06/17/97e39dfce9cad576.png?x-oss-process=style/bb)

**時序資料是如何被壓縮的？**

時序資料庫（Time-Series Database）中常見的資料編碼和壓縮演算法有如下幾種：

- 霍夫曼編碼

上面例子中提到的就是霍夫曼編碼。這是一個流傳最為廣泛的壓縮方案，19 世紀 50 年代，David Huffman 在他的論文“一種構建極小多餘編碼的方法”中第一次描述了這種方法。霍夫曼編碼透過得到給定字母表的最優字首碼進行工作。

要注意的是，這裡的一個字首碼代表一個數值，並要保證字母表中的每個符號的字首碼不會成為另一個符號字首碼的字首。例如，如果 0 是我們第一個符號 A 的字首碼，那麼字母表中的其他符號都不能以 0 開始。由於字首碼使位元流解碼變得清晰明確，因此這種機制還是很有用的。

- 遊程編碼（英語：run-length encoding，縮寫RLE）

一種與資料性質無關的無損資料壓縮技術，基於“使用變動長度的碼來取代連續重複出現的原始資料”來實現壓縮。舉例來說，一組字串“AAAABBBCCDEEEE” ，由 4 個 A、3 個 B、2 個 C、1 個 D、4 個 E組成，經過 RLE 可將字串壓縮為 4A3B2C1D4E。其優點是簡單、速度快，能將連續且重複性高的資料壓縮成小單位。缺點也是很明顯的，重複性低的資料壓縮效果不好。

- XOR

該演算法是結合遵循 IEEE754 標準浮點數儲存格式的資料特徵設計的特定演算法，第一個值不壓縮， 後面的值是跟第一個值計算 XOR（異或）的結果，如果結果相同，僅儲存一個 0，如果結果不同，儲存 XOR 後的結果。該演算法受資料波動影響較大，波動越劇烈，壓縮效果越差。

- Delta

差分編碼又稱增量編碼，編碼時第一個資料不變，其他資料轉換為上一個資料的 delta。其原理與 XOR 類似，都是計算相鄰兩個資料的差異。該演算法應用廣泛，如需要檢視檔案的歷史更改記錄（版本控制、Git 等）。但在時序資料庫中這種演算法很少單獨使用，一般會搭配 RLE、Simple8b 或者 Zig-zag 一起使用，壓縮效果更好。

- Delta-of-Delta

又名二階差分編碼，是在 Delta 編碼的基礎上再一次使用 Delta 編碼，比較適合編碼單調遞增或者遞減的序列資料。例如 2,4,4,6,8 , Delta編碼後為 2,2,0,2,2 ，再 Delta 編碼後為 2,0,-2,2,0。通常其也會搭配 RLE、Simple8b 或者 Zig-zag 一起使用。

- Zig-zag

Zig-zag 的出現是為了解決 varint 演算法對負數編碼效率低的問題，它的原理非常簡單，是將標誌位後移至末尾，並去掉編碼中多餘的 0，從而達到壓縮的效果。對於比較小的數值壓縮效率很高，但是對於大的資料效率不但沒有提升可能還會有所下降。因此，Zig-zag 通常和 Delta 編碼搭配，Delta 可以很好地將大數值資料變為較小的數值。

- Snappy

Snappy 壓縮演算法借鑑了 LZ77 演算法的思路，由於 LZ77 演算法中模式匹配過程有較高的時間複雜度，Google 對其做了許多最佳化，並於 2011 年對外開源。其原理是假設我們有一個序列 S=[9,1,2,3,4,5,1,2,3,4]，匹配發現子序列 S~2,5~=[1,2,3,4] 與 S~7,10~=[1,2,3,4] 是相同的，於是將該序列編碼為 S=[9,1,2,3,4,5,6,(2,4)]，2 表示開始位置，4 表示位數。Snappy 的優點是速度快，壓縮率合理，在眾多開源專案中使用較為廣泛，比如 Cassandra、Hadoop、MongoDB、RocksDB、Spark、InfluxDB 等。

- LZ4

LZ4 資料壓縮演算法屬於面向位元組的 LZ77 壓縮方案家族，壓縮比並不高，它的特點是解碼速度極快。據官方測試基準 lzbench 的測試結果，預設配置下其解壓速度高達 4970MB/s。

- Simple8b

Simple8b 是 64 位演算法，實現將多個整形資料（在 0 和 1<<60 -1 之間）壓縮到一個 64 位的儲存結構中。其中前 4 位表示選擇器，後面 60 位用於儲存資料。優點是簡單高效，定長編碼保證瞭解壓效率，但對於大整數或者浮動較大的值來說壓縮率較低，該演算法適用於範圍較小的無符號整數。

- LZO

LZO 是塊壓縮演算法，同樣屬於 LZ77 壓縮方案家族，該演算法的目標是快速壓縮和解壓縮，並非壓縮比。相比之下，LZ4 的解壓速度更快。由於塊中存放的資料型別可能多種多樣，整體的壓縮效果遠沒有針對某一種資料型別進行壓縮的演算法好。

- DEFLATE

DEFLATE 是同時使用了 LZ77 演算法與霍夫曼編碼（Huffman Coding）的一個經典無損資料壓縮演算法。實際上 DEFLATE 只是一種壓縮資料流的演算法，該演算法是 zip 檔案壓縮的預設演算法，在 gzip、zlib 等演算法中都有封裝。

- Zstandard

Zstandard(Zstd) 的設計目的是提供一個類似於 DEFLATE 演算法的壓縮比，但效果要更快，特別是解壓縮。它的壓縮級別從負 5 級（最快）到 22 級（壓縮速度最慢，但是壓縮比最高）間可以調節。在文字日誌壓縮場景中，其壓縮效能與 LZ4、Snappy 相當甚至更好。Linux 核心、HTTP 協議、Hadoop、HBase等都已經加入對 Zstd 的支援，可以預見，Zstd 將是未來幾年裡被廣泛關注的壓縮演算法。

- Bit-packing

Bit-packing（位壓縮）壓縮演算法基於不是所有的整型都需要 32 位或者 64 位來儲存這一前提，從我們要壓縮的資料中刪除不必要的位。比如一個 32 位的整型資料，其值的範圍在【0,100】之間，則可以用 7 位表示。

最後以 TDengine Database 為例，我們來看一下時序資料庫在具體實現上會如何運用壓縮演算法。TDengine Database 提供了三種壓縮選項：無壓縮、一階段壓縮和兩階段壓縮。

一階段壓縮根據資料的型別進行了相應的壓縮，壓縮演算法包括 delta-delta 編碼、simple 8B 方法、zig-zag 編碼、LZ4 等演算法，這些演算法在上文中我們也都簡單介紹過了。二階段壓縮是在一階段壓縮的基礎上，再用通用壓縮演算法進行了壓縮，以此來保證壓縮率更高。

綜上，我們可以看到壓縮演算法的選擇還是非常多的，具體的程式可以根據壓縮效果和成本綜合選擇。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

時序資料是如何被壓縮的？具體有哪些可選擇的壓縮演算法？

相關文章