QEMU-KVM中的多執行緒壓縮遷移技術

導讀	目前的遷移技術，都是透過向QEMUFILE中直接寫入裸記憶體資料來達到傳送虛擬機器的目的端，這種情況下，傳送的資料量大，從而會導致更高的遷移時間(total time)和黑宕時間(downtime)。本文介紹的方法，在傳送前對客戶機記憶體進行壓縮，在目的端接收到記憶體後，進行對資料進行解壓縮，從而恢復客戶機的記憶體。

使用帶壓縮技術的遷移後，傳輸的資料總量會減少60%，總遷移時間減少70%+，同時當機時間減少50%以上。一方面，壓縮/解壓縮的過程會消耗CPU週期而加大了遷移的時間；另一方面，總傳輸資料量的銳減，又會減少遷移時間。為了能夠進行高速的壓縮，本技術中使用了多執行緒併發的方式，提高壓縮的目前虛擬機器中，使用ZLIB完成壓縮/解壓縮的工作。

在CPU相同的情況下，ZLIB官方給出，解壓縮的速度是壓縮速度的4倍。也就是說，如果遷移的源端和目的端處理器相同的情況下，使得壓縮執行緒數量是解壓縮執行緒數量的4倍就可以在資源消耗最小的情況下，取得最優的壓縮為了更多的適應網路狀況，虛擬機器中引入了壓縮級別 -- Compression level。Compression level可以用來控制壓縮速率和壓縮比例。高的壓縮比率會消耗更多的時間，level 0就代表不進行壓縮， 1級代表最優的壓縮速率， 9級代表了最好的壓縮比率(最多的壓縮時間)。我們可以選擇從0級到9級中的任意一個級別。

壓縮/解壓縮時間將會消耗CPU週期。所以，如果整個系統CPU都被壓得非常滿的情況下，避免使用這個特性。當網路頻寬有限，CPU資源又足夠充足的情況下，使用多執行緒壓縮動態遷移技術會帶來比較好的效果。當網路充足且CPU資源充足的情況下，使用本技術也將會減少總遷移時間。

1. 啟動虛擬機器

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048 -vnc 192.168.2.106:0 -monitor stdio

2. 使能源端多執行緒壓縮動態遷移技術

a.) migrate_set_capabilitycompress on //使能壓縮
b.) migrate_set_parametercompress-threads 12 //12個壓縮執行緒
c.) migrate_set_parametercompress-level 1 //壓縮級別為1級

3. 開始遷移

migrate -d tcp:192.168.2.105:6666

1. 啟動虛擬機器

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048 -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666

2. 使能目的端多執行緒壓縮動態遷移技術

a.) migrate_set_capabilitycompress on
b.) migrate_set_parametercompress-level 1
c.) migrate_set_parameterdecompress-threads 3 //3個壓縮執行緒

3. 等待遷移完成

CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30GHz
Logic core: 40
Socket : 2
RAM: 128G
NIC: 1000baseT/Full
Host OS:   release 7.2.1511 (Core) 64-bit
Guest OS: CentOS Linux release 7.2.1511 (Core) 64-bit

	原動態遷移	多執行緒壓縮技術動態遷移 壓縮級別：    1 壓縮執行緒數：  12 解壓縮執行緒數：3
遷移總時間(msec):	9536	4466
Downtime時間(msec):	34	22
傳輸資料量(KB)	307783	140445

效果：總的遷移時間減少50%；downtime時間減少35%

	原動態遷移	多執行緒壓縮技術動態遷移 壓縮級別：    1 壓縮執行緒數：  12 解壓縮執行緒數：3
遷移總時間(msec):	11720	5652
Downtime時間(msec):	169	21
傳輸資料量(KB)	311554	140189

效果：總遷移時間減少了200%,downtime時間減少了800%

虛擬機器實現程式碼分析如下(本分析基於：QEMU 2.5)：

有migration_thread()進行遷移工作，在iterator和complete階段，如果發現使能了多執行緒壓縮技術，則透過compress_page_with_multi_thread()完成資料的壓縮和傳送

最終在compress_page_with_multi_thread()中啟用壓縮執行緒，透過zlib的compress2()函式完成資料的壓縮，並透過QEMU-FILE傳送

1. 壓縮演算法

a. 目前使用的是開源zlib庫完成壓縮，還有其他壓縮庫的壓縮方式可以提供，以便適應更多的場景

b. 商業壓縮庫有著更好的效率

c. 透過FPGA進行硬體輔助壓縮

2. 壓縮策略

a. 虛擬機器遷移演算法自適應所有網路，對網路進行測試（是否滿足上面的公式），然後形成反饋因子輸入到遷移演算法中，遷移演算法根據反饋因子決定使用的壓縮演算法、壓縮級別或者根本不壓縮，達到在所有網路狀況下而縮短downtime的目的。

原文來自：