Ceph的正確玩法之Ceph糾刪碼理論與實踐

　　隨著雲端計算業務的快速發展，國內外雲端計算企業的專利之爭也愈發激烈。在雲端計算這樣的技術領域，專利儲備往往代表著企業最新的技術實力。本文將與大家共同分享雲端計算領域的最新技術與解決方案。

　　一、糾刪碼原理

　　糾刪碼(Erasure Coding，EC)是一種編碼容錯技術，最早是在通訊行業解決部分資料在傳輸中的損耗問題。其基本原理就是把傳輸的訊號分段，加入一定的校驗再讓各段間發生相互關聯，即使在傳輸過程中丟失部分訊號，接收端仍然能透過演算法將完整的資訊計算出來。在資料儲存中，糾刪碼將資料分割成片段，把冗餘資料塊擴充套件和編碼，並將其儲存在不同的位置，比如磁碟、儲存節點或者其他地理位置。如果需要嚴格區分，實際上按照誤碼控制的不同功能，可分為檢錯、糾錯和糾刪3種型別。

　　·檢錯碼僅具備識別錯碼功能而無糾正錯碼功能。

　　·糾錯碼不僅具備識別錯碼功能，同時具備糾正錯碼功能。

　　·糾刪碼則不僅具備識別錯碼和糾正錯碼的功能，而且當錯碼超過糾正範圍時，還可把無法糾錯的資訊刪除。

　　從糾刪碼基本的形態看，它是k個資料塊+m個校驗塊的結構，其中k和m值可以按照一定的規則設定，可以用公式：n=k+m來表示。變數k代表原始資料或符號的值。變數m代表故障後新增的提供保護的額外或冗餘符號的值。變數n代表糾刪碼過程後建立的符號的總值。當小於m個儲存塊(資料塊或校驗塊)損壞的情況下，整體資料塊可以透過計算剩餘儲存塊上的資料得到，整體資料不會丟失。

　　下面以k=2，m=1為例，介紹一下如何以糾刪碼的形式將一個名稱為cat.jpg的物件存放在Ceph中，假定該物件的內容為ABCDEFGH。客戶端在將cat.jpg上傳到Ceph以後，會在主OSD中呼叫相應的糾刪碼演算法對資料進行編碼計算：將原來的ABCDEFGH拆分成兩個分片，對應圖11-2中的條帶分片1(內容為ABCD)和條帶分片2(內容為EFGH)，之後再計算出另外一個校驗條帶分片3(內容為WXYZ)。按照crushmap所指定的規則，將這3個分片隨機分佈在3個不同的OSD上面，完成對這個物件的儲存操作。如圖所示。

　　

　　下面再看一下如何使用糾刪碼讀取資料，同樣還是以cat.jpg為例。客戶端在發起讀取cat.jpg請求以後，這個物件所在PG的主OSD會向其他關聯的OSD發起讀取請求，比如主OSD是圖中的OSD1，當請求傳送到了OSD2和OSD3，此時剛好OSD2出現故障無法回應請求，導致最終只能獲取到OSD1(內容為ABCD)和OSD3(WXYZ)的條帶分片，此時OSD1作為主OSD會對OSD1和OSD3的資料分片做糾刪碼解碼操作，計算出OSD2上面的分片內容(即EFGH)，之後重新組合出新的cat.jpg內容(ABCDEFGH)，最終將該結果返回給客戶端。整個過程如圖所示。

　　

　　雖然糾刪碼能夠提供和副本相近的資料可靠性，並降低冗餘資料的開銷，整體上能提高儲存裝置的可用空間。但是，糾刪碼所帶來的額外開銷主要是大量計算和網路高負載，優點同時伴隨缺點。特別是在一個硬碟出現故障的情況下，重建資料非常耗費CPU資源，而且計算一個資料塊時需要讀出大量資料並透過網路傳輸。相比副本資料恢復，糾刪碼資料恢復時給網路帶來巨大的負擔。因此，使用糾刪碼對硬體的裝置效能是一個較大的考驗，這點需要注意。另外，需要注意的是，使用糾刪碼所建立的儲存資源池無法新建RBD塊裝置。

　　Ceph安裝後預設有Default Rule，這個Rule預設是在Host層級進行三副本讀寫。副本技術帶來的優點是高可靠性、優異的讀寫效能和快速的副本恢復。然而，副本技術帶來的成本壓力是較高的，特別是三副本資料情景下，每TB資料的成本是硬碟裸容量3倍以上(包括節點CPU和記憶體均攤開銷)。糾刪碼具備與副本相近的高可用特性，而且降低了冗餘資料的開銷，同時帶來了大量計算和網路高負載。

　　二、糾刪碼實踐

　　糾刪碼是透過建立erasure型別的Ceph池實現的。這些池是基於一個糾刪碼配置檔案進行建立的，在這個配置檔案中定義了糾刪碼的特徵值。現在我們將建立一個糾刪碼配置檔案，並根據這個配置檔案建立糾刪碼池。下面的命令將建立一個名為Ecprofile的糾刪碼配置檔案，它定義的特徵值是：k=3和m=2，兩者分別表示資料塊和校驗塊的數量。所以，每一個儲存在糾刪碼池中的物件都將分為3(即k)個資料塊，和2(即m)個額外新增的校驗塊，一共有5個塊(k+m)。最後，這5(即k+m)個塊將分佈在不同故障區域中的OSD上。

　　1、建立糾刪碼配置檔案：

　　# ceph osd erasure-code-profile set Ecprofilecrush-failure-domain=osd k=3 m=2

　　2、檢視配置檔案

　　# ceph osd erasure-code-profile ls

　　Ecprofile

　　default

　　# ceph osd erasure-code-profile get Ecprofile

　　crush-device-class=

　　crush-failure-domain=osd

　　crush-root=default

　　jerasure-per-chunk-alignment=false

　　k=3

　　m=2

　　plugin=jerasure

　　technique=reed_sol_van

　　w=8

　　我們順便也看Ceph預設的配置檔案

　　# ceph osd erasure-code-profile get default

　　k=2

　　m=1

　　plugin=jerasure

　　technique=reed_sol_van

　　3、基於上一步生成的糾刪碼配置檔案新建一個erasure型別的Ceph池：

　　# ceph osd pool create Ecpool 16 16 erasureEcprofile

　　pool 'Ecpool' created

　　4、檢查新建立的池的狀態，你會發現池的大小是5(k+m)，也就是說，erasure大小是5。因此，資料將被寫入五個不同的OSD中：

　　# ceph osd dump | grep Ecpool

　　pool 8 'Ecpool' erasure size 5 min_size 4crush_rule 3 object_hash rjenkins pg_num 16 pgp_num 16 last_change 231 flagshashpspool stripe_width 12288

　　5、現在我們建立個檔案放到糾刪碼池中。

　　# echo test > test

　　# ceph osd pool ls

　　Ecpool

　　# rados put -p Ecpool object1 test

　　# rados -p Ecpool ls

　　object1

　　6、檢查EC池中和object1的OSDmap。命令的輸出將清晰地顯示物件的每個塊所在的OSDID。正如步驟1)中說明的那樣，object1被分為3(m)個資料塊和2(k)個額外的校驗塊，因此，5個塊分別儲存在Ceph叢集完全不同的OSD上。在這個演示中，object1一直儲存在這5個OSD中，它們是osd.5、osd.1、osd.3、osd.2、osd.4。

　　# ceph osd map Ecpool object1

　　osdmap e233 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,3,2,4], p5) acting([5,1,3,2,4], p5)

　　三、糾刪碼測試

　　1、我們先來關閉一個osd

　　# systemctl stop ceph-osd@3

　　停止osd.3，檢查EC池和object1的OSDmap。你應該注意，這裡的osd.3變成NONE了，這意味著osd.3在這個池是不可用的：

　　# ceph osd map Ecpool object1

　　osdmap e235 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,NONE,2,4], p5) acting ([5,1,NONE,2,4],p5)

　　2、我們再來關閉一個osd

　　# systemctl stop ceph-osd@5

　　停止osd.5，檢查EC池和object1的OSDmap。你應該注意，這裡的osd.5變成NONE了，這意味著osd.5在這個池是不可用的：

　　# ceph osd map Ecpool object1

　　osdmap e237 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([NONE,1,NONE,2,4], p1) acting([NONE,1,NONE,2,4], p1)

　　3、我們從糾刪碼池中下載檔案

　　## rados get -p Ecpool object1 /tmp/wyl