應用AI晶片加速 Hadoop 3.0 糾刪碼的計算效能

騰訊雲加社群發表於2019-01-08
AI晶片Hadoop

本文由雲+社群發表

做為大資料生態系統中最重要的底層儲存檔案系統HDFS，為了保證系統的可靠性，HDFS通過多副本的冗餘來防止資料的丟失。通常，HDFS中每一份資料都設定兩個副本，這也使得儲存利用率僅為1/3，每TB資料都需要佔用3TB的儲存空間。隨著資料量的增長，複製的代價也變得越來越明顯：傳統的3份複製相當於增加了200%的儲存開銷，給儲存空間和網路頻寬帶來了很大的壓力。因此，在保證可靠性的前提下如何提高儲存利用率已成為當前HDFS應用的主要問題之一。

針對這些問題，英特爾、Cloudera、華為以及其他的Apache Hadoop communit共同參與開始引入糾刪碼（Erasure Coding，EC）技術，在保證資料可靠性的同時大幅降低儲存開銷，節省2倍的儲存空間。該feature計劃在Hadoop3.0版本釋出。

什麼是糾刪碼 EC

Erasure coding糾刪碼技術簡稱EC，是一種資料保護技術。最早用於通訊行業中資料傳輸中的資料恢復，是一種編碼容錯技術。他通過在原始資料中加入新的校驗資料，使得各個部分的資料產生關聯性。在一定範圍的資料出錯情況下，通過糾刪碼技術都可以進行恢復。

在儲存系統中，糾刪碼技術主要是通過利用糾刪碼演算法將原始的資料進行編碼得到校驗，並將資料和校驗一併儲存起來，以達到容錯的目的。其基本思想是將ｋ塊原始的資料元素通過一定的編碼計算，得到ｍ塊校驗元素。對於這ｋ+ｍ塊元素，當其中任意的ｍ塊元素出錯（包括資料和校驗出錯），均可以通過對應的重構演算法恢復出原來的ｋ塊資料。生成校驗的過程被成為編碼（encoding），恢復丟失資料塊的過程被稱為解碼（decoding）。

Reed-Solomon（RS）碼是儲存系統較為常用的一種糾刪碼，它有兩個引數k和m，記為RS(k，m)。如圖1所示，k個資料塊組成一個向量被乘上一個生成矩陣（Generator Matrix）GT從而得到一個碼字（codeword）向量，該向量由k個資料塊和m個校驗塊構成。如果一個資料塊丟失，可以用(GT)-1乘以碼字向量來恢復出丟失的資料塊。RS(k，m)最多可容忍m個塊（包括資料塊和校驗塊）丟失。

img
EC

HDFS引入EC碼的優勢和劣勢

優勢

EC碼的優勢是顯而易見的，可以大幅度的降低資料的儲存空間。特別是PB、EB級的場景下，會極大的削減儲存的成本。

劣勢

EC技術的優勢確實明顯，但是他的使用也是需要一些代價的，一旦資料需要恢復，他會造成兩大資源的消耗:

網路頻寬消耗（資料恢復需要去讀其他的資料塊和校驗塊），CPU消耗（編解碼計算）。

GPU、TPU加速糾刪碼的運算

從上面的EC碼優缺點對比可以看出，雖然EC碼可以大幅的節省空間，但是因為在儲存和恢復的過程中需要額外的運算。用線上上系統的時候，一旦有節點掛掉觸發資料恢復，計算量是比較大的，可能會對叢集的整體效能造成影響，拖慢正常的計算任務。

在上面的介紹中我們看到，EC碼的計算實際上就是矩陣相乘的計算，而目前AI業界最火熱的神經網路的計算也是當量的矩陣相乘相加。由此我們可以大膽的想象，是否可以利用目前GPU和TPU對矩陣運算的優化，來加速EC碼的計算效能呢？

目前業界比較領先的兩個AI計算加速晶片分別為NVIDIA的Volta GPU架構和Google的TPU。

對於純矩陣相加相乘的運算，GPU或TPU相比於CPU，效能的提升可以達到50~80倍。

NVIDIA

NVIDIA的Tesla V100提供了120個專門用於矩陣運算的Tensor Core。每個 Tensor Core 包含一個 4x4x4 的矩陣處理陣列來完成 D=A x B + C 的運算，其中 A、B、C、D 是 4×4 的矩陣，如下圖所示。矩陣相乘的輸入 A 和 B 是 FP16 矩陣，相加矩陣 C 和 D 可能是 FP16 矩陣或 FP32 矩陣。

img
Tensor Core

每個 Tensor Core 每個時鐘可執行 64 次浮點 FMA 混合精度運算（FP16 乘法與 FP32 累加），一個 SM 單元中的 8 個 Tensor Core 每個時鐘可執行共計 1024 次浮點運算。相比於使用標準 FP32 計算的 Pascal GP100 而言，單個 SM 下的每個深度學習應用的吞吐量提升了 8 倍，所以這最終使得 Volta V100 GPU 相比於 Pascal P100 GPU 的吞吐量一共提升了 12 倍。Tensor Core 在與 FP32 累加結合後的 FP16 輸入資料之上操作。FP16 的乘法得到了一個全精度結果，該結果在 FP32 和其他給定的 4x4x4 矩陣乘法點積的乘積運算之中進行累加。

img

TPU

TPU是Google為TensorFlow定製化的AI加速晶片。這個TPU晶片是面向datacenter inference應用。它的核心是由65,536個8-bit MAC組成的矩陣乘法單元（matrix multiply unit），峰值可以達到92 TeraOps/second (TOPS) 。有一個很大的片上儲存器，一共28 MiB。它可以支援MLP，CNN和LSTM這些常見的NN網路，並且支援TensorFLow框架。摘要裡面還可以看出，傳統CPU和GPU使用的技術（caches, out-of-order execution, multithreading, multiprocessing, prefetching）它都沒用，原因是它面向的應用都是deterministic execution model，這也是它可以實現高效的原因。它的平均效能（TOPS）可以達到CPU和GPU的15到30倍，能耗效率（TOPS/W）能到30到80倍。如果使用GPU的DDR5 memory，這兩個數值可以達到大約GPU的70倍和CPU的200倍。

img
TPU

前景分析

由於HDFS的內部邏輯已然十分複雜，社群對於HDFS EC碼的改造需要分幾個步奏來實現：

  1. 使用者可以讀和寫一個條形佈局（Striping Layout）的檔案；如果該檔案的一個塊丟失，後臺能夠檢查出並恢復；如果在讀的過程中發現資料丟失，能夠立即解碼出丟失的資料從而不影響讀操作。
  2. 支援將一個多備份模式（HDFS原有模式）的檔案轉換成連續佈局（Contiguous Layout），以及從連續佈局轉換成多備份模式。
  3. 編解碼器將作為外掛，使用者可指定檔案所使用的編解碼器。

編碼器可以作為獨立的外掛，從而可以將使用AI加速硬體的編碼器作為獨立的外掛，分發到有GPU或TPU硬體資源的叢集中。特別是Hadoop 3.0的yarn元件目前也在也k8s深度整合，做一些GPU硬體資源的排程和管理。

此文已由作者授權騰訊雲+社群在各渠道釋出

獲取更多新鮮技術乾貨，可以關注我們騰訊雲技術社群-雲加社群官方號及知乎機構號

相關文章