網路分流器｜基於複合儲存的100Gbps DPI技術

網路分流器｜基於複合儲存的100Gbps DPI技術

      1.   網路分流器｜背景與需求\戎騰網路分流器

      ---當前，隨著防火牆、入侵檢測系統、高速網路管控、CDN、運營商信令分析、垃圾郵件分類等領域的發展，對高速鏈路進行深度報文檢測（Deep Packet Inspection，簡稱DPI）和分類的要求越來越高。一方面是頻寬越來越高，另一方面是檢測特徵越來越複雜，特徵種類越來越多，這為DPI技術的發展提出了非常高的要求。

深度報文檢測是使用預定義的一系列規則在流級上對報文載荷（而非僅僅是報文頭）進行匹配，並根據匹配的結果決定對報文所採用的動作的一個過程。

2.複合儲存技術｜網路分流器

當前在DPI領域，主要採用兩種特種模式，分別是關鍵字和正規表示式，由於高效能的正規表示式匹配技術尚未達到實用，目前廣泛使用的仍然是關鍵字（商用的正規表示式匹配技術尚未超過10Gbps），甚至大部分的DPI系統仍無法完成10Gbps以上鍊路的全報文關鍵字匹配，而只能對報文首部的部分位元組（如報文載荷的前32位元組或者64位元組）執行深度檢測，效能問題依然是DPI面臨的首要挑戰。為了提高DPI的處理能力，產業界和學術界普通採用的是以下三種技術：

依靠更高效能的伺服器或伺服器叢集來加速DPI吞吐量，由於在報文流上執行多機器或多核的負載均衡非常方便，這種方法很容易達到很高的處理效能，缺點是代價比較大。

依靠更好的軟體演算法來提高匹配效能，目前研究界普通採用以AC演算法作為基礎來最佳化效能，主要有WU-MANBER、SBOM、一次多位元組（俗稱多步）、BloomFilter等方法，但是DPI過程要求的前後狀態轉移是關聯的，即下一次訪問的地址與上一次訪問的狀態和當前報文位元組的內容緊密相關，受限於儲存器本身（主要是DDR）的效能，軟體最佳化的空間非常有限。

依靠各種多核NPU自帶的匹配引擎來加速，目前國外兩大多核NPU巨頭Broadcom和Cavium都有在其NPU上內建了DPI加速引擎，如Cavium內建的HFA引擎宣稱其單個NPU可以達到24Gbps的處理能力，但是實測效能與宣稱效能之間相差巨大。尤其是配置正規表示式規則時，帶萬用字元的規則會對其效能造成十分顯著的影響。

DPI技術的技術發展仍然無法趕上相關應用領域的現實要求。

DPI）中，首先要將關鍵字或正規表示式特徵編譯成有限狀態自動機（Finite State Automata，FSA），並將FSA的狀態表配置在儲存器中。匹配過程中，每處理報文的一個位元組都需要至少一次查表，以獲取下一次要訪問的狀態地址。匹配的速度取決於訪存次數和每次訪存的時延，而對於一個給定的報文，訪存次數等於報文負載長度。因此要提高匹配的速度就需要儘量減少每次訪存的時延。

FSA，狀態表配置在高速儲存器中，以獲得較高的匹配速度。然而，隨著網路頻寬的快速增加，10G位元的網路已經開始應用於園區網路中；規則的數目也增加到數百甚至上千條。將每條規則編譯成單個FSA的方案已經無法滿足效能需求。如果將所有規則編譯成一個FSA，可能發生狀態爆炸。狀態表的規模可能超過數100G位元組，遠超過目前高速儲存器的容量，只能配置在外部磁碟這樣的低速儲存器中，訪存時延大大提高。

技術的關鍵其實是訪存的效能，尤其是隨機訪存的效能，如果能夠設計一種儲存結構，既能夠支援很高的隨機訪問效能（如達到幾十個Gbps以上），又能夠有比較大的容量（如到幾十兆的大小），則透過良好的狀態表資料結構最佳化，使得狀態表的訪問能夠相對聚集；然後對訪存過程加以最佳化，如流水化訪存、Bank交錯、並行化訪存等措施來進一步提高訪問狀態表的效率，則高效能的DPI是可以實現的。

DPI技術，借鑑了計算機系統的Cache結構。在計算機系統中，由於區域性性原理，可以用先進先出、最近最少使用等替換演算法，使Cache有較高的命中率。但是在深度報文檢測中，報文的內容卻是完全隨機的，難以預知下一個要處理的位元組內容，會轉向哪個狀態。選擇那些經常被訪問的狀態儲存到高速儲存器中是提高效能的關鍵。戎騰透過獨有的馬爾科夫預測技術，很好地解決了狀態訪問的預測問題。

複合儲存技術的產品化與應用|網路分流器

PET160S和基於ATCA的CNT16S兩種系統，其中PET160S系統可以在16K關鍵字下，達到70Gbps到90Gbps的匹配效能；而CNT16S系統可以支援在4K正規表示式下，達到40Gbps的效能。此類裝置可以在流級上對報文進行標籤動作，匹配規則的報文會在報文頭部打上命中的規則編號，使得後端分析系統能夠根據相應的標籤快速執行相應的檢測任務。

4倍的效能。即如果核心匹配引擎能夠達到n Gbps的效能，則整體報文處理能力就能夠4n Gbps左右的效能，也就是說PET160S系統已經完成可以滿足雙向100Gbps乙太網全頻寬的關鍵字DPI能力，而CNT16S也可以滿足實網條件下雙向100Gbps乙太網（實網條件下，上下行流量不會超過200Gbps*80%）的正規表示式DPI要求。

PCI-E的DPI加速卡，可望於近期在單塊PCI加速卡上實現40Gbps左右的關鍵字匹配效能和20Gbps的正規表示式匹配效能，以硬體加速卡的形式為防火牆、入侵檢測系統、高速網路管控、CDN、運營商信令分析提供硬體加速。

結束語｜網路分流器

DPI）的關鍵技術，規則集的複雜化導致對訪存的效能和容量需求急劇增加。而狀態表的規模遠超過高速儲存器容量，透過複合儲存技術，可以很好地解決DPI的效能問題，並很好地與現有需要DPI加速的產品進行整合。