簡析5G時代的MART流處理

在當今數字驅動的世界中，實時處理資料流是業務成功的必要條件。

5G網路的引入增加了對資料量和速要求，而這些要求給傳統的資料架構帶來了壓力。對吸收資料流量的需求空前增長，同時還要透過跨多個資料流，做出智慧且動態的決策來推動執行。

當前的資料流處理體系通常足以結構處理流水線，但它們不能滿足應用關鍵型任務程式的需求，而低延遲和多步響應式決策突出了這些任務型的應用程式需求。

此外，與傳統的少數中央樞紐資料中心相反。隨著預計每平方公里100萬的互聯事物密度的增加，以及規定的單位數毫秒的低延遲，資料和處理將透過幾個邊緣資料中心分散化。

在不完整的資訊匯合處，傳統的和現代的處理流資料的選擇都將失敗。為了使互動式低延遲應用程式和流水線管道共存，它們必須使用相同的資料來驅動跨功能的一致性。

資訊不完整的前四部分是：

1.微服務架構要求將狀態和邏輯分離

缺少的是對業務型別的邏輯以及應該存在的位置的理解。儘管應用程式流控制邏輯可以保留在應用程式層中，從而使計算容器真正變為無狀態，但資料業務邏輯必須與存在的資料一起驅動。

2.網路頻寬使用效率

當您將狀態儲存在NoSQL資料儲存區中，並且例項容器每次互動都必須移動10至25 KB的資料有效負載時（例如，從儲存區讀取物件，對它進行修改並將它傳送回資料儲存），應用程式很快就會開始消耗大量的網路頻寬。在虛擬化或容器化的世界中，網路資源就像黃金。人們不應該為了瑣碎的資料移動而浪費它。

3.流處理的基本前提

今天的流處理基於時間視窗化概念：事件時間視窗或處理時間視窗之一。這並不代表真正現況。組織需要持續處理事件，無論事件是單獨到達還是上下文到達。這種方法將避免諸如錯過事件之類的問題，因為它們只會遲到了，而不必膨脹資料庫來等待遲到的已知的最後一個事件。

4.交叉輪詢多個資料流，以構建驅動決策的複雜事件

事件驅動的體系結構是訊息流，每個訊息流都與事件相關聯，以驅動某些操作。架構面臨到的挑戰，是從多個資料流中構建複雜的事件，或基於複雜的業務邏輯將單個資料流驅動更改到多個狀態。

• 智慧流處理架構可操作：
• 將傳入事件資料吸收到狀態機中
• 從多個攝取流構建上下文實體狀態
• 應用業務規則的規則集來驅動決策
• 透過迭代地融合從機器學習計劃中，獲得的新知識來增強和豐富這些規則
• 讓決策傳播以推動執行
• 一旦在實時處理中不需要上下文完成/處理的資料，則將其遷移到檔案儲存

智慧流處理體系結構是由一個用於攝取，處理和儲存的統一環境組成。

這種具有內建智慧功能的整合方法可以在資料所在的位置進行分析。它利用快速的記憶體中關係資料處理平臺（IMRDPP）不僅使流“變得智慧”，而且還提供了線性擴充套件，可預測的低延遲，嚴格的ACID以及可在以下位置輕鬆部署的低得多的硬體空間邊緣。

藉助聚合，過濾，取樣和關聯等內建分析功能，以及儲存過程/嵌入式受監督和無監督機器學習，可在一個整合平臺上獲得面向實時決策的流處理的所有要素。

如果您對VoltDB的工業物聯網大資料低延遲方案、全生命週期的實時資料平臺管理等感興趣，歡迎私聊，與更多小夥伴一起探討。