阿里云云原生實時數倉升級釋出，助力企業快速構建一站式實時數倉

9月14日，阿里云云原生實時數倉升級釋出。阿里雲端計算平臺的產品專家分享了實時計算Flink版和Hologres構建企業級一站式實時數倉的核心能力升級及新功能解讀。

當前，大資料正在從計算規模化向實時化演進，實時數倉的應用場景也越來越廣泛。例如：央視春晚，可透過大屏實時統計全國的收視率和觀眾畫像；多個城市正在開展的城市大腦專案， 透過 IoT 的攝像頭資訊，實時捕獲各個城市中的交通、車輛、人流等資訊進行交通監察與治理；銀行、證券交易所等金融機構實時監控交易行為，進行反作弊反洗錢等行為的探測；電商大促場景下，可透過大屏實時展示成交額並實現毫秒級更新。除此之外，智慧客服、物流跟蹤、訂單分析、直播質量監控等也是實時數倉的典型應用場景。由此可見，實時資料的處理與分析為越來越多的企業創造了業務價值。

實時數倉越來越重要。然而建設實時數倉時，企業卻常常面臨各種問題。當前實時數倉建設的痛點主要有以下三方面：首先，企業對於資料的準確性、時效性、價效比三方面都同時具有強烈需求。不但對資料實時寫入能力要求高、查詢延時敏感、查詢維度繁多且維度不固定，而且希望兼顧明細查詢和聚合查詢兩類不同負載，同時要求在成本上有所控制。其次，隨著手機應用、小程式等場景日益增多，企業對於半結構化資料的分析需求強烈。第三，由於業務需求更新頻繁，實時任務變更頻繁，企業需要更加敏捷的實時數倉來適應頻繁的變更。

為了解決客戶建設實時數倉中面臨的痛點，阿里雲實時計算 Flink 版 +Hologres 實時數倉解決方案升級。

本次升級釋出的新功能集中在資料寫入、查詢與分析、企業級能力三個方面。

資料寫入：擁有實時應用場景的客戶（如實時大屏、實時風控等）對於資料寫入的實時性有著極高要求，要求資料寫入即可見。同時，由於企業資料來源複雜，會涉及到許多的資料更新、修正的場景，進一步加大了實時寫入與更新的難度。 Hologres 作為一站式實時資料倉儲引擎，提供海量資料高效能的實時寫入，資料寫入即可查。同時，阿里雲實時計算 Flink 版 +Hologres 可透過主鍵提供高效能的 Upsert 能力，整個寫入和更新過程確保 Exactly Once ，滿足對資料的合併、更新等需求。

企業在資料寫入時，還面臨著資料時效性低、成本高、同步效率低等困難。本次釋出的表結構變更自動同步功能解決了資料時效性問題，整庫同步功能減少了資源浪費，分庫分表合併同步提升了資料同步效率。

隨著業務的迭代和發展，資料來源的表結構變更已成為常見現象，企業需要及時修改實時同步作業以適配最新的表結構。這些操作帶來了較高的運維成本，也影響了資料時效性。為解決這個問題，阿里雲實時計算 Flink 版支援透過 Catalog 實現後設資料的自動發現和管理，配合 CTAS （ Create Table AS ）語法，使用一行 SQL 實現資料同步和表結構的變更自動同步，降低運維成本，提升資料時效性。在實際工作場景中，分析師常要透過單張表逐一同步的方式將整個資料庫同步到數倉中做進一步分析，不但浪費資源，也為上游資料庫帶來較大壓力。針對這個問題，阿里雲 Flink CDC 提供了整庫同步特性，節省成本，降低資料庫壓力。另外，分析師也常常需要將分庫分表的業務資料匯聚到一張數倉中的大表中進行分析，針對這種場景，阿里雲實時計算 Flink 版 +Hologres 提供了分庫分表合併同步特性，透過在 CTAS 語法支援源庫和源表的正規表示式，源資料庫的分表可以高效地合併同步到下游 Hologres 數倉中。

查詢與分析：本次釋出的 Hologres 實時物化檢視功能最佳化了聚合場景，減少計算量，顯著提升查詢效能。 JSON 列式儲存最佳化提升了半結構化資料查詢和儲存效率。 Hologres Binlog + 阿里雲實時計算 Flink 版支援了有狀態的全鏈路事件實時驅動開發場景。

Hologres 新版本已支援實時物化檢視功能，資料在寫入時即預計算，以空間換時間，提高查詢效率。 JSON 作為一個資料單位，提供了儲存上的靈活性，但限制了分析時的效率，為了訪問 JSON 中部分節點不得不讀取整個 JSON 資料結構，效率非常低下，儲存上也很難壓縮。 Hologres 的 JSON 列式儲存最佳化，平衡了靈活性 (Schemaless) 與效能，提升資料儲存壓縮效率，減少資料轉換等操作，提升查詢效率。 Binlog 是 Hologres 很有特色的新能力，支援對每次資料更新的詳細記錄，應用在數倉層次間資料實時加工、多例項間資料同步、資料行列轉換 、資料變化檢測等多種場景。

企業級能力方面： Hologres 提供了資料加密和脫敏、訪問控制、容災備份等能力。

除了產品功能釋出外，產品專家還分享了某知名全球TOP20遊戲公司的案例。該客戶透過阿里雲Flink版+Hologres實時數倉方案替換開源架構，簡化資料處理鏈路，統一數倉架構，統一儲存，提升查詢效能，完美支撐資料分析、廣告投放、實時決策等多個場景，助力業務快速增長。