5月26日，信服雲大資料研發技術專家Kevin 在信服雲《Tech Talk · 雲技術有話聊》系列直播課上分享了《基於多場景計算分析的融合數倉基礎架構》，詳細介紹了**信服雲數倉Dipper如何在複雜場景下提升查詢效率，信服雲數倉Dipper在明細查詢、聚合查詢等多種查詢場景下的加速技術，以及信服雲數倉Dipper在多種業務場景下的開發經驗**。以下是他分享的內容摘要，想要了解更多可以關注“深信服科技”公眾號觀看直播回放。

**一、資料倉儲當前面臨的挑戰**

資料倉儲是用來存放各個業務系統資料的地方，包括網站的訪問日誌、業務資料等。基於收集上來的散亂的海量的資料，以資料整合的方式進入到了資料倉儲的系統，再進行資料清洗、資料匯聚、資料加工等步驟，進而用於進行大資料分析操作。這些操作都是在資料倉儲裡面來完成，最後形成整合資料集合，用於支撐各個部門的決策過程。

**資料倉儲是企業數字化轉型裡面不可或缺的一部分，這體現在商業智慧資料探勘、資料儀表盤和資料探索這些方面。** 無論是企業的資料分析師，還是企業的經營決策者，都需要用它來發現商業中可能忽略的問題，實現決策的科學制定。

當前資料倉儲的一些需求，其實基本上處理的資料是 PB 級的資料，不僅要負責 PB 級的資料的儲存，還要負責 PB 級資料的計算。因為這裡計算資源和儲存資源比較多，如何透過價效比更高方式來保證資料的儲存，保證資料的計算能夠是高效的，也是很多企業關心的問題。

要支援這種高效能的這樣的查詢，對於使用者來講，資料倉儲對外的輸出的視窗提供這樣的功能。所以在**高併發聚合分析**、**億級別的併發秒級檢索**、**高效能的 AD hoc查詢**這三方面都要給使用者提供一種高效能的體驗。

**二、資料倉儲難點與解決方案**

總結起來，使用者的痛點分為三方面：**多系統帶來的運維複雜；查詢效能不足；人工建倉成本高。**

針對多系統部署、成本高的痛點，信服雲提供了一套的**一體化智慧運維繫統**。在這個系統裡有很多的元件，例如分散式計算引擎，統一的後設資料管理引擎，這些引擎在系統中是統一部署的。

根據機器的實際的情況進行引數的調優和配置，實現一鍵安裝。執行過程中出現了問題，也可以及時地發出告警，提醒人員說當前系統可能存在問題。

在這裡面，如果是說每套系統發生掛掉的情況，透過高可用機制也能夠儘快恢復線上業務的生產，來降低因為系統故障導致的業務中斷。

業務系統執行在這樣的資料倉儲上，就能夠保證使用者的系統是高可用的，**實現智慧運維，來降低運維的成本。**

![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/41e0fbec91a84e8fa73f31abeb6d40c0~tplv-k3u1fbpfcp-watermark.image?)

針對效能不足的問題，信服雲提供了一套**化繁為簡的Dipper資料分析引擎**，分成統一介面層和融合引擎層。可以將使用者的查詢分類，在系統中分別針對各類查詢進行最佳化，以獲得更優的查詢效能。

當查詢涉及到大批次資料計算或者大批次資料分析時，可以提供Hive 或者是 Spark 這樣的分析引擎，限制記憶體和計算資源的使用情況，保證計算過程的穩定執行。

當涉及聚合查詢或者明細查詢時，提供提供索引機制，在減小計算資料量的情況下，採用類似於Presto這種引擎，實現低延遲快速的計算。

如果秒級甚至說毫幾百毫秒依舊不能滿足需求，信服雲會給使用者開一個快取記憶體，並採用記憶體計算引擎，為使用者提供更高併發、更低延遲的查詢體驗。

**融合數倉的背後有三種關鍵技術。** 第一，提供一套 ANSI SQL 介面，無需對接多種分析引擎。儘管下面用到了三個不同的元件，但是對於使用者來講，只要寫一套 ANSI SQL 的語法，就能夠獲得特定的轉換，無需使用者考慮元件的切換。

第二，提供一套智慧路由引擎，對於使用者來說，需要人工區分查詢的型別，增加了工作量。而信服雲提供這套智慧路由，它可以透過這種 SQL 語的分析來判斷是大批次資料的查詢、還是高效能的檢索，**這個時候可以自動地選擇合適的引擎，來達到更優的效能情況。**

第三，所有的索引不需要使用者來指明說要構建什麼索引，在這過程中可以透過 SQL 語句的分析來自適應地為使用者建立各種各樣的索引。

![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/162fc15b18364797bc6987fd8df45f0a~tplv-k3u1fbpfcp-watermark.image?)

**三、資料倉儲技術實踐成果**

以**電子製造業**場景為例，使用了信服雲的資料倉儲，1萬塊圓晶晶片能夠達到秒級響應，相較於原來的幾十分鐘的分析速度，提升了使用者的檢驗效率。

在**醫療**場景下，對於同一套資料儲存的明細查詢效能，清理快取之前，可以達到併發500，即使是清理快取以後，也能達到 200 的併發，超過使用者給百級併發秒級響應的預期。

以 **IT部門構建的資料中臺TiDB 查詢引擎場景**為例，採用信服雲資料倉儲後，可以實現大部分的語句的智慧聚合索引，從而完成這種自動化建模，這對他們而言起到了加速效果，獲得了良好的查詢體驗。

還有能源、水務、教育、日誌分析等場景，**信服雲的數倉架構都提供了很好的查詢體驗**，高效能的數倉元件大幅度降低了查詢的時延，能夠在千萬級事實資料下達到秒級響應的效果。

以上就是本次直播的主要內容。對於技術內容感興趣的IT朋友可以關注“深信服科技”公眾號回顧本期直播，瞭解更多技術內容。

Tech Talk · 雲技術有話聊 | 基於多場景計算分析的融合數倉基礎架構

相關文章