隨著企業資料規模的增長和業務多元化發展，海量資料實時、多維地靈活查詢變成業務常見訴求。同時多套資料庫系統成為常態，這既帶來了資料管理的複雜性，又加大了資料使用的難度，面對日益複雜的資料環境和嚴格的資料安全要求，需要解決多資料庫系統並存、資料孤島嚴重、許可權管理混亂和資料查詢提取困難等問題。與此同時，企業對資料安全管控的要求越來越高，不同角色和部門需要訪問的資料各異，如何精細控制資料庫許可權、防止資料洩露和誤操作成為關鍵挑戰。
建設背景
相較於日常查詢，在系統實施時透過建立索引、分割槽等技術來最佳化、提高查詢效率。Ad-Hoc查詢生成的方式很多，常見方式是將數倉中的DIM表和Fact表對映到語義層，分析師藉助語義層選擇表建立表間的關聯最終生成SQL語句，Ad-Hoc能力是分析師在使用時臨時生產的，系統無法預先最佳化這些查詢，即席查詢的位置在EDW中。在一個資料倉儲系統中，Ad-Hoc查詢使用的越多，對數倉的要求就越高。
以銀行、消費金融公司為例，存在業務查詢與統一Ad-Hoc需求，下設部門涵蓋產品研發、運營推廣、貸後管理、法務合規等多個業務領域。由此多型別資料庫例項共存下，在使用者體系整合、資料許可權管理、操作安全審計、SQL查詢語法等方面變得十分繁雜，急需一款能夠進行多資料庫接入、統一資料出口的平臺。
案例場景
隨著業務量的增長，為提升業務處理效率和風險管理水平，業務主要分為三個部門：風險管理部門、科技部門、金融市場部門，其中風險管理人員能夠熟練的使用SQL，但需要針對不同的業務改變SQL語法，經常會出現語法不相容的問題。金融市場人員較少使用SQL，需要以視覺化拖拉拽的方式去拉取明細資料。科技部開發人員在運算元據庫時經常會出現誤刪除、修改核心資料，寫一些危險SQL對業務庫造成壓力，需要給使用人員設定DDL許可權以及程式碼檢查來保證資料安全。
部門管理員統一在平臺內配置使用者的賬號資訊以及資料來源的JDBC連結資訊，根據業務需要配置資料許可權和程式碼校驗規則，完成基礎配置後風險管理人員即可在平臺內遮蔽掉下游的計算引擎用一種通用SQL語法取數，金融市場人員需要先根據業務配置常用的資料模型，後續進行視覺化取數，excel資料整理。而開發人員只能夠在所配的許可權下對資料庫執行DML語句，如果有超出許可權的SQL需要發起審批，審批透過後才可以執行。
痛點分析
1、賬號存在安全風險
資料庫賬號往往由多名操作人員共享，運維人員的許可權有可能超出工作實際使用所需要的，很容易出現操作越權等行為，給資料安全造成威脅。
2、不同資料庫存在語法差異
不同型別的資料庫都有其獨特的SQL語法和規則，開發人員在編寫SQL查詢語句時，需要針對不同資料庫進行適配，增加了開發的工作量，並可能導致潛在的錯誤和效能問題。
3、業務多維查詢遇到問題
業務查詢常見鑽取、上卷、切片、切塊、行列變換，在業務查詢過程中，零售場景查詢單個PV或者查詢業務流水，資料讀取動則上百個G；查詢記憶體OOM，一直不夠用；夜間排程與資料同步，產品經理和分析師上班時間殺任務指令碼。
4、審計線索不足，追溯困難
傳統工具無法記錄使用者及其行為資料，如果有資料操作異常的行為無法進行溯源和定責，可能導致資料的二次侵害，給平臺長期健康穩定執行帶來挑戰。
5、業務人員SQL使用頻率低
許多報表和分析人員對SQL語句不熟悉，新增報表或者固定報表欄位變更時需要進行資料探查，過去提取操作都需要依賴IT人員編寫SQL查詢，導致資料查詢週期長，業務決策支援的效率較低。
6、業務資料分散多個系統中
在複雜的融合分析場景下，資料分析難以將儲存在本地Excel檔案中的資料匯入系統與業務庫資料進行關聯，不能及時靈活的對業務資料進行分析。
建設方案
1、統一查詢引擎
支援適配多種資料庫語法，自動轉換查詢語句，提供包括語法高亮、關鍵詞提示、格式化等功能的IDE編輯介面，讓使用者無需關心底層資料庫的語法差異，一站式完成資料連線、資料處理、資料分析等全流程功能。
2、統一身份認證管理
在使用平臺前需管理員先維護好使用者個人的賬號資訊以及相應許可權，登入統一查詢平臺後才能訪問資料庫，無法接觸到資料庫真實賬號密碼。
3、AI輔助資料查詢
可根據自然語言表達的資料查詢結果轉譯對應的SQL命令，包括SQL的生成、改寫、糾錯等，幫助查詢人員輕鬆完成複雜資料提取分析工作。
4、降低資料分析門檻
業務人員可以透過拖拽式操作進行資料提取、模型配置、過濾器配置、視覺化報表配置等功能，直觀地選擇資料來源、定義查詢條件和組合資料，無需深入瞭解底層資料庫結構和SQL語法，提升資料決策支援能力。
5、資料庫安全許可權管控
配置資料脫敏、行級許可權等安全措施，根據不同角色和職責設定許可權，保證業務庫中資料的隱私和安全，並對許可權變動、危險SQL等使用者行為實時審計，以確保資料的合規使用。
建設收益
在某消費金融公司的專案落地中，使不同部門的人員能夠迅速獲取所需資訊，顯著提升了業務處理效率，滿足了客戶資料查詢、交易記錄檢索、風險資訊評估等多種場景的資料分析。同時確保了金融資訊的安全性和保密性，為後續平臺的穩健執行提供有力保障。
1、資料需求週期大幅縮短
傳統的資料需求流程需要經過多個部門審批、協調，由IT人員排期手動提取。統一查詢平臺藉助SQL/自助取數，允許資料分析、業務人員在統一的平臺上按需自助提取，大大減少了溝通、開發、測試成本，使得資料獲取週期從原來的3-5天縮短到分鐘級出數。
2、資料驅動決策門檻顯著降低
藉助自助取數及SQL收藏等功能，使得一線業務及運營管理人員也能便捷訪問多源異構資料資產，推動全員資料驅動決策，自平臺上線以來，業務側資料分析參與度顯著提高，登入人次、停留時長、SQL收藏量、查詢任務數、資料匯出次數等指標均遠超專案規劃預期。
3、資料風險操作統一溯源
藉助平臺的審計日誌功能，全面覆蓋各類對接資料庫的資料操作行為，實現操作行為完整記錄率的100%觸達，不僅增強了資料安全管理及合規性，還將資料風險操作的定位與排查時間從數小時大幅縮短至數分鐘內，審計響應效率提升達80%以上。
4、資料訪問許可權可視可管
統一查詢平臺運用行/列級許可權控制及資料脫敏技術，實現資料訪問許可權的視覺化與精細化管理，提高了資料安全管控能力。資料表許可權配置有效覆蓋率提升至95%以上，有效阻止非法資料訪問；實現對客戶資訊、渠道資料等的自動識別與脫敏處理，有力保障了企業在資料共享與應用中的安全性與合規性。
《行業指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm
《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm
《資料治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm
想了解或諮詢更多有關大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky