在當今這個資料驅動的時代，各行各業都正經歷著前所未有的變革。伴隨技術的飛速發展，資料倉儲作為企業資料管理與分析的核心，如何更好地發揮作用，助力企業保持業務的敏捷性與成本效益，成為大家關心的焦點問題。本文將透過具體案例分析，展現基於離線開發的資料倉儲轉型落地中的關鍵步驟與實施策略。
一、業務增長迅速，原數倉架構難以為繼
客戶A是一家中美合資的泛金融行業公司，成立時間短但業務增長十分迅速。數倉團隊規模不到10個人，勉強能支撐起業務需求，在面對越來越高要求的業務資料供給及公司內部降本增效的趨勢下，團隊也在不斷探索新型的數倉平臺模式，目前數倉架構如下圖：
客戶底座叢集採購了CDP7.1.6、資料整合採用Sqoop，將業務庫的資料同步至HDFS後，透過Hive SQL做資料開發。另有少量的Shell、Python任務，使用Oozie進行離線任務排程。
二、當前資料平臺問題日漸凸顯
隨著業務體量的逐漸增長，當前資料平臺架構的問題也逐漸凸顯：
1. 運維成本高：Sqoop和Oozie都是開源工具，整合性一般，元件的升級和異常排查需要耗費較多人力成本。
** 2. 平臺上手門檻高**：除資料開發外，很多業務方也希望直接在平臺進行臨時取數，但因上手門檻高，業務方一直沒用起來，導致大量簡單的需求仍堆積到資料開發側，並且得不到快速響應。
3. 現有開發模式無法滿足資料開發合規要求：目前資料開發環境僅有一套生產環境，對任務和資料做的任何變更都直接影響線上業務，操作高風險，多次因人為失誤導致線上故障。
4. 任務依賴配置繁瑣且易出錯：目前幾乎所有的任務每個工作日4批次排程，任務與任務之間的依賴透過HDFS訊號檔案通知實現，經常出現訊號檔案缺失或產出超時導致的下游任務失敗。
5. 開發人員水平不一，程式碼質量難監控：運維人員人工巡檢時經常看到部分任務執行時間長佔用大量資源，大多數情況下是SQL程式碼質量問題導致，然而目前無法在事前進行規範約束和監控。另外因資料整合小時任務多，大部分資料開發沒有調參意識，造成小檔案大量堆積。
6.資料產出延遲問題排查困難：每天早上9點的資料產出經常出現延遲，因依賴鏈路長，難以排查資料延遲源頭，下游反饋多次影響業務。
7. 介面沒有統一管控：API重複開發、越權呼叫問題頻發，管理不到位且管理困難。
三、重塑資料開發平臺，提升效率和滿意率
袋鼠雲數棧團隊針對客戶A的以上問題設計了新的產品架構，幫助客戶重新搭建資料開發平臺，有效解決使用痛點，提升資料開發人員的工作效率和業務人員滿意率。
針對客戶上述問題，數棧結合已有功能給出的解題如下：
1. 運維成本大大降低
數棧的資料整合、開發與排程均為自研，所有模組天然整合，且有專門的運維與技術支援團隊服務，客戶的運維成本幾乎降到0。
2. 平臺上手門檻降低，開發模式滿足資料開發合規要求
用數棧搭建的開發平臺設計了5套環境（統一開啟叢集級Kerberos認證），平臺登入對接客戶的LDAP賬號單點登陸，讓資料開發和業務方都可直接使用。
雖然相比原始的開發平臺，數棧在操作門檻和體驗上均有了質的提升，但為了讓更多業務方直接參與到資料開發過程中來，我們把數棧單獨劃分了一套UDS環境，實現讓業務方在業務系統中直接寫SQL，然後業務系統透過呼叫SDK把SQL提交到數棧的UDS環境上執行並返回結果，由CDP自帶的Ranger對任務提交的LDAP使用者進行資料許可權管控及校驗。在Kerberos開啟的情況下LDAP身份認證會弱化，因此數棧開發了租戶級Hadoop代理的功能，透過代理能定位到原始提交LDAP賬號，實現使用者認證還原。
針對資料開發使用者，開發環境分為了SIT、UAT、pre-PROD、PROD 4套環境，其中pre-PROD、PROD環境與SIT、UAT網路隔離以保證生產資料的安全。資料開發在SIT環境進行離線任務開發，自測透過後將任務一鍵釋出至UAT環境由測試人員做測試資料驗證，透過後由運維將任務及相關內容打包併發起釋出申請流程，經管理員審批透過後自動由jenkins投產至預發環境pre-PROD進行生產資料驗證，等到生產環境更新視窗期再由管理員釋出至生產環境，因生產環境嚴格不允許有個人使用者操作，為了保障任務釋出後可正常執行，在釋出至生產環境時會自動將任務和責任人統一替換為系統使用者。
3. 任務依賴配置簡化
使用數棧進行任務依賴配置時無須關心訊號檔案的建立和狀態，每個任務僅需配置其直接上游，當上遊任務延遲或失敗時下游會在有效期範圍內進行等待，上游修復後下遊即能自動執行。數棧的排程週期可透過Cron表示式或者上傳自定義排程日曆的方式配置，針對客戶“工作日每天6點、8點、16點、18點”或者更不規律的週期排程場景，可用一個excel檔案一次性上傳一年的排程日曆在批次任務中使用。
4. 上線程式碼檢查功能，提升程式碼質量
針對開發人員程式碼規範性意識不統一問題，資料資產模組上線了程式碼檢查功能，平臺內建了一些程式碼檢查規則例如禁止ddl操作、禁用Select * 等（此外也可按企業內部個性化的程式碼要求開發自定義檢查規則），在離線專案中可由管理員選擇目標任務開啟程式碼檢查，開啟後，資料開發在進行任務執行或提交前將由平臺執行程式碼掃描，若掃描結果觸發了程式碼檢查規則中的強規則/弱規則，則分別給出阻止提交執行/提示的處理；
客戶目前的Hive SQL任務較多，在程式碼檢查規則監控的基礎上我們增加了Hive SQL任務執行資源監控的功能，可在任務執行過程中檢視詳情監控cpu和memory使用情況，管理員也可在監控告警中配置資源使用上限告警，當任務使用資源過大時及時通知相關人員處理。
針對小檔案問題，數棧的運維管家EasyManager可開啟HDFS檔案數量監控，另外資料資產支援小檔案治理功能，可選擇小檔案突出的schema進行週期或臨時檢查和治理（即小檔案合併），雙重保障避免因小檔案問題影響叢集效能。
5. 多批次監控告警，讓問題排查更簡單
資料產出延遲告警問題可以透過基線告警解決，但客戶大部分是一天4批次的小時任務，在單批次天任務基線監控的基礎上我們新增了多批次監控的功能，對於納入同一多批次監控的任務每天生成多個基線例項，實現一條基線一次配置後每個批次分別監控分別告警的效果。
6. API統一開發和管理
透過數棧的資料服務進行API的統一開發和管理，可實現跨專案的API市場統一檢視和呼叫許可權申請，減少重複開發，使用者在呼叫API時可按Token及AK/SK多種認證方式進行許可權校驗，呼叫明細也會在平臺內完整記錄，充分保障呼叫安全；
以上數棧給出的解決方案與使用者體驗為後續客戶的資料平臺深度建設打下了良好的基礎，得到了客戶的好評，未來袋鼠雲將繼續全鏈路打磨產品，主動為客戶提供更大的價值。
《行業指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm
《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm
《資料治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm
想了解或諮詢更多有關大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky