資料中臺元年，企業數字化轉型面臨的三大挑戰

隨著企業資訊化程度越來越高，企業掌握的資料量從原來的TB級發展到PB級，再到EB級甚至往ZB級別發展。資料形式也在從原來的結構化資料為主轉變為以日誌、影片、圖片、語音等非結構化資料為主。

然而，資料儲存和計算、資料組織的執行都是有成本的。當資料消耗成本較小時，企業透過設立獨立預算的大資料專案即可應對。但是隨著越來越多的資料產生且被應用，資料成本急劇增加，發展資料業務就必須被提升到企業數字化轉型的高度，之前的應對策略便不足以應對。毋庸置疑，接下來，資料部門將作為一個業務部門長期存在，這就需要資料部門需要有儘量清晰的業務邊界，有可控的投入產出。

2013年，當資料應用不再以BI（看資料）為主，而是為核心業務（資料支撐廣告投放更精準）服務時，儲存最佳化和計算最佳化，以及整體有序的大資料業務規劃便成為了當務之急。

過去三年，在幫助企業構建資料中臺的實踐中，我們提煉了企業數字化轉型最主要的三大挑戰（業務挑戰、技術挑戰、組織挑戰），或者說企業必然會面臨的三大困境，看看資料中臺如何為企業發揮價值。

業務挑戰：如何以大資料賦能，反哺業務精耕？

越是成功的企業，業務發展的痛點越難以單點解決，需要整體思考、科學決策、集體行動，在業務的創新中解決這些痛點。

比如，如何做好會員精細化運營？如何為門店挑選合適的商品且控制好庫存？如何動態打折以至不損傷毛利等等，是擺在企業前面的一個個難題，直接影響到企業的規模擴充套件或者利潤提升，也是企業迫切需要解決的問題。

這就需要構建資料中臺，透過大資料賦能業務。

相比傳統資料業務，大資料業務的優勢在於，透過整體規劃智慧化的資料應用，來推動業務創新。這就是企業數字化轉型的業務內涵。這些資料智慧應用需要將業務經驗和解決方法論、全域的資料模型，與演算法模型相結合，我們稱之為“業務智慧模型”，它的價值在於“降本增效”。

在過去三年的資料中臺實踐中，我們發現這些業務智慧模型遍佈在整個零售產業上下游。比如透過全方位的資料反饋並指導買手做好選品；又如透過商品的聚類，發現某類特徵的商品，可以最佳化打折速度和幅度，以此提高整體的折扣率從而增加毛利等。再比如，透過門店和商品資料，透過最優演算法，解決“什麼樣的店鋪型別應該鋪什麼商品”，以提升門店的顧客進店轉化率，從而提升效益。

業務智慧模型需要資料和業務系統深度結合，在運營工作中直接產生效果，讓業務能夠自動化、高效地運轉起來。

技術挑戰：如何高效的資料治理，遠離資料“黑洞“？

要做好有價值的業務智慧模型，離不開高質量、高可用的、全域的資料中臺，資料治理就顯得非常重要。“資料治理”是企業數字化轉型中典型的大資料技術問題。

資料治理，解決的是“業務越來越複雜而資料現狀的髒亂差”帶來的挑戰。如何合理規劃資料結構？如何規範定義資料？如何有效管理資料資產？如何安全分發使用資料？這都需要一套完善的資料治理體系，驅動企業資料化運營轉型。

資料治理是基礎，也制約了企業的資料智慧化方向的發展，難以做到資料創新。從理念上來看，“治”不應只在事後，更應在事前，“理”考驗的是業務與技術能力的結合。從實際內容上來看，資料治理是一套方法體系+工具集，旨在幫助企業合理的架構資料、規範的定義與加工資料、清晰的管理資料、安全的應用資料，促使資料從成本中心變成價值中心，驅動企業數字化轉型。

我們總結了“資料治理的七個要素”如下：

1、資料的標準定義：資料維度及指標需要清晰的、統一的、標準的定義，如“最近一天門店線上上渠道的下單金額”。

2、資料模型的標準設計：按業務領域拆解業務過程，根據業務過程設計資料模型，好的模型標準是高內聚低耦合，能支撐未來擴充套件。

3、資料的規範開發與測試：在一定的編碼規則下開發，確保程式碼質量的穩定性。

4、後設資料的合理管理：資料的儲存是需要成本的，需要合理的生命週期管理。

5、資料質量的保障：資料的可用性、可信度，均需資料質量保障，資料質量從上游採集、中間的資料加工，下游的資料服務都需要一套質量檢測工具來保障準確性、完整性。

6、資料的安全管控：資料是企業的核心資產，資料安全上升為企業安全。資料安全包含資料的分級、敏感資料脫敏、分行列控制、高危訪問實時告警、事後的安全審計等。

7、資料的合規使用：企業成立資料安全委員會，為資料的合規使用制定規範，必須在合規範圍內安全使用資料。

組織挑戰：如何深挖資料紅利，成為業務創新“能手“？

從解決業務挑戰和技術挑戰出發，企業必須把數字化轉型定義為戰略問題，從而推動“資料中臺”的落地，這也給企業帶來了組織上的挑戰。

一般來講，傳統的數倉解決方式有兩大問題：一方面從業務系統直接計算資料，非解耦架構對業務系統影響極大。一方面基於DB構建的資料倉儲，計算及查詢效率難以滿足業務資料膨脹的大趨勢要求。解決這些問題，已經不是藏在“IT部門”的資料小分隊這一組織形式所能夠解決的。

2018年7月，阿里雲總結了過去的成功經驗，在業界大力推出“資料中臺”解決方案，很好地解決了這些問題。奇點雲提出的資料中臺架構與設計，其出發點是支撐複雜的、多系統的、數量巨大的、多應用場景的業務形態。在組織層面理順以下部門或團隊關係，來解決企業在組織落地戰略上的困惑：

1.與傳統IT業務之間的關係：業務和計算分離，業務和資料分離

·大資料業務應與業務系統解耦，採用T+1離線計算方法產出結果資料，不直接在業務系統上進行資料計算，實現了業務和計算的分離、業務和資料的分離。

·大資料部門的工作起點是滿足多種計算場景的需求。支援大資料計算，結合了多種計算引擎，針對不同的場景使用不同的計算引擎，如離線計算引擎、實時計算引擎、多維分析引擎、即席查詢引擎、實時搜尋引擎。

2.與業務部門的關係：站在企業視角打通資料，支撐業務部門用資料

·支援各種異構資料來源打通，提供了一套基於reader和writer的抽象化資料抽取外掛，除了提供系統自帶的外掛外，還支援自定義實現reader和writer外掛，透過公共的管道，實現結構化和非結構化資料的互相傳輸，統一技術框架。

·支援業務部門的高併發多場景的實時查詢，資料中臺整合了基於分散式的KV查詢框架，可以支援海量級別的查詢請求，並且響應時間可以控制在毫秒級別。

·支援多場景的資料服務，靈活快速支撐業務需求，嚮導和自定義雙模式快速生成API，實時監控API呼叫情況。

·面向業務部門，為業務部門的資料分析、開發提供培訓和技術支援。

3.與合作伙伴的關係：找到資料部門的核心能力

·應該深入業務，影響業務效率。資料模型融合離散的業務資料，可藉助資料中臺快速構建資料模型，建立全方位的資料視角，消滅資訊孤島和資料差異，靈活支撐業務的變動。

·不應該在大資料平臺建設、在很難培養的團隊能力上下功夫（比如演算法能力），儘量借用外腦。

某服飾K案例：

客戶背景：想要透過資料智慧化應用，提升管理效率，從集團CEO到各部門經理到一線店長，經營效率需提升，運營過程需要資料支撐，一方面是資料產出速度，一方面是緩衝的精準度。以及最佳化當前的人員排班，避免客流不大時過於飽和人效較低，高峰期時人員不夠導致訂單損失。

資料中臺解決方案：構建集團/銷售總經理/門店店長三層駕駛艙，拉通資料中臺的建設，順勢統一指標標準、資料採集標準、建資料模型標準，驅動企業的資料上一個臺階，為後續的創新打下基礎。

統一管理：企業管理行為落地KPI體系，KPI資料反映管理與經營的效率；

統一視角：一站式資料服務，從集團總裁，到分公司總經理，甚至到門店店長，都在一個系統中逐層從上到下穿透，直至發現問題。

統一口徑：所有指標及維度必須標準化，包括命名規範、口徑統一、資料模型統一，從而為指標解讀有據可依。

智慧排班：透過計算每人的績效，結合到門店計算人效，聚類區分幾類人效人群，得出中等人效即可服務號一般門店。同時預測門店未來的訂單量，擬閤中等人效水平，計算未來一週內門店各時間段需要的人力情況。結合門店和人員的區域化情況，從而實現了智慧排班系統。

實施效果：上線後第一個月開始，集團高管月會，開始使用管理駕駛艙梳理盤點診斷業務；資料中臺支撐的倉庫單據從原來的10分鐘降低到5秒，緩衝補貨時間從30分鐘降低到5分鐘以下；上線3個月，離線的Excel模版報表，從500個降低到250以下；基於資料中臺創新了智慧排班系統、店鋪前臺商品推薦系統；技術人員從傳統的Oracle儲存過程過度到大資料平臺，成長了資料模型研發與演算法能力。智慧排班上線，整體人員下降了10%（自然淘汰人效最低的人員），從而為公司每年帶來大幾千萬的利潤。

某母嬰M案例：

客戶背景：在企業運營效率低下，無標準資料體系及系統支援的情況下，企業所運營的APP千人一面，所有運營活動需要手工調整，幾乎沒有資料化運營。基本靠經驗，影響使用者體驗，老客戶復購率低。

資料中臺解決方案：該專案分兩期實施，一期規範採集，打通日誌、交易、售後等資料，構建統一資料中臺，建立標準指標體系，構建業務分析BI系統及一系列運營報表，支撐運營日常資料工作效率提升，快速洞察業務，驅動高效運營決策；二期構建會員、商品、店鋪標籤體系，增加實時日誌採集，在購物主鏈路四個環節（首頁-搜尋-購物車-支付）做千人千面推薦引擎，提升使用者發現感興趣和可能需要的商品，提升新客戶的轉化率與老會員的復購率。

實施效果：上線了平臺運營中心，支撐了所有運營日常資料工作；購物主鏈路個性化推薦，提升了新客戶50%的轉化率，提升了老客戶80%的復購率；

我們認為，在AI驅動下的資料中臺大有可為。所有的資料一定是基於資料中臺形成一個業務閉環，把資料賦能給新零售前端的應用，可以幫企業真真正正實現自身的數字化轉型。