Gartner:資料中臺在中國已經逼近炒作的頂峰
DinK發表於2020-06-03
資料中臺是中國本土誕生的一個名詞,很多企業在“什麼是資料中臺”和“我要上XX中臺”徘徊。其炒作程度跟當年的“大資料” 一詞有的一拼,如果用Gartner的炒作週期圖來看,資料中臺目前已經逼近炒作的頂峰。
與其不斷地討論什麼是資料中臺,企業更應該瞭解建設資料中臺的目的是讓企業高效的資料驅動,減少重複的架構建設。如果要用一張圖來描繪Gartner如何看待資料中臺的建設方向,可以如下圖所示。
資料中臺的建設方向應該處於企業數字化平臺的核心,即Gartner定義的資料和分析平臺(紅色虛線部分),幫助企業的數字化平臺(客戶體驗平臺,生態系統平臺,物聯網平臺和內部資訊系統)的業務使用者做出更好的決策,並在各個數字化平臺的合作孵化下形成可複用的資料分析能力。資料分析能力應該在業務端無處不在且高度自助,最終助力數字化平臺實現Gartner定義的封裝的業務能力 (Packaged Business Capability)。
以下是Gartner對於想建設資料中臺企業的建議。
上文提到的這麼一個“大而全“的方向聽起來是挺美好,但很多企業在建設初期是沒有考慮過各個數字平臺對資料資產的可複用性或自服務性的(這也是很多企業為了建立資料中臺的初衷)。原因很簡單,一次性完成所有平臺的數字化本來就是不現實的,很多公司都是分階段進行的,特別是傳統企業,很多業務乾脆還沒有完成數字化,別說建設資料中臺了。阿里,騰訊這樣的數字化原生的企業建設中臺是十分有優勢的,或者說資料中臺是這些企業在業務指數級增長的同時自然生長出來的產物。
另外資料作為數字業務的核心資產的價值被廣泛接受,企業最直 接的反應就是試圖在建立數字化平臺時將資料收集(Collect)起來,彷彿這才是實現業務價值的關鍵。例如,過去非常流行的資料湖,會將收集資料作為核心能力。但收集資料不一定能帶來商業價值,企業也沒有可能一口氣收集好全部資料。
以物聯網平臺為例,資料分佈在網路上、邊緣裝置上、閘道器上、雲端和傳統系統中。例如,需要自主行為的 “物”(如聯網汽車或風力發電機)必須有板載或閘道器上的資料和處理,以便對變化的情況做出即時反應。面向消費者的IoT解決方案(如用於健身追蹤的可穿戴裝置)通常將資料儲存在雲端進行分析。而且幾乎所有的IoT解決方案還必須與傳統業務應用共享和整合資料,以執行客戶服務和長時間的效能分析。
另外,對實時(或 “近乎實時”)整合的需求不斷增加引入了一個交付時間的要求,這讓最快的資料收集策略也無法滿足。在採取響應之前,操作流程在 “邊緣 “對資料採取行動與事先將所有的資料收集到集中儲存的位置的要求是不相容的。試圖收集所有這些物聯網資料再後續處理和使用,既不實際也不可行。
同時,保護個人身份資訊的隱私法規也將阻礙資料的整體收集。因此,一些資料用例將需要連線(Connect)到資料,而不僅僅是收集資料。
企業建設資料中臺絕不是把所有的資料全部收集在一個地方了再開始應用資料,隨著資料的不斷湧入,用一種連線(Connect)的方式在資料原本存放的介質中重複利用資料才是資料中臺也該有的手段。收集資料和連線資料的平衡是現代化資料管理的的必要條件。資料虛擬化能力會是企業需要在保留已有資料庫,資料湖投入但又想建立資料中臺必須考慮的元素。重複或冗餘的資料始終會存在,企業要建立的不是“single source of truth”而是“single source of trust”。
企業可以進一步參考Gartner提出的新一代資料管理設計原則Data Fabric去用於實現可複用和增強的資料整合服務、資料管道和語義層,以實現靈活的資料交付。
企業在漸進式數字化轉型時面臨的一個共同問題,他們各自為政,分別構建類似的解決方案,例如針對不同業務目的的資料分析模型,而這些模型具有共同的元素。在最好的情況下,這樣做會造成重複,但更多的情況下,這也會增加複雜性,因為這樣做會產生不同的點式解決方案,即使在單個業務內也無法溝通,更不用說在全公司的業務價值鏈上了。從這個角度來看,Gartner更推薦企業把資料中臺定性成一個組織戰略,把資料分析團隊作為數字化平臺建設必備的一個元素。Gartner也在2019年的《Gartner 數字化業務團隊問卷》中發現,資料分析/商業智慧是融合團隊(Fusion team)中除IT以外最常見的功能。
一個好的資料分析團隊是由集中的團隊和各條業務線上的分散團隊組成的。很多企業過分的關注於技術架構的建設而不是業務人員基於資料的合作,在一味追求新的資料分析技術棧的過程,忽略了對於組織戰略的調整以解決實際業務使用者的問題,把原來遺留的問題從資料倉儲移到了資料湖,再移到現在的津津樂道資料中臺,而不是解決它們,一個現代化的資料分析團隊應該是資料分析能力的賦能者,從管控資料能力到促進基於資料的合作。
企業在不斷建設自己數字化平臺時,早已投入了各種資料分析資產,這個時候為了資料中臺這個新詞而放棄已經建立的數倉,資料湖,資料整合平臺是沒有必要的,企業需要做的是把資料中臺作為一個組織戰略去聯合各個部門共同建設可複用且自服務性高的資料分析能力,通過業務流程到數字化平臺,自上而下(紅線)的去整理已有的資料分析能力。
大多數企業其實都已在做自下而上(藍線)的資料分析平臺,這本沒有錯,尤其是企業集中式的IT團隊已部署數倉,設計了ETL流程和報表系統。但是作為前線的業務獲得這些能力是被動的,久而久之,並不會存在業務主動要求提升自己的資料分析能力,畢竟業務作為企業內部的甲方,只提需求還是很爽的。
然而為了讓企業變得更資料驅動,或者說讓企業建的的資料中臺能被真正用起來,逼著業務從業務場景開始做資料分析是一條必經之路,尤其在業務端才是能提出業務問題發起分析時刻(Analytics Moments)的一群人。
下圖就是一個典型的電商的業務場景,從業務端定義並梳理分析時刻,從技術棧尋找相對應的資料分析能力的過程。
分析時刻是Gartner定義的一種資料分析流程,通過對資料進行視覺化、探索和應用演算法,支援業務成果的交付,從而做出更好或更快的決策,實現業務流程的自動化。在這個例子中,資料分析能力(最右側)是被逐步建立起來的,他們的背後有大量的廠商可以被選擇,這些能力可以多大程度的被其他分析時刻複用,多低的門檻可以被業務應用,直接決定了資料中臺的成功。其中廠商的能力可以通過Gartner每年資料分析領域的九張《魔力象限(Magic Quadrant)》及配套的《關鍵能力(Critical Capability)》報告進行評估。
分析時刻的梳理往往是一個資料中臺建設最為棘手的部分,他一方面依賴供應商是否有業務諮詢的能力將業務場景梳理清楚,另外一方面也依賴企業自身的資料素養去不斷優化對於資料分析能力的要求。企業可以藉著建立資料中臺這個機會,分類整理已有的資料分析能力或試行新的資料分析能力,Gartner每年出的《Gartner Analytics Atlas》報告就可以像能力字典一樣去幫助企業分類與挑選。
通過剛才的例子我們也可以看見,電商場景的業務邏輯是很成熟且明確的,其背後資料分析能力也能很快的被重複應用上,然而可複用的資料分析能力是個非常主觀的概念,不一樣資料素養的團隊對於資料分析能力的要求是非常不同的,越簡單易用,也容易被別的業務場景給重複利用,不一樣的地方是資料的情景和使用者情景。如果資料中臺的輸出能力僅僅只是Data as a Service,即API的形式是遠遠無法讓業務可以直接使用的,從而降低了企業對資料分析應用的廣度。企業應該通過整合複用以豐富資料分析能力的輸出,隨著新技術的引入和融合團隊的建立,這無疑是個創新的過程。
例如,由機器學習為基礎的增強型資料分析和管理工具,就可以大大降低使用者的使用門檻(自然語言驅動的分析)並減少資料管理的工作量(主動利用後設資料學習獲得使用者行為)。企業應該瞭解到利用增強型能力是為減少資料分析手動的部分,從而給使用者給多時間去構思業務如何使用資料。
圖譜分析(Graph)的引入也會更進一步幫助企業去探知利用率嚴重不足的資料,圖譜可以發現企業資料與資料之間以及不同部門使用資料中被忽視或難以察覺的聯絡,從而讓需要可複用的能力有據可尋,圖譜已經變成了很多資料分析產品的基礎性技術。企業建立資料中臺,缺少的可能既不是資料的量(Quantity)也不是資料的質(Quality),而是資料之間的聯絡。
如果企業建的資料中臺需要在技術的角度進一步讓企業減少重複開發的工作量但是提高資料分析的利用率,這些技術都是值得進一步去研究的。增強型資料管理和圖譜技術也是今年Gartner的十大資料分析技術之一。