2020已來,看完這篇幫你詳細瞭解資料策略

DataPipeline發表於2020-02-13

隨著企業與數字科技融合程度的逐漸加深,越來越多的企業在數字化轉型之路上感到前所未有的焦慮。他們相信組織已經擁有了具有經濟價值的資料資源,期望它能像其他資產那樣為組織帶來更多的未來利益。


諸如員工資產,與資料一樣,員工也是企業資產的重要組成部分。只不過相較於資料資產管理在國內企業中仍然處於早期階段。大部分企業在員工的選育用留上已經形成了一套標準化流程和相對成熟的管理策略。基於此,我們是不是應該考慮像管理員工資產那樣,以相同的方式處理資料呢?這時,資料策略顯得尤為重要。

資料策略的定義


資料策略是用於獲取、整合、儲存、保護、管理、監控、分析、使用和運算元據的方法。現代而全面的資料策略所涉及的不僅僅是資料,它是定義人員、流程和技術的路線圖,闡明瞭資料將如何實現和激發業務策略。



具體包括:闡明目標願景和實現該願景的實用指南,明確闡述成功標準和關鍵績效指標,這些指標可用於評估和合理化所有後續資料計劃。而不包含針對特定技術問題的詳細解決方案。隨著企業目標的發展,資料戰略並非一成不變,需要緊跟企業的技術創新和運作方式。


為什麼企業要建立資料策略


鑑於前面闡述的背景,資料策略與員工的選育用留策略一樣,都是為了更科學地管理企業資產。如果沒有策略,組織將被動應對各業務部門提出的資料要求。 從前臺業務、市場,到中後臺的財務、供應鏈、人力資源,都會向一個部門提需求,可能涉及到某種資料分析、主資料管理、商業智慧、資料治理、資料質量計劃等。


導致資料部門每天對外要理解業務資料需求的內涵,竭力排期滿足,對內要運維所使用的陳舊工具和系統,保證其正常執行,每天不堪重負。一旦出現資料質量、後設資料等問題,就會被挑戰得體無完膚,甚至會升級到能力和信任的高度。更為關鍵的是,如果無法及時正確地支援這些計劃,很容易導致企業做出錯誤的商業決策。


誰來制定、推動資料策略


請不要將企業範圍的資料策略僅僅交給資訊長(CIO),為什麼?資料不僅僅是IT資產,而是一種企業資產,資料策略在一定程度上是一種企業戰略。

DataPipeline認為,CEO和董事會需要深刻理解快速將資料戰略落地的意義和風險,並著手構建下述組織架構, 鼓勵相應的文化和創新。



CEO相較於其他企業角色,既要關注生存,也要關注發展,而資料很難做到立竿見影,所以平衡短期收益與長期發展考驗的是CEO的智慧。 如果CEO在公佈決策時都是引用資料,並對企業內部的資料創新非常熟悉,那麼資料策略已經成功了一半,否則其他人的努力有極大機率會付諸東流。


CDO由CEO領導,直接負責公司組織內部資料發展策略落地的詳細路徑和整體節奏,根據業務模式確定合規要求、需求滿足的價值、速度、流程、以及自動化、智慧化技術路線的選擇。這裡一定要注意滿足業務需求的速度和質量,由於資料需求的挑戰較大,太多CDO無法在一定時間,一定業務範圍內快速達成CEO、董事會、業務部門希望看到的效果。沒有一個好的起點,首席資料官的工作就會喪失前進的節奏,陷於和業務部門就資料的上收、使用等流程長期討論和拉鋸的泥潭中,造成惡性迴圈,使這個崗位變成高危職位。據DataPipeline觀察,很多企業開始設立CDO的崗位,並嘗試透過資料帶來業務增長,客觀來說,這和其他高管職位一樣,是一個機遇與挑戰並存的情況。

 

資料合規與標準委員會由CEO領導,並由公司的業務線領導、法務領導、首席資料官組成,詳細制定出資料使用的邊界、自由度和資料質量標準。負責隨著業務的發展保持最高頻率(一般是一週一次)的討論更新,同時使用自動化的工具將規則同步至資料系統中。如果業務的變化無法從合規層面保持一致,就會逐步成為限制資料使用的瓶頸。這裡的挑戰在於不讓規則討論過於大而全,要儘快在一定範圍內達成共識,逐步推動部分範圍內規則地快速落地,否則會使願景的落地失去前進節奏。


資料部門由首席資料官領導,包括資料工程師,分析師和資料科學家。資料工程師負責使用符合時代挑戰的自研或者商業的工具,確保業務使用者可以自助式地完成資料全生命週期的使用和管理。同時負責企業內外的資料來源能自動高效地整合融合,快速滿足業務取數、用數需求,另外透過保證後設資料、主資料、資料血緣與業務發展時刻保持一致,讓業務準確無誤地理解資料語義。


他們不僅要確保大資料平臺的負載均衡、穩定性,可以隨時響應業務對資料模型的計算和查詢需求。還要遵循標準委員制定的標準,透過手工制定規則和各種演算法確保資料質量並儘可能做到前置預警。 最後,也是非常重要的一點,在應對業務部門的需求時,需要有一套“定價體系”。因為資料支援業務的發展探索是存在成本的,但目前業務部門對此並無感知,更核算不出ROI。在成本面前,很容易篩選出真需求,排出優先順序,並且在後續服務中理清ROI。這條路舉步維艱,但又勢在必行,否則資料部門的業務價值困境始終會存在。
 

有時資料部門在沒有設立首席資料官的情況下也由CIO領導, 這時有一個職責劃分藝術,每個企業的情況都不同,但CDO的重點職責是在合適的企業內帶領資料組用資料快速產生業務價值。CIO的職責範圍更廣,但專精的領域不在該點上。



業務部門中應當擁有能深入理解業務的分析師和科學家,自助使用資料部門提供的工具,這時使用門檻會不斷降低,取數用數的難度和週期也會大幅下降,技能的要求一般是SQL級別。因此業務部門需要更加理解資料,並構思資料可以應用到自身業務發展的角度,再透過管理資料使用的全生命週期,在實踐中不斷總結。挑戰在於如何能快速用資料高效地帶來業務價值,透過解耦來擺脫發展受到資料部門效率制約的現狀。


資料策略中的資料融合策略


1. 為什麼要制定資料融合策略

企業希望在未來以資料支援資料應用和資料業務,但前提是能夠隨時隨心快速提取使用資料。在此過程中存在一些壁壘,諸如技術、組織、文化等。如果沒有提前思考這些難點,在後續朝目標努力時,會遇到很大的阻力,甚至有可能讓專案流產。


2. 制定資料融合策略時需要思考回答哪些問題

在搞清楚為什麼制定資料融合策略之後,接下來我們將從以下幾方面展開:

Who: 組織中,誰將參與資料融合?是否有具備程式設計知識的IT專家解決所有資料融合任務?還是需要使業務部門的員工能夠自己使用資料融合工具?一旦實施,潛在的技術風險和實施週期是什麼?這些問題將對您選擇購買的資料融合解決方案的型別產生重大影響。

What: 哪些資料可能需要整合?在DataPipeline看來,我們反對大而全,支援企業按需制定非常靈活的資料融合策略。企業需要反向從業務角度去思考,從全域性角度梳理清楚在未來一到三年或更長期的時間內,有哪些業務目標希望透過資料去驅動,這些資料包括哪些資料,這些資料都存在於哪裡,避免重複建設。

如果只存在幾個資料孤島,對企業來說,最具成本效益的策略可能是選擇可以滿足特定需求的基本資料交換或ETL工具。但是,如果需要整合許多不同的孤島(或者不同型別的資料),那麼最好使用功能更為全面的資料融合平臺。

When: 何時進行資料融合?企業 一旦制定了資料策略,接下來資料融合策略將會被擺在一個非常高的位置上。因為,如果不做資料融合,其餘事情將會舉步維艱,但從時間上要做通盤考慮,進行一個頂層設計,然後再按階段逐步進行。

如果要建立資料倉儲,則資料融合可能會在分析之前進行。 如果要建立基於 Hadoop 或類似技術的資料湖,以原始未更改的形式儲存資料,則將在執行分析工作負載之前進行一些資料融合。 目前許多企業都有資料倉儲和 資料湖, 選擇何種體系結構將影響資料融合所需的技術型別。


Where: 資料融合將在哪裡進行? 雲和本地並不是一個矛盾,因為現在有許多公司既有本地的 IDC(資料中心) ,又有云上,甚至是多雲的架構。企業需要選擇一種能夠支援本地部署、雲上部署、 Docker ,在容器大的平臺上多管齊下的資料融合工具。另外,該工具的現代化和智慧化程度還應該適應企業當中非常複雜多變的環境。

How: 如何進行資料融合? 這個問題最為複雜,因為它涉及到工具、文化和流程。關於員工,作為 企業和組織的戰略性資源,我們並非要將 每個人都訓練成高水平、有經驗、訓練有素的資料工程師。而應注重 培養其資料意識,知道如何使用資料,如何 去發揮資料的價值。

同時 企業 應該 採取 靈活易用 穩定 資料融合 工具。面對再厲害的人才,如果沒有匹配相應的工具和方法論,在工作中也很難遊刃有餘。 未來企業需要多思考何種工具,何種平臺,何種工作方式能讓組織儘快釋放資料效能。

3. 選擇資料融合平臺需要做哪些考量


公司需要結合自身的發展階段、資訊化建設水平以及人員的素養等情況,來選擇自己的解決方案。


如果研發人員較多,可選擇的範圍相對會比較廣泛。面對開源和商業的資料融合工具,您需要根據企業的需求和對生產的要求進行選擇。 開源是很好的方式,可以先從這裡嘗試做起,但是對於業務的連續性要求和有些生產級別的要求,可能就需要商業工具。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31556703/viewspace-2675372/,如需轉載,請註明出處,否則將追究法律責任。

相關文章