數字化轉型趨勢下的資料中臺建設之道

StartDT發表於2019-12-17

數字化轉型趨勢下的資料中臺建設之道


近日,奇點雲副總裁何夕應創業邦BangTalk邀請,首次線上直播分享《資料中臺建設之道》,直播間人氣爆棚互動活躍。以下為演講實錄分享(文字根據現場演講錄音整理)。

數字化轉型,其實並不是個新詞。

根據IDC(網際網路資料中心)的報告,自從數字化浪潮開啟以來,企業就開始數字化程式。而據IDC預計,到2020年中國GDP的20%將來自業務數字化轉型的增加值,數字化轉型已上升到宏觀經濟層面,不僅將改變企業運營方式,還將重塑經濟面貌。

我們要如何去定義人工智慧的未來?

它影響到我們去怎麼去理解數字化轉型的本質。

過去10年中,雲端計算、大資料和人工智慧技術的發展,不斷驅動機器智慧替代體力和腦力,那些高頻重複的體力和腦力工作,越來越多地被機器智慧所取代;而腦力賴以生存的經驗公式(方法論、思維工具等),也越來越多地被演算法所代替。

數字化轉型主要面臨的都是資料問題

站在今天的角度,我們或許可以清晰地定義數字化轉型,本質上就是以算力、演算法和資料為代表的資訊科技,以數字化的方式驅動社會整體的改變和變革。 數字化轉型的未來清楚指向人工智慧的發展,從而讓人做人該做的事情,讓機器做機器該做的事情,人類和機器腦力算力協同發展。


數字化轉型趨勢下的資料中臺建設之道


傳統的資料分析其實是一種刀耕火種的狀態,手工對資料進行提取,手工清洗資料、手工的分析,以及在此基礎上生成一些視覺化圖表,在這個過程中,其實只有分析是人真正應該去做的事情。前面的資料提取、資料清洗,包括後來的資料視覺化,其實都可以透過相關的BI工具和一些視覺化工具來完成。

《富足》這本書講到, 當人類社會的生產資料從供不應求進入供過於求後,很多商業模式和商業邏輯都會發生巨大的變化。

今天我們面臨著一個非常大的變局—— 資料量的指數級增長。2015年是人類社會資料增長的一個關鍵節點,因為在2015年,其一年產生的資料量是人類過去歷史上產生的資料量的總和。換句話說,人類的資料量自此進入了指數級增長,2015年之後,資料量每年增長40%-50%。然後它會給我們帶來巨大的資料富足的挑戰。這種挑戰我們稱它為 日益增長的資料儲存費用和仍然稀缺的資料應用之間的矛盾。

這個矛盾到底會給我們公司的業務帶來哪些挑戰?需要如何解決?

作為一家已經跨越了資料指數級增長的公司,阿里巴巴的經歷或許可以給我們啟示。2007年,阿里巴巴決定未來要成為一家資料公司。2009年,阿里成立了阿里雲,正式開啟了去IOE的路程。

從2003年成立以來,淘寶收集了大量的資料,其中90%是非結構化的日誌資料,當有了資料之後,所有人都想看見資料背後的真相:使用者從哪來,他們買了什麼,為什麼購買,轉化率如何……類似這樣的分析問題,給阿里帶來巨大的資料挑戰。

2012年資料平臺部的成立,這個被稱為CDO的部門,誕生了一系列資料分析和挖掘工具,包括在雲端、資料魔方、淘寶時光機、淘寶指數、TCIF等等。特別要提一下TCIF(淘寶消費者資料工廠),由現在奇點雲的創始人行在創立,拉通了阿里巴巴所有的消費者資料,並且完成了3000+標籤體系的建設。2012年的標誌性事件,就是TCIF的儲存和計算消耗量超過了BI,以TCIF為代表的人群定向成為了計算資源的消耗大戶;另一個標誌性的指標是,阿里巴巴有50%的伺服器不再處理任何事務,而僅僅用於處理資料。

2015年也有兩個標誌性事件:一是阿里雲數加平臺的成立(行在創立),代表阿里巴巴開始把內部形成的大資料能力外化,賦能社會去建立大資料能力;二是推千人千面演算法,推薦演算法一躍成為了儲存和計算資源的頭號消耗大戶。

推薦演算法不僅僅是我們看到的淘寶介面那麼簡單,在某種程度上,推薦演算法讓阿里巴巴跨越了 「從人指揮機器到機器指揮人的奇點」。

數字化轉型核心是建立清晰有效的資料戰略

為什麼今年資料中臺特別火?

我們所有的企業在數字化轉型走到今天,會發現 業務問題背後往往可能隱藏的為數眾多的資料問題,如資料不通,資料不可用,資料變現等問題。

數字化轉型趨勢下的資料中臺建設之道


拿「資料變現」打個比方,在資料進入了乘數級增長或者指數級增長的領域會特別明顯,比如汽車因車聯網的關係,它的整個資料增長量非常快,可能每年都有幾十T的資料增長。而這些資料只是把它們存了下來,可能我有幾億行的資料,但我連一張大寬表都拉不出來,所以這個情況下它的資料是完全不可用的,所以需要解決資料變現的問題,而資料變現就是日益增長的資料儲存費用和仍然稀缺的資料應用之間的矛盾。

很多的企業其實去做了很多演算法、資料應用的嘗試,但是因為沒有解決資料採集、資料質量的問題,就會出現例如採集到的資料一半是空值,統計口徑不一致所帶來的資料總和之差,也有比如說我們的發票資料和銷售資料的總和,它可能相差5%~10%不等,然後在不在某些行業來說,這可能就幾千萬到上億的一個差距。 這些業務問題背後其實都不同程度地體現為資料問題。

資料資產如何變成業務價值?

講資料中臺的時候,我們一定會講,需要和資料中臺一起去建立整個企業的資料資產的管理體系,那麼如何去建設?這也是很多企業會碰到的問題。

資料如果僅僅是存下來,它是不能解決我們所說的主要矛盾的。 那麼資料資產要如何增值?如何變成業務價值?哪些業務是這個領域,哪些業務是我的數字化轉型過程中最核心的業務?它是有業務痛點、業務場景的,包括它可能是一些明星需求能夠帶動整個公司來認知這件事情,提升對資料的認知,這些都是在這個過程中需要去解決的。

大資料諮詢的核心是釐清差距

資料戰略不能僅僅是把它當成一個技術問題,而是要從業務、技術、組織三個維度綜合的來考量我們的整個資料的問題。那麼要如何去考量這件事情? 此前一年,為幫助企業推進數字化轉型戰略,解決數字化轉型中的問題,奇點雲推出了大資料諮詢服務,並付諸大量案例實踐。奇點雲也將這些實踐經驗總結提煉成方法論,以白皮書的形式開放給更多商業機構。

而大資料諮詢服務,它的核心的價值也就是釐清差距、明確方向。

數字化轉型趨勢下的資料中臺建設之道


我們如何去建設整個資料中臺?作為我們公司的一個基礎設施,一般把資料中臺拆成4個部分來做建設規劃。首先對於我們的資料中臺來說,他一定會需要解決的是 資料的來源問題,包括對我們的資料進行有效梳理,在此基礎上,我們有 專業的團隊來構建一站式大資料智慧服務平臺DataSimba,透過我們的資料中臺去解決整個數字資產管理問題,以及建立整個資產管理體系,整合所有的資料。我們把這個過程稱為資料的工業化生產體系,在這個基礎上,我們會仰賴一些專業的分析師團隊去own,仰賴於演算法工程師挖掘資料價值,真正去幫助我們做資料決策,然後去 產生業務價值,最終一定是實現透過資料去 建立資料決策能力,並面向市場進行一些應用的開拓,從而真正有效的使用,建立內部協同、外部協同,提升整體的經營水平。


具體如何基於明星需求去開展一些業務資料化的規劃和實施呢?從資料的維度,首先要建立ETL資料抽取清洗處理的能力,有專門團隊再進行探索性資料分析形成演算法,去賦能整個溝通決策,相當於自動化分析,在此過程中構建資料產品,在現實世界中使用,完成整個閉環動作。

下面介紹我們建立的一套資料資產管理體系的方法論,我們叫它「盤理管用」。

數字化轉型趨勢下的資料中臺建設之道

從資料用起來的角度,根據業務場景,看資料是否已被收集、治理,是否已變成資料資產價值,所以叫「盤理管用」。但從我們思考的維度則相反,我們要關注怎麼去盤、怎麼去理、怎麼去管,以及最終怎麼去用。


當我們具備了這樣的資料中臺能力,具備了這樣的資料資產管理體系,我們就會進入到如何去賦能我們的業務,然後也分享我們在實踐過程中的一些經驗。我們在跟一些企業做諮詢的時候,其實大家慢慢對演算法這件事情會產生極大的認同,因為演算法代替經驗公式在今天是一個不可阻擋的潮流。那麼對於公司來說, 未來的競爭的態勢很可能會是每個公司所擁有的演算法的數量和質量的競爭,公司就需要去沉澱自己的演算法平臺,去沉澱自己的演算法模型,包括在集團管控、研發、製造、營銷、服務、人才,包括共享服務上,都需要有自己的演算法模型,去真正的去一方面去提升人效,降低整個成本,另一方面就去沉澱自己的一些實實在在的競爭壁壘。

目前線下的傳統企業,很多時候資料問題並不僅僅是資料不通或者資料變現的問題,很多時候還是資料有無的問題。想要具備淘寶一樣的資料化運營能力,那麼它最大的資料來源會是哪裡?從科學的角度來說,線下90%其實都是檢視聲的。而檢視聲資料大家都知道,它一定是非結構化資料,那麼我們就需要去解決這些非結構化資料的採集和結構化的問題。 我們如何把「資料原油」轉化為企業所需要的燃料,助推商業引擎?

奇點雲提出了AI+DATA「雲(智慧)+端(感知)」解決方案,幫助更多企業實現數字化轉型,為他們賦能。

數字化轉型趨勢下的資料中臺建設之道

今天我們更多地還要去建立使用非結構化資料的能力,也就是奇點雲在雲端所提供的 全場景智慧化的企業轉型服務,圍繞整個資料中臺建設AI演算法,透過360度資料管家幫助企業更好地掌握企業的資料現狀,及運用大資料諮詢解決發展中的重大資料問題,幫助客戶真正實現資料化企業運營,盤活企業的資料資產,創造更多商業價值。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69911376/viewspace-2669094/,如需轉載,請註明出處,否則將追究法律責任。

相關文章