大資料行業洞察：未來2-3年或迎資料時代的真正高潮

大資料v發表於2018-03-16

640?wx_fmt=gif&wxfrom=5&wx_lazy=1

從2012年的“使用者標籤”到2014年的“使用者畫像”，從2015年的“大資料”到2017年的“人工智慧”，大資料正在從神壇走向現實。“標籤”到“畫像”，代表著資料在數量和維度上，逐漸在豐富；“大資料”到“人工智慧”，表明從原始資料到本體認知的過渡。無論是資料積累的量變到質變，還是資料到認知層面的過渡，大資料已經開始在一些特定領域和場景下為客戶解決實際問題，創造價值。

01 產業鏈

在2017年初的時候，根據產業的發展我（筆者：中關村老李）將2016年認為的產業鏈中四個環節壓縮至了兩個，即資料服務平臺提供商和資料解決方案提供商。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

（圖片說明：實際的產業鏈以及2018年可能的演進）

通過過去一年的觀察發現，雖然市場上確實以這兩種角色為主體，但在具體專案中，這二者並沒有形成上下游產業鏈的局面。在一些行業市場中，資料服務平臺提供商向前跨越，直接面對行業客戶，向他們提供其所擁有的外部資料（往往本身就擁有海量的2C資料入口，可以源源不斷地生產2C資料）的粗加工產品（如使用者的標籤資料等）；而在另一部分行業市場中，資料解決方案提供商，基本使用使用者自身的資料，通過資料處理服務，為行業客戶提供某個方向的解決方案。在2017年初的時候，根據產業的發展我將2016年認為的產業鏈中四個環節壓縮至了兩個，即資料服務平臺提供商和資料解決方案提供商。

上面兩個角色之間基本沒有合作、沒有交集，很少在市場上直接競爭。

究其原因，個人認為有兩個方面。一個是市場的成熟度決定的，還有一個就是由法律或者說政策環境決定的。

首先，這是由市場的成熟度決定的。目前行業應用市場還處於早期，部分行業使用者的需求集中在外部資料的簡單加工層面，還沒有滲透到行業縱深，與行業的核心業務沒有形成深度耦合，對資料服務提供商還沒有很深的行業經驗要求；另一方面，現階段大多數“解決方案”提供商，基本採用客戶自身的資料，依靠資料處理能力為客戶提供資料整合服務。現在的“解決方案”提供商，大多還停留在資料服務的層面，並沒有大量應用外部資料的經驗，與行業的深度需求耦合還遠遠不夠，自然也沒有形成“殺手”級的產品，行業的可替代性很強，與資料服務平臺提供商的能力差異並沒有充分表現出來。這些，都從不同程度，反映了市場發展成熟度不足的問題。

其次，資料的交易目前在我國還是一個敏感的話題。雖然資料服務平臺提供商擁有海量的2C資料，可如何與第三方合作，為行業客戶提供他們所需要的解決方案，還是個無法觸碰的禁區。6月1日生效的個人隱私安全法（下面簡稱隱私法），只說明瞭“幹什麼”不行，但並沒有規定“如何做”才是可以的。而這個“如何做”才行的體系，需要經過幾年時間的建立才可能完成。法律環境的滯後，也限制了行業的進一步發展，資源將進一步向掌握資料的巨頭集中。雖然這樣做便於管理，資料集中在幾個巨頭手裡好監管，不會產生隱私資料滿天飛的亂象，但缺點也是顯而易見的。資料無法打通，就會形成一個個資訊孤島；資料無法流動，就使資料應用受到很大侷限。這一點，恐怕是監管部門最應該儘快解決的問題。

百行徵信的出現從某一個角度說明了解決這個問題的必要。

640?wx_fmt=png

（圖片說明：實際的產業鏈以及2018年可能的演進）

上圖的上半段就是現在實際的產業鏈情況，而下半段是根據現在市場發展的態勢。我認為2018年可能會出現的演進。隨著大資料被應用到各行各業，大多數行業的資料準備並不充分，資料基礎薄弱。要想使資料產生價值，發揮更大的作用，勢必需要大量的資料歸集與治理，這就是資料優化商的角色。由於增量市場的出現，僅靠現有的解決方案提供商和資料服務平臺提供商自身的力量是不夠的，這就為獨立的第三方資料優化商出現，並存在創造了客觀上的空間。所以說，對於大多數行業而言，要想充分發揮資料的價值，首先要從資料的歸集與治理開始，磨刀不誤砍柴工！

另一個會發生的變化，是解決方案提供商將逐漸拉開與資料服務平臺提供商在行業的差距，向行業縱深走，形成差異化的產品和解決方案，成為真正的某一行業的解決方案提供商。而資料服務平臺提供商反而會回縮，專注自己的服務平臺，支撐眾多方向的解決方案提供商以及客戶的需要，逐漸完成與解決方案提供商的上下游產業鏈。

這都是市場在逐漸成熟的標誌，分工進一步細化。

02 市場

經過了過去4-5年的積累，無論在資料上，還是在資料處理技術上，大資料正在某些區域性由量變轉為質變。在很多領域和場景下已經可以做出很明顯的效果。或者幫助客戶解決他們的原來解決不了的問題；或者改善原有的方法，提高效率、降低成本；也或者開闢了新的渠道，形成創新的業務模式。

總之一句話，DT就是生產力！

大資料正在被應用到各個領域。這其中當然有很多亂象，存在著很多“誤解”，但資料思維驅動的資料應用是大趨勢，不可逆轉。

從市場物件來劃分，可以分為大B（商業體，Business）和高成長性行業的中小B。無論是解決方案提供商還是資料服務平臺提供商大多集中在大B領域，如銀行、保險、醫療、教育等。這是由他們的公司體量決定的，必須要做對等體量，且確定性較高的市場，才可能保證固定的產出，這是正確的。

除此之外，另一個群體，高成長性中小B也非常值得關注。高成長性行業雖然有很多不確定性，尤其是在現在的經濟環境下，中小企業甚至很難生存，但也不是完全沒有機會。就在人們普遍認為BATJ壟斷下的網際網路很難有新貴出現，但這幾年依然出現了今日頭條、滴滴。所幸，我就在2016年抓住了出行行業（Uber、易到等）的機會，依靠大資料的反刷單解決方案在這一領域迅速地開啟局面，並發展壯大，形成了每年數千萬的業務。

這就是高成長性中小B的魅力。首先它增長迅速，也會帶動生態鏈上的其他企業快速增長，想象空間很大；其次，中小B本身沒有很複雜的決策鏈，決策週期很短，一般2-4個月，比較容易試錯，這對於初創團隊是非常關鍵的；再者，高成長性中小B在高速發展中，不可能完全依靠自己的力量解決所有的問題，這就為建立生態鏈創造了客觀的土壤。這一點，在去年9月參加的一次大資料峰會上，聽到了興業金服的一位負責人也表達了類似的觀點。

大資料不同於以往的IT專案，不能單純地以甲乙方的形式存在，已經超出了傳統的建設和被建設的關係。取而代之的，是一個合作共贏，長期共存的生態鏈。

由於資源（外部資料）的侷限，客戶不可能通過服務提供商的一次建設，就能夠完全掌握並獨立運營。時代的發展也不允許客戶有時間去慢慢消化、學習、獨立運營所有的系統，他們必須要引入資料服務合作伙伴，整合雙方的資源，而迅速地形成生產力。社會的成熟，分工進一步細化，“TIME to Market”決定了你沒必要也不可能每一件事兒都自己去做。行業客戶將注意力更好地聚焦在自己的主業上，而資料部分，會依賴資料合作伙伴來一起參與，共同經營。

所以，客戶對外部資料合作伙伴的訴求，是“外部資料”+資料處理”（包括資料處理系統以及資料處理能力）+“資料融合”（這並不等同於資料處理，主要側重於資料應用；不但需要資料服務提供商具有豐富的資料應用經驗，還需要資料服務提供商具有豐富的行業經驗，即真正的資料解決方案提供商）。

03 誤區

在幾年的資料應用實踐中，發現了很多誤區。

一是很多客戶認為大資料就等於買資料，在應用的過程中生搬硬套

二是對大資料的不切實際的預期，要麼是將其神話，要麼就對應用的過程缺乏耐心
三是認為有很多資料就應該能馬上產生價值，但實際情況是資料準備不足，基礎薄弱

誤區一：大資料等於買資料

很多行業客戶最初對外部資料的認知是從購買外部資料開始。無論是使用者畫像，還是做其他用途的資料。客戶還延續了IT建設的思維，認為所缺的只是外部的資料。有了外部資料，依靠自身的力量也完全可以完成大資料在所在行業的應用。別人搞大資料做使用者畫像，就也來畫像；別人提大資料能精準營銷，那也來搞精準營銷。並沒有從認知層面建立資料思維，對大資料有一個全面的有高度的理解。這種生搬硬套的做法也從某種程度上導致了資料應用效果不好的局面，沒有真正將資料發揮其應有的價值。

外部的資料應用是屬於跨域的資料應用，需要很強的專業性。這一工作既需要了解市場上各類資料的屬性，也需要了解如何將資料加工才能滿足行業的需求。並不是每個資料都能為行業的某個需求做出明顯效果的；也不是經過一次的採購就能完成的事情。也許，三五年後，當外部資料種類穩定且成熟，行業內部自身的資料專家也可以主動地去選擇外部的資料，依靠自身的力量完成與內部資料的融合，去滿足業務的需求；但在今天，可能更多的還要依賴外部專業資料團隊的幫助。

誤區二：大資料是萬能的

在外部資料應用的過程中，還有一個主要的誤區就是對資料應用的不切實際的預期。要麼是將大資料、人工智慧神話，要麼就對資料應用的過程缺乏耐心。

首先，大資料本身是一門技術，它與其他技術一樣都有著它的侷限；大資料不是萬能的，但是資料思維是可以創造很大價值的。

其次，外部的資料產生的業務場景與行業不同，因而在使用的過程中，就要仔細甄別，不斷調整。距離行業需求越近的資料質量越高，做出的產品就越好。但無論多近，外部資料始終是外部資料，其產生的環境與行業的需求大多不會100%契合，所以就需要專業資料團隊的進行加工、處理，經過幾個輪迴的迭代才可能取得好的效果，要有足夠的耐心。

誤區三：有大量的資料就馬上能產生價值

有很多行業使用者，依靠多年的積累形成了大量的資料。他們認為有大量資料就能馬上產生價值。先不說這些資料的維度和質量能產生多大價值，首先面對的是大量的資料格式混亂，資料欄位不一致，要想發現其價值就如從雜草堆裡挑出一根針。

對於大多數行業客戶而言，首先都面臨資料的歸集與治理的工作，磨刀不誤砍柴工。

無論是“大資料等於買資料”，還是對“大資料是萬能的”，還是“有大量資料就能產生巨大價值”都反映了資料應用在大資料在行業的應用尚屬初級階段。

04 挑戰

一、資料缺失

儘管大資料已經經歷了五六年的發展，資料無論在維度上還是數量上都已經比幾年前有了很大的改變。但是客觀上講，還沒有達到質的飛躍。由於相關的法律建設沒有完成，大量資料被滯留在少數流量入口處，形成了一個個資料的孤島。還沒有形成資料的有效打通、流轉，更談不上創造新的價值。

我依然堅持2017年初的判斷，資料僅在區域性市場，特定的場景已經成熟，可以為客戶創造很大的價值。但還沒有辦法形成規模化市場，這是由於資料發展的成熟度決定的。

資料的缺失，並不能靠高明的演算法彌補。這與統計模型，大資料還是人工智慧都無關係。只能面對這一現實，去尋找先期成熟的市場，儘可能地立足現在的資料以及演算法幫助客戶解決他們的實際問題，創造價值，形成商業閉環；同時積極地關注其他市場的成熟。資料應用市場與其他早期市場並沒有不同，都是由點及線，最後再到面的。這是個螺旋上升的過程，沒有捷徑可循。

二、資料思維的建立

與資料的缺失相比，一個更大的挑戰在於資料思維的建立。我們正在經歷一個從IT到DT的跨越的時代。大資料、機器學習、人工智慧都是這一跨越中的工具。但不幸的是，很多使用者甚至從業者還是沉迷於技術本身，把大資料等同於一個普通的技術，沒有上升到資料思維。

資料思維絕不只是技術部門的事情，而是整體戰略的問題。資料思維要滲透到每一個部門，每一個環節，用資料去輔助決策，讓資料去重構業務流程，資料應用才能發揮其最大的價值。只有將資料思維貫徹到企業的每一個環節中，資料才能真正轉化成生產力，資料的價值才能真正得以體現。

大資料技術是戰術，而資料思維是戰略。

2017年，產業格局越來越清晰。無論是資料服務平臺提供商，還是資料解決方案提供商，都在正確的方向上走出了堅實的一步，其價值已經得到了各自市場的認可，進入了良性的迴圈。雖然，我認為大資料的真正高潮還未到來，短時間內還處於投入大於產出的局面，但曙光在前，已經在一個量變到質變的積累過程當中。隨著技術和資料的進一步成熟，隨著行業的深入，相信不遠的未來（可能是2-3年）將會迎來資料時代的真正高潮！

來源：DT資料俠

精彩活動

福利 · 閱讀 | 免費申請讀大資料新書第23期