2016年全球大資料版圖

拋開不可避免的炒作週期曲線態勢不管，我們的 “大資料版圖” 已經進入第 4 個年頭了，趁這個時候退一步來反思一下去年發生了什麼，思考一下這個行業的未來會怎樣是很有意義的。

那麼 2016年 大資料到底還算不算個 “東西” 呢？我們不妨探討一下。

企業技術=艱苦工作

大資料有趣的一點在於，它不再像當初經歷過那樣有可能成為炒作的題材了。

經過炒作週期後仍能引起廣泛興趣的產品和服務往往那些大家能夠接觸、可以感知，或者與大眾相關聯的：比如移動應用、社交網路、可穿戴、虛擬現實等。

但大資料基本上就是管道設施的一種。當然，大資料為許多消費者或商業使用者體驗提供了動力，但它的核心是企業技術：資料庫、分析等，這些東西都是在後端執行的，沒幾個人能看得見。就像在那個世界工作的任何人都知道那樣，用一個晚上的時間就想適應企業端的新技術是不可能的。

大資料現象在早期主要是受到了與一批骨幹網際網路公司（尤其是 Google、Facebook、Twitter 等）的共生關係的推動，這些公司既是核心大資料技術的重度使用者，同時也是這些技術的創造者。這些公司突然間面對著規模前所未有的龐大資料時，由於本身缺乏傳統的（昂貴的）基礎設施，也沒有辦法招募到一些最好的工程師，所以只好自己動手來開發所需的技術。後來隨著開源運動的迅速發展，一大批此類新技術開始共享到更廣的範圍。然後，一些網際網路大公司的工程師離職去創辦自己的大資料初創企業。其他的一些 “數字原生” 公司，包括嶄露頭角的獨角獸公司，也開始面臨著網際網路大公司的類似需求，由於它們自身也沒有傳統的基礎設施，所以自然就成為了那些大資料技術的早期採用者。而早期的成功又導致了更多的創業活動發生，並獲得了更多的 VC 資助，從而帶動了大資料的起勢。

快速發展了幾年之後，現在我們面臨的是更加廣闊、但也更加棘手的機遇：讓中等規模到跨國公司級別的更大一批企業採用大資料技術。這些公司跟 “數字原生” 公司不一樣的是，他們沒有從零開始的有利條件。而且他們失去的會更多：這些公司絕大部分的現有技術基礎設施都是成功的。那些基礎設施當然未必是功能完備的，組織內部許多人也意識到對自己的遺留基礎設施進行現代化應該是早點好過晚點，但他們不會一夜間就把自己的關鍵業務取代掉。任何革命都需要過程、預算、專案管理、試點、區域性部署以及完備的安全審計等。大企業對由年輕的初創企業來處理自己基礎設施的關鍵部分的謹慎是可以理解的。還有，令創業者感到絕望的是，許多（還是大多數？）企業仍頑固地拒絕把資料遷移到雲端（至少不願遷移到公有云）。

還需要理解的另一個關鍵是：大資料的成功不在於實現技術的某一方面（像 Hadoop 什麼的），而是需要把一連串的技術、人和流程糅合到一起。你得捕捉資料、儲存資料、清洗資料、查詢資料、分析資料並對資料進行視覺化。這些工作一部分可以由產品來完成，而有的則需要人來做。一切都需要無縫整合起來。最後，要想讓所有這一切發揮作用，整個公司從上到下都需要樹立以資料驅動的文化，這樣大資料才不僅僅是個 “東西”，而且就是那個（關鍵的）“東西”。

換句話說：有一堆艱苦的工作要做。

部署階段

所以，這就是在經過幾年引人矚目的初創企業如雨後春筍冒頭，VC 投資頻等頭條後，我們開始步入大資料的部署期和早期成熟期的原因。

更有前瞻性的大公司（姑且稱之為傳統技術採用週期的 “早期採用者”）在 2011 到 2013年 間開始實驗大資料技術，推出了若干的 Hadoop 試點計劃（往往是因為趕時髦）或者嘗試一些點方案。他們招募了各種各樣此前並不存在的崗位（如 “資料科學家” 或 “首席資料官”）。他們進行了各種努力，包括吧全部資料都堆到一個資料容器（“data lake”），然後希望緊跟著就會發生奇蹟（往往不會）。他們逐步建設自己的內部能力，試驗了各種供應商，從試點計劃到生產中的區域性部署，然後到現在爭論要不要全企業鋪開（全範圍鋪開實施的情況還很罕見）。許多情況下，他們正處在這樣一個重要的拐點上，即經過大資料基礎設施的數年建設後，能夠展示的成果還不多，至少在公司內部的商業使用者看來是這樣的。但是大量吃力不討好的工作已經做完了，現在開始進入到有影響力的應用部署階段了。只是從目前來看，這種建構在核心架構之上的應用數量還不成比例。

接下來的一波大公司（稱之為傳統技術採用週期的 “早期多數使用者”）大多數時候對大資料技術是持觀望態度的，對於整個大資料方面的東西，他們還在心存一定程度困惑中觀望。直到最近，他們還在指望某個大型供應商（比如 IBM）會提供一個一站式的解決方案，不過現在看來這種情況近期內並不會出現。他們看待這個大資料版圖的態度是心懷恐懼，在想自己是不是真的需要跟這一堆看起來並沒有什麼不同的初創企業合作，然後修補出各種解決方案。

生態體系正在成熟

與此同時，在初創企業 / 供應商這一塊，整個第一波的大資料公司（2009 至 2013年 間成立的那批）現在已經融了數輪的資金，企業規模已經得到了擴大，並且從早期部署的成功或失敗中學到了東西，現在他們已經能夠提供更成熟的、經受過考驗的產品了。少數一些已經成為了上市公司（包括 2015年 上市的 HortonWorks 和 New Relic），而有的（比如 Cloudera、MongoDB 等）融資已經達上億美元了。

這個領域的 VC 融資活動仍然很有生氣，2016年 的前幾周我們見證好幾輪相當可觀的後期階段大資料融資事件：DataDog（9400 萬美元），BloomReach（5600 萬美元），Qubole（3000 萬美元），PlaceIQ（2500 萬美元）等。2015年 大資料初創企業拿到的融資額達到了 66.4 億美元，佔整個技術 VC 總融資額額 11%。

併購活動則開展得中規中矩（自從上一版大資料版圖釋出以來完成了 34 項併購，具體可參見附註）

隨著該領域的創業活動持續進行以及資金的不斷流入，加上適度的少量退出，以及越來越活躍的技術巨頭（尤其是 Amazon、Google、IBM），使得這個領域的公司日益增多，最後匯成了這幅 2016 版的大資料版圖。

顯然這張圖已經很擠了，而且還有很多都沒辦法列進去（關於我們的方法論可以參見附註）

在基本趨勢方面，行動開始慢慢從左轉到右（即創新、推出新產品和新公司），從基礎設施層（開發者 / 工程師的世界）轉移到分析層（資料科學家和分析師的世界）乃至應用層（商業使用者和消費者的世界），“大資料原生應用” 已經在迅速冒頭—這多少符合了我們原先的一些預期。

大資料基礎設施：仍有大量創新

Google 由 Cutting 和 MikeCafarella 主導的關於 MapReduce 和 BigTable 的論文（Hadoop 的基礎）問世已有 10年 了，在這段時間裡，大資料的基礎設施層已經逐漸成熟，一些關鍵問題也得到了解決。

但是，基礎設施領域的創新仍然富有活力，這很大程度上是得益於可觀的開源活動規模。

2015年 無疑是 Apache Spark 之年。自我們釋出上一版大資料版圖以來，這個利用了記憶體處理的開源框架就開始引發眾多討論。自那以後，Spark 受到了從 IBM 到 Cloudera 的各式玩家的擁護，讓它獲得了可觀的信任度。Spark 的出現是很有意義的，因為它解決了一些導致 Hadoop 採用放緩的關鍵問題：Spark 速度變快了很多（基準測試表明 Spark 比 Hadoop 的 MapReduce 快 10 到 100 倍），更容易程式設計，並且跟機器學習能夠很好地搭配。

除了 Spark 以外，還出現了其他的一些令人興奮的框架，比如 Flink、Ignite、Samza、Kudu 等，這些框架的發展勢頭也很好。一些思想領袖認為，Mesos（資料中心資源管理系統，把資料中心當作一臺大計算資源池進行程式設計）的出現也刺激了對 Hadoop 的需求。

即便在資料庫的世界裡，新興的玩家似乎也越來越多。多到市場已經難以承受的地步，這裡發生了很多令人興奮的事情，從圖形資料庫（如 Neo4j ）的成熟，到專門資料庫的推出（如統計時序資料庫 InfluxDB），乃至於 CockroachDB 的出現（受 Google Spanner 靈感啟發誕生的融合了 SQL 與 NoSQL 長處的新型資料庫）。資料倉儲也在演變（如雲資料倉儲 Snowflake）。

大資料分析：現在跟 AI 結合了

大資料分析過去幾個月出現的一股趨勢是，越來越關注利用人工智慧（形式和風格各異）來幫助分析大規模的資料，從而獲得預測性的洞察。

其實最近出現復興的 AI 很大程度上算是大資料的產物。深度學習（最近受到關注最多的 AI 領域）背後的演算法基本上是幾十年前就誕生了的，但直到最近能夠以足夠便宜、足夠快速地應用到大規模資料之後才發揮出了它的最大潛能。AI 與大資料之間的關係如此緊密，以至於業界專家現在認為 AI 已經令人懊惱地 “與大資料陷入了熱戀當中”。

不過反過來，AI 現在也在幫助大資料實現後者的承諾。分析對 AI/ 機器學習越來越多的關注也符合大資料下一步演進的趨勢：現在資料我都有了，但究竟從中能得到什麼樣的洞察呢？當然，這件事情可以讓資料科學家來解決，從一開始他們的角色就是實現機器學習，否則的話就得想出模型來發現資料的意義。但是機器智慧現在正在逐漸發揮輔助資料科學家的作用—只需要倒騰資料，新興的產品就能從中提煉出數學公式（如 Context Relevant）或者自動建立和推薦最有可能返回最佳結果的資料科學模型（如 DataRobot）。一批新的 AI 公司提供的產品能夠自動識別像影像這樣的複雜實體（如 Clarifai、Dextro），或者提供強大的預測性分析（如 HyperScience）。

同時，隨著基於無監督學習的產品的傳播和改善，看看它們與資料科學家之間的關係如何演變將非常有趣—將來這兩者是敵還是友呢？AI 當然不會很快取代資料科學家的位置，但預計會看到資料科學家通常執行的更簡單一點的工作越來越多的自動化，從而可以極大提高生產力。

但不管怎樣，AI/ 機器學習絕不是大資料分析唯一值得關注的趨勢。大資料 BI 平臺的普遍成熟及其日益增強的實時能力也是一個令人興奮的趨勢（如 SiSense、Arcadia Data 等）。

大資料應用：真正的加速

隨著一些核心基礎設施的挑戰得到解決，大資料應用層正在快速構建。

在企業內部，已經出現了各種工具來幫助跨多個核心職能的企業使用者。比方說，銷售和營銷的大資料應用通過處理大規模的內外部資料來幫助找出哪位客戶可能會購買、續約或者流失，且速度越來越實時化。客服應用幫助個性化服務。人力應用幫助找出如何吸引和挽留最好的員工等。

專門的大資料應用幾乎在任何一個垂直行業都有出現，從醫療保健（尤其是基因組學和藥物研究）到金融、時尚乃至於執法（如 Mark43）。

有兩個趨勢值得強調一下。

首先，這些應用很多都是 “大資料原生” 的，本身都是依託在最新的大資料技術基礎上開發的，代表了一種客戶無須部署底層大資料技術即可利用大資料的有趣方式—因為那些底層技術已經是打包的，至少對於特定功能來說是這樣的。比方說，ActionIQ 就是在 Spark 基礎上開發的（或者說是 Spark 的一個派生），所以它的客戶能夠在營銷部門利用 Spark 的威力而不需要自己部署 Spark，這種情況下是沒有 “裝配線” 的。

其次，AI 在應用層也有很強大的存在。比方說，在貓捉老鼠的安全領域中，AI 被廣泛用來對付黑客，實時識別和對抗網路攻擊。去年已經出現了一個 AI 驅動的數字助手行業，支援從任務自動化到會議安排（如 x.ai）以及購物等幾乎一切事情。這些解決方案對 AI 的依賴程度不一，從幾乎 100%自動化到 “有人蔘與” 等情況各不相同，但是可以明確的是，人的能力在 AI 幫助下得到了增強。

結論

從很多方面來看，我們仍然處在大資料現象的早期發展階段。儘管已經花費了數年時間，但減少基礎設施來儲存和處理大規模資料還只是第一階段。AI/ 機器學習已經成為大資料應用層的一股迅猛趨勢。大資料與 AI 的結合將會推動很多行業的驚人創新。從這個角度來說，大資料的機會也許要比大家想象的還要大。

然而，隨著大資料繼續走向成熟，這個術語本身可能會消失，或者變得太過時以至於沒有人會再使用這個詞。這就是成功賦能技術令人諷刺的命運歸宿—由於技術的廣泛傳播，然後到達無所不在的地步，最後被人熟視無睹。

附註：

1）由於不可能把大資料的所有公司都列到圖表上，所以我們只能按照一定原則篩選部分公司出來，篩選原則一是進行過 1 輪或多輪 VC 融資的初創企業，二是把一些我們特別感興趣的較早期初創企業列進去。

2）值得注意的收購包括 Revolution Analytics（微軟 2015年1月 收購），Mortar（DataDog2015年2月 收購），Acunu 和 FoundationDB（2015年3月 被蘋果收購），AlchemyAPI（2015年3月 被 IBM 收購），Amiato（2015年4月 被 Amazon 收購），Next Big Sound（2015年5月 被 Pandora 收購），1010Data（Advance/Newhouse 2015年8月 收購)，Boundary（BMC 2015年8月 收購)，Bime Analytics（Zendesk 2015年10月 收購)，CleverSafe（IBM 2015年10月 收購)，ParStream（2015年11月 被思科收購)，Lex Machine（2015年11月 被 LexisNexis 收購），DataHero（2016年1月 被 Cloudability 收購）。