矽谷的這一個月，我在 startups demo days 和各種大公司一日遊中度日，以為會逃脫國內各種會上各種 “大資料” 和挖掘機的梗，但萬萬沒想到這裡更甚。Hi~ 本文發自僅次於五道口的宇宙中心矽谷，與你分享大資料在這片土地上的真實生長狀況。
什麼是 “改變世界” 的大資料公司
近兩週矽谷兩場規模比較大的 demo 大會上，就有十多家自稱做大資料的 startups，有做消費者行為的，有做體育分析的，有做 NGO 融資的，有做環保的，有做 UX 的，有做信貸評級的，當然還少不了做移動端廣告的。乍看都是高大上的產品，但仔細琢磨一下會發現一些沒那麼高大上的細節。
比如，有一家介紹時候說”Brings big data to teams, media and fans”，用的是Moneyball作引子。展示結束後詢問他們是如何分析影片以得到各種資料的，demo 的哥們表示他們請了一些人看影片的。沒錯，是人工。自然地，下一個問題就是：未來如何擴張以應對來自不同體育專案大量的全長錄影?他的回答也很簡單，僱傭更多人。聽完我懵了一下，問，那打算如何利用收集的資料呢?答曰：開放 API，自己不做分析。
那麼，說好的大資料呢?難道有資料就叫大資料公司了?如果慶豐包子留存有這半個多世紀以來的購買者和交易記錄它就得叫大資料公司了?
是，但也不是。
先歸納了一下矽谷 “大資料公司” 的型別，有補充或修正的請拍磚：
資料的擁有者、資料來源：特點是業務優勢能收集到大量資料，就像煤老闆壟斷一個地區的礦一樣。其實大多數有能力產生或收集資料的公司都屬於這型別，比如 Vantage Sports 和收集了 PB 級資料的包子鋪。
大資料諮詢：特點是非常技術，提供從基礎設施規劃建設維護到軟體開發和資料分析等的服務，但不擁有資料，比如Cloudera這家不到 500 人的 startup 是最著名的 Hadoop 架構諮詢公司。
做大資料工具的：比如 AMPLab 出來的Databricks和 Yahoo 人主導的Hortonworks。
整合應用型：特點是收集擁有或購買一些資料，然後結合 AI 來解決更多實際的痛點。
所以回答之前的問題：是，因為包子鋪只要收集的消費者資料量夠大就能成為資料擁有者，有那麼大的資料就有得到洞見的可能;不是，因為可能從真正意義上來說，大資料公司應該只屬於第四種型別：AI。
對，我相信未來是 AI 的，而 AI 的食物是資料。就像很多產業鏈一樣，最困難且最有價值的創新往往發生在接近終端使用者的那端，比如 iPhone。大資料行業最有價值的部分在於如何利用機器去處理資料得到洞見，影響組織和個人的行為，從而改變世界。收集和整理資料在未來會變得標準化和自動化，而利用 AI 進行分析的能力會變得更為關鍵。
再看矽谷主打 AI 的公司，現在大致可以分成以下三類了：1. 分析使用者行為，改進產品和營銷的，比如 LinkedIn 的推薦系統和用 iBeacon 實現店內營銷;2. 統籌大量分散個體，利用大資料實現精確有效的預測和規劃的，比如 Uber 和前段時間出現的 Amazon Fresh 及 Grub Market;3. 分析識別各種型別的資料，開發更智慧的裝置和程式，比如 Google 大腦及無人車和以 Nest 為代表的智慧裝置等。
這些產品都有一個很明顯的共性，就是在努力嘗試把機器變得更智慧以減輕人類的工作量。這個目的與科技發展的動力相符合，因此認為之前所說的第四種型別的公司是最有希望改變世界的。
這樣的大資料公司需要什麼樣的人
那麼大資料公司，或者說到真正可以改變世界的大資料公司需要什麼樣的人才呢?這裡要介紹一個在矽谷被炒得很熱的高頻詞彙：資料科學家。
這個職位出現的原因並不是因為資料量變大了需要更好的方式去存取，那是資料工程師的活。那產生的原因是什麼呢?正是為了匹配上面第四種公司的需要。資料是 AI 當中不可分割的一部分，而且量越大越好，從數學上來說，資料越多則我們越能夠有信心把從樣本分析出來的結果推論到未知的資料當中，也就是說機器學習的效果越來越好，AI 越來越智慧。
由此誕生的資料科學家是一個非常綜合型的職業。它所要求的知識範圍包括分析資料的統計學，到演算法的選擇最佳化，再到對行業知識的深刻理解。這群人是開發資料產品的核心。矽谷大部分 startup 已經把它當成是必需品了，以至於剛入行的新人也能領到差不多 $100K 的薪水。而模糊的定義和誤解也讓有的人戲稱，data scientist is a data analyst living in the bay area。
值得一提的是，資料本身的飛速發展從另一個側面其實也給資料工程師們的大資料處理帶來了許多挑戰。主要來源於以下的兩個方面：
資料量的急速增長。如今，資料的產生變得異常容易。社交網路，移動應用，幾乎所有的網際網路相關產品每時每刻都在產生眾多資料。傳統的集中儲存計算方式顯然無法處理如此龐大的資料量。這時，我們就需要新的儲存方式，如雲儲存，以及新的處理方案，如 Hadoop 這樣的分佈計算平臺。
資料本身的非結構化。在傳統的資料處理領域，我們處理的主要是結構化資料，例如，Excel 表格可以顯示量化資料等。而如今我們面對著越來越多的非結構化資料，如社交網路的評論，使用者上傳的音訊影片等。這些資料存在於包括文字、圖片、影片、音訊等眾多的資料格式中，這些資料中隱含著眾多有價值的資訊，但這些資訊卻需要深度的計算才可以分析出來。這就需要我們利用智慧化分析、影像識別等等一系列新的演算法來進行資料探勘，這也就是 “大資料” 的挑戰所在。
目前矽谷的創業公司正在探索新的應用領域和方法，比如說物聯網這塊。現在智慧裝置們才剛剛起步，Nest、被 Nest 收購的Dropcam、Iotera、emberlight等等都屬於少部分人的玩具。待到家家戶戶都安裝了智慧冰箱、智慧燈泡、智慧桌子、智慧沙發等等的時候，大資料的威力才會伴隨著巨大的使用規模而發揮出來。
另外一個角度就是人。如果把之前談的裝置全部置換成個人的時候，他們的相互關係在各種維度上的交錯會產生一張巨大的網路，其中的每個組成部分都由大量的資料組成。分析理解預測這些社會關係將會是大資料另一個有趣的應用方向，即Social Physics。不過按照從矽谷到全國的速度，感覺不管哪一方面的普及起碼得等上五年以上的時間。
展望一下未來的話，如果參照以前的技術革命和行業發展來看大資料，那麼大資料的底層設施將會逐漸被隔離，被模組化和標準化，甚至是自動化，而在其上的中間層和應用層將成為各大公司的資料工程師們激烈攻克的主戰場。
矽谷公司的大資料執行現狀
目前矽谷各個公司的資料處理水平和模式差別還是蠻大的。除 Facebook 等幾個很領先的公司外，大部分公司要麼還沒有能力自行處理資料，要麼就是正在建立單獨的資料處理部門，主要負責從資料基本處理到後期分析的各個環節，然後再送到公司內部的其他部門。
對於這些公司來說，建立一個單獨的資料處理部門可能還有還路漫漫其修遠兮。舉個例子來說，Facebook 有一個超過 30 人的團隊花了近 4年 的時間才建立了 Facebook 的資料處理平臺。如今，Facebook 仍需要超過 100 名工程師來支援這個平臺的日常執行。可想而知，光是大資料分析的基礎設施就已經是一個耗時耗力的專案了。LinkedIn 大資料部門的建設也已花了整整六年。
普遍來說，各公司自主建立資料處理平臺存在著幾個難點：
沒有足夠優秀的資料工程師來組建團隊
沒有足夠能力整合資料
沒有易於操作的基礎軟硬體來支援資料分析
這幾個主要難點使得大資料分析越來越專業化、服務化，以至於我們漸漸看到一條 “矽谷資料處理產業鏈” 的出現。從資料的儲存，資料分析平臺建立，到資料分析，資料視覺化等等各個環節的成本越來越高，這使得本身技術能力很強的公司都還是使用專業資料處理公司提供的服務，而將更多的人才和資源放到核心業務的開發上。
另外，就是各個公司對於資料處理的要求也越來越高。不僅僅需要有效的處理結果，也需要資料處理可以 self-service、self-managing、保證資料安全性、完善實時分析。這些諸多需求也使得專業化團隊的優勢更加突出。而這樣一條整合服務鏈的行程，也給眾多的大資料公司提供了機會。
矽谷是非常神奇的地方。科技概念在這裡也不能免俗會被追捧，被炒得很熱。但這種激情和關注某個程度上講正是矽谷創新的動力。即使存在很多投機貼標籤的人，即使一片片的大資料 startups 被拍死在沙灘上，即使 Gartner 預測大資料概念將被迴歸現實，但相信會有更多的人投入到大資料這個行業，開發出更智慧，更有影響力的產品。畢竟，大資料本身，不像一個單純的 pitch 那樣，它能夠保證的是一定可以中看並且中用。
矽谷大資料【下】：矽谷四巨頭如何玩轉大資料