圍牆裡的大資料註定成為死資料。大資料需要開放式創新，從資料的開放、共享和交易，到價值提取能力的開放，再到基礎處理和分析平臺的開放，讓資料如同血液在資料社會的軀體中長流，滋潤資料經濟，讓更多的長尾企業和資料思維創新者產生多姿多彩的化學作用，才能創造大資料的黃金時代。

我的大資料研究軌跡
我做了4-5年的移動架構和Java虛擬機器，4-5年的眾核架構和並行程式設計系統，最近4-5年也在追時髦，先是投入物聯網，最近幾年一直在做大資料。我們團隊的大資料研究軌跡如下圖所示：

2010-2012年，主要關注資料和機器的關係：水平擴充套件、容錯、一致性、軟硬體協同設計，同時釐清各種計算模式，從批處理（MapReduce）到流處理、Big SQL/ad hoc query、圖計算、機器學習等等。事實上，我們的團隊只是英特爾大資料研發力量的一部分，上海的團隊是英特爾Hadoop發行版的主力軍，現在英特爾成了Cloudera的最大股東，自己不做發行版了，但是平臺優化、開源支援和垂直領域的解決方案仍然是英特爾大資料研發的重心。
從2013年開始關注資料與人的關係：對於資料科學家怎麼做好分散式機器學習、特徵工程與非監督學習，對於領域專家來說怎麼做好互動式分析工具，對於終端使用者怎麼做好互動式視覺化工具。英特爾研究院在美國卡內基梅隆大學支援的科研中心做了GraphLab、Stale Synchronous Parallelism，在MIT的科研中心做了互動式視覺化和SciDB上的大資料分析，而中國主要做了Spark SQL和MLlib（機器學習庫），現在也涉及到深度學習演算法和基礎設施。
2014年重點分析資料和資料的關係：我們原來的工作重心是開源，後來發現開源只是開放式創新的一個部分，做大資料的開放式創新還要做資料的開放、大資料基礎設施的開放以及價值提取能力的開放。
資料的暗黑之海與外部效應
下面是一張非常有意思的圖，黃色部分是化石級的，即沒有聯網、沒有數字化的資料，而絕大多數的資料是在這片海里面。只有海平面的這些資料（有人把它稱作Surface Web）才是真正大家能訪問到的資料，爬蟲能爬到、搜尋引擎能檢索到的資料，而絕大多數的資料是在暗黑之海里面（相應地叫做Dark Web），據說這一部分佔資料總量的85%以上，它們在一些孤島裡面，在一些企業、政府裡面躺在地板上睡大覺。

資料之於資料社會，就如同水之於城市或者血液之於身體一樣。城市因為河流而誕生也受其滋養，血液一旦停滯身體也就危在旦夕。所以，對於號稱資料化生存的社會來說，我們一定要讓資料流動起來，不然這個社會將會喪失諸多重要功能。
所以，我們希望資料能夠像“金風玉露一相逢”那樣產生化學作用。馬化騰先生提出了一個internet+的概念，英特爾也有一個大資料X，相當於大資料乘以各行各業。如下圖所示，乘法效應之外，資料有個非常奇妙的效應叫做外部效應（externality），比如這個資料對我沒用但對TA很有用，所謂我之毒藥彼之蜜糖。

比如，金融資料和電商資料碰撞在一起，就產生了像小微貸款那樣的網際網路金融；電信資料和政府資料相遇，可以產生人口統計學方面的價值，幫助城市規劃人們居住、工作、娛樂的場所；金融資料和醫學資料在一起，麥肯錫列舉了很多應用，比如可以發現騙保；物流資料和電商資料湊在一塊，可以瞭解各個經濟子領域的執行情況；物流資料和金融資料產生供應鏈金融，而金融資料和農業資料也能發生一些化學作用。比如Google analytics出來的幾個人，利用美國開放氣象資料，在每一塊農田上建立微氣象模型，可以預測災害，幫助農民保險和理賠。
所以，要走資料開放之路，讓不同領域的資料真正流動起來、融合起來，才能釋放大資料的價值。
三個關於開放的概念
1、資料開放
首先是狹義的資料開放。資料開放的主體是政府和科研機構，把非涉密的政府資料及科研資料開放出來。現在也有一些企業願意開放資料，像Netflix和一些電信運營商，來幫助他們的資料價值化，建構生態系統。但是資料開放不等於資訊公開。首先，資料不等於資訊，資訊是從資料裡面提煉出來的東西。我們希望，首先要開放原始的資料（raw data），其次，它是一種主動和免費的開放，我們現在經常聽說要申請資訊公開，那是被動的開放。
Tim Berners Lee提出了資料開放的五星標準，以保證資料質量：一星是開放授權的格式，比如說PDF；其次是結構化，把資料從檔案變成了像excel這樣的表；三星是開放格式，如CSV；四星是能夠通過URI找到每一個資料項；五星代表能夠和其它資料連結，形成一個開放的資料圖譜。

現在主流的資料開放門戶，像data.dov或data.gov.uk，都是基於開源軟體。英特爾在MIT的大資料科研中心也做了一種形態，叫Datahub：吉祥物很有趣，一半是大象，代表資料庫技術，一半是章魚，取自github的吉祥物章魚貓。它提供更多的功能比如易管理性，提供結構化資料服務和訪問控制，對資料共享進行管理，同時可以在原地做視覺化和分析。

廣義的資料開放還有資料的共享及交易，比如點對點進行資料共享或在多邊平臺上做資料交易。馬克思說生產資料所有制是經濟的基礎，但是現在大家可以發現，生產資料的租賃制變成了一種主流（參考《Lean Startup》），在資料的場景下，我不一定擁有資料，甚至不用整個資料集，但可以租賃。租賃的過程中要保證資料的權利。
首先，我可以做到資料給你用，但不可以給你看見。姚期智老先生82年提出“millionaires’ dilemma（百萬富翁的窘境）”，兩個百萬富翁比富誰都不願意說出自己有多少錢，這就是典型的“可用但不可見”場景。在實際生活中的例子很多，比如美國國土安全部有恐怖分子名單（資料1），航空公司有乘客飛行記錄（資料2），國土安全部向航空公司要乘客飛行記錄，航空公司不給，因為涉及隱私，他反過來向國土安全部要恐怖分子名單，也不行，因為是國家機密。雙方都有發現恐怖分子的意願，但都不願給出資料，有沒有辦法讓資料1和資料2放一起掃一下，但又保障資料安全呢？
其次，在資料使用過程中要有審計，萬一那個掃描程式偷偷把資料藏起來送回去怎麼辦？再者，需要資料定價機制，雙方資料的價值一定不對等，產生的洞察對各方的用途也不一樣，因此要有個定價機制，比大鍋飯式的資料共享更有激勵性。
從點對點的共享，走到多邊的資料交易，從一對多的資料服務到多對多的資料市場，再到資料交易所。如果說現在的資料市場更多是對資料集進行買賣的話，那麼資料交易所就是一個基於市場進行價值發現和定價的，像股票交易所那樣的、小批量、高頻率的資料交易。
我們支援了不少研究來實現剛才所說的這些功能，比如說可用而不可見。案例一是通過加密資料庫CryptDB/Monomi實現，在資料擁有方甲方這邊的資料庫是完全加密的，這事實上也防止了現在出現的很多資料洩露問題，大家已經聽到，比如說某網際網路服務提供商的員工偷偷把資料拿出來賣，你的資料一旦加密了他拿出來也沒用。其次，這個加密資料庫可以執行乙方的普通SQL程式，因為它採用了同態加密技術和洋蔥加密法，SQL的一些語義在密文上也可以執行。

針對“百萬富翁的窘境”，我們做了另一種可用但不可見的技術，叫做資料咖啡館。大家知道咖啡館是讓人和人進行思想碰撞的地方，這個資料咖啡館就是讓資料和資料能夠碰撞而產生新的價值。
比如兩個電商，一個是賣衣服的，一個是賣化妝品的，他們對於客戶的洞察都是相對有限的，如果兩邊的資料放在一起做一次分析，那麼就能夠獲得全面的使用者畫像。再如，癌症是一類長尾病症，有太多的基因突變，每個研究機構的基因組樣本都相對有限，這在某種程度上解釋了為什麼過去50年癌症的治癒率僅僅提升了8%。那麼，多個研究機構的資料在咖啡館碰一碰，也能夠加速癌症的研究。
在咖啡館的底層是多方安全計算的技術，基於英特爾和伯克利的一個聯合研究。在上面是安全、可信的Spark，基於“data lineage”的使用審計，根據各方資料對結果的貢獻進行定價。

2、大資料基礎設施的開放
現在有的是有大資料思維的人，但他們很捉急，玩不起、玩不會大資料，他不懂怎麼儲存、怎麼處理這些大資料，這就需要雲端計算。基礎設施的開放還是傳統的Platform as a Service，比如Amazon AWS裡有MapReduce，Google有Big Query。這些大資料的基礎處理和分析平臺可以降低資料思維者的門檻，釋放他們的創造力。
比如decide.com，每天爬幾十萬的資料，對價格資訊（結構化的和非結構化的）進行分析，然後告訴你買什麼牌子、什麼時候買最好。只有四個PhD搞演算法，其他的靠AWS。另一家公司Prismatic，也利用了AWS，這是一家做個性化閱讀推薦的，我專門研究過它的計算圖、儲存和高效能庫，用LISP的一個變種Clojure寫的非常漂亮，真正做技術的只有三個學生。
所以當這些基礎設施社會化以後，大資料思維者的春天很快就要到來。
3、價值提取能力的開放
現在的模式一般是一大一小或一對多。比如Tesco和Dunnhumby，後者剛開始是很小的公司，找到Tesco給它做客戶忠誠度計劃，一做就做了幾十年，這樣的長期戰略合作優於短期的資料分析服務，決策更注重長期性。當然，Dunnhumby現在已經不是小公司了，也為其他大公司提供資料分析服務。再如沃爾瑪和另外一家小公司合作，做資料分析，最後他把這家小公司買下來了，成了它的Walmart Labs。
一對多的模式，典型的是Palantir——Peter Thiel和史丹佛的幾個教授成立的公司，目前還是私有的，但估值近百億了，它很擅長給各類政府和金融機構提供資料價值提取服務。真正把這種能力開放的是Kaggle，它的雙邊，一邊是10多萬的分析師，另一邊是需求方企業，企業在Kaggle上發標，分析師競標，獲得業務。這可能是真正解決長尾公司價值提取能力的辦法。當然，如果能和我們的資料咖啡館結合，就更好了。

 

自：虎嗅網