我理解的大資料

taosay發表於2014-12-01

  很久前就想寫一篇關於大資料的文章,但總是因為覺得自己功力不夠所以遲遲不敢動筆。再到後來發現大資料的概念已經爛大街了,現在只要是個做產品的,收了點使用者資料,就敢把自己叫大資料,似乎不這麼說的產品都是非主流了。

  我也不想老生常談的講資料到底要多大才能稱得上大資料,因為這似乎只是一個相對的值。我也不想講大資料應該搞多麼牛B和複雜的演算法,因為似乎一 二十年前大學計算機課本里的《機器學習》就一直在講這些東西,很久前網際網路上就在用貝葉斯演算法過濾垃圾郵件了,今天看起來也沒有什麼本質的改進。

  後來我琢磨了很久,發現大家講的大資料其實沒有什麼特別的,就是資料特別多,再加上點演算法分析,就能叫自己大資料了。每當這種時候我就會懷疑是不是自己出了問題,因為別人都講的挺來勁的啊?

  但真要說有什麼特別的,我覺得還是有的,只是不知道其他人的想法是否和我一樣。我認為的大資料,是一種思想的改變,是一種不一樣的觀察這個世界 的角度。因為資料化讓我們看到了事物的整體,所以我們看問題也從區域性變成全域性了,這會讓我們面對同樣的問題時,比過去要高效很多。

  舉個簡單的例子,圍棋這個遊戲,是典型的「a minute to learn,a lifetime to master」。初學者和職業棋手之間的差距,不僅在於天賦和經驗。對於圍棋的初學者來說,熟悉規則後,下棋的過程是跟著感覺,愛怎麼走就怎麼走。但是真 正的職業棋手不是這麼下的,他們每天都會做大量的死活題,在他們的腦海裡,因為記憶了幾萬道死活棋型,以及很多定式和手筋,所以面對初學者時,基本上能夠 做到出現什麼局面,都有對應的一種應對方法。

  職業棋手已經可以做到部分窮舉棋盤上的變化,所以面對初學者時,就像一個高維度的智慧體面對低維度的智慧體一樣輕鬆。這種對棋盤變化的窮舉和記憶,我認為就是大資料。

  同樣的,在電影「中國合夥人」裡有這麼一個片段:新夢想(新東方原型)面對美國人的起訴,美國人認為中國學生作弊了,他們不可能考出那麼高的 分。此時成東青(俞敏洪原型)拿起了一本書,讓對方隨意翻到某一頁,他就能把那頁的內容背誦出來 — 這是在來時的飛機上閒的蛋疼就把那本書給背了 — 美國人都看傻了。美國人可能永遠都無法想中國學生在面對 GRE 考試時居然會採用背字典這樣的笨辦法。

  像這種背字典、大量題海戰術的方式,我認為也是大資料。這樣的方式背後的付出是艱辛的,資料量和「計算量」都很大,不會背字典和題庫的美國學生當然會考不過中國學生了。

  所以,我認為大資料最終帶給我們的,是一種全新的思考方式。一方面我們看問題的角度從區域性擴充套件到了整體,今天的計算能力已經足夠支撐我們去看到事物的全部;另一方面,我們又可以根據這種思路,去創造和收集過去被我們忽視的資料。

  大資料,不僅僅是大而已。

  ==== 道哥的黑板報 ====

  來自: taosay.net

相關文章