大資料創業,資料哪裡來?需要跨過幾道坎?

佚名發表於2015-04-27

  爾等屌絲沒有資料,如何玩呢?首先,你可以透過第三方購買資料,比如說,資料堂就有很多資料出售和分享;其次,你可以用爬蟲爬回一些資料來儲存;再者,透過給企業、開發者、站長等等授權使用大資料工具來積累資料。最後,使用免費的政府、企業、和機構開放資料。

大資料

  這篇文章考慮了很久也沒下筆,一方面想寫得乾貨一些,一方面又想寫得引人入勝一些,糾結來糾結去,終於決定還是以一箇中立的使用者角度去寫,儘量寫得大眾化一些。

  2013年5月10日,在淘寶十週年晚會-馬雲退休演講中,馬雲說:這是一個變化的時代。還有人沒搞清楚PC,移動網際網路來了;還沒搞清楚移動網際網路,大資料來了。而變化的時代是年輕人的時代。

  馬雲說的這句話很關鍵,他不僅提到了大資料,而且更是用一句話闡述了網際網路從PC時代,進化到移動網際網路時代,然後從移動網際網路時代進階到了大資料時代。有幾個關鍵點很重要:PC時代,全球催生了大量的網際網路上市企業,包括谷歌、亞馬遜、新浪、搜狐、新東方等等;

  移動網際網路時代,中國創業熱潮風生水起,不僅有大量的移動網際網路(包括手遊)企業赴美上市,更是誕生了無數個創業奇蹟。移動網際網路不僅為我們的生活帶來了便利,更是把創業熱潮推向了歷史最高峰。

  現在問題來了,大資料時代,創業熱潮是不是應該比移動網際網路時代更加熱鬧呢?大資料時代如何創業?大資料創業的門檻又有哪些呢?

  先回答第一個問題:大資料時代,創業熱潮是不是應該比移動網際網路時代更加熱鬧呢?

  據我瞭解,不是。走在中關村創業大街上,你能收到的100份融資BP裡,可能有99份都是APP和O2O專案,但99家裡90%以上會重視大資料。

  那麼大資料時代如何創業呢?請先了解一下大資料的創業門檻。

  門檻一:資料

  大資料大資料,沒有資料怎麼玩?那麼資料從哪裡來呢?

  像百度、騰訊和阿里巴巴這樣的BAT企業,本身就積累了大量的資料,所以他們玩起大資料來,多半是“悶聲發大財”。當然了,也可以說幾句BAT企業玩大資料的例子,比如說百度旗下的“百度遷徙”、“百度精算”、“百度輿情”、“百度大資料預測引擎”等等,都是百度的大資料產品應用;阿里巴巴的話,“阿里雲”、“支付寶-花唄”、“支付寶-借唄”“芝麻信用”、“螞蟻金服”等等,都應有了大資料技術。而騰訊方面,“騰訊廣點通”、“騰訊雲分析”和微信等也都引用了大資料技術。

  爾等屌絲沒有資料,如何玩呢?

  首先,你可以透過第三方購買資料,比如說,資料堂就有很多資料出售和分享;

  其次,你可以用爬蟲爬回一些資料來儲存;

  再者,透過給企業、開發者、站長等等授權使用大資料工具來積累資料。這方面的新創企業包括Talkingdata、友盟和DataEye等。

  最後,使用免費的政府、企業、和機構開放資料。比如說高德資料的API介面和微博商業資料API介面等等。

  總體來說,解決好資料來源是大資料創業的必要門檻。關鍵看你創業的專案是什麼。

  門檻二:硬體

  在北京,我曾經參觀過一家大資料初創企業,當時他們還沒有拿到融資。我去他們的辦公區發現一幕特別心酸的事情。他們的員工擠在一間很小的屋子裡辦公,而兩件較大的屋子都用來安放大資料儲存伺服器。大資料的儲存量是很驚人的,這對機房和硬體裝置也提出了新的挑戰。

  這一點和移動網際網路不太一樣,你做一個APP,用電腦搞開發,伺服器用雲伺服器就行,按需購買。但是大資料不行,你沒法把自家的資料儲存在別人的雲伺服器上,一方面是安全因素,另外一方面也有產權因素。硬體也是大資料創業的門檻之一,但不是最大 的門檻。順便補充一句,我曾經參觀過的那家大資料新創企業,目前已完成百萬美元的A輪融資,現在他們家的辦公區特別寬敞,恭喜星圖資料。

  門檻三:人才

  我認為大資料創業的最大門檻在於人才。和做APP不一樣,大資料創業你一個人乃至幾個人都是沒法玩轉的。初創企業你就往10-15人這樣的團隊先招人吧,這樣的團隊要包括Hadoop工程師、演算法工程師,資料建模工程師、架構師、NoSQL工程師、BI工程師等等,全都是技術要求較高、薪資要求也很高的人才。大資料人才有多貴?在美國,在R、NoSQL和MapReduce方面需求的專業人才薪水達到了每年約11萬5千美元,在中國也便宜不到哪裡去,沒有年薪30萬,你很難招到一個大資料人才。

  據中國商業聯合會資料分析專業委員會統計,未來中國基礎性資料分析人才缺口將達到1400萬,而在BAT企業招聘的職位裡,60%以上都在招大資料人才。也就是說,技術很牛的大資料人才,他的選擇面很寬,要麼早就進入BAT企業,要麼也是在不錯的企業拿著高薪,你要挖這樣的人才,除了錢,股票、期權、福利等等,都是必須付出的代價。

  2015年-2016年是大資料人才最為匱乏的兩年,原因很簡單,各大剛剛開通了大資料科目的院校,學生還沒畢業;而招聘市場上的大資料人才需求量遠遠已經供不應求。除了BAT企業,通訊企業、電力企業、金融銀行行業、醫療行業、工業、遊戲行業等等,哪個行業不是都在招大資料人才?創業公司要在這麼嚴峻的人才環境中找到適合自己的大資料技術人才,門檻可不止是錢。

  門檻四:技術

  說了人才,就要說技術了。大資料技術不是你懂C++或者R語言就夠了的,大資料有一整套自己的技術體系,包括統計、程式設計、JAVA、資料庫、Hadoop、Spark、NoSQL、機器學習、自然語言處理、演算法、資料視覺化等等技術。光是Hadoop需要用到的技術和程式語言就有很

  多項。而且市面上的大資料工具每家用的還不一樣,用開源軟體(如Hadoop、Spark)或者用SAP(SAP HANA)需要的技術也不一樣。技術要求較高,而擁有大資料綜合技術的人才又較少,這也成為了制約大資料創業的最大問題。

  門檻五:錢

  其實我不想寫錢,但是又必須寫錢。大資料行業創業不缺資本,只要你創業專案的商業模式沒問題,並且技術能力強,且團隊靠譜,無論在中國還是在美國,融個A輪還是沒有問題的,資本關注度很熱。但是你在拿到融資之前,自己啟動的資金就需要一大筆。人才、硬體

  和技術成本都較高。

  這麼理解吧,如果說,幾個好朋友湊50萬花3個月可以做一個APP專案,那麼要在大資料行業創業的話,請先準備600-800萬再來玩。

  門檻六:商業模式

  中國網際網路上最賺錢的行業是什麼?我認為是電子商務和網路遊戲。電子商務和網路遊戲也是網際網路變現最快的行業。而大資料,它的變現能力不如網路遊戲和電子商務那般簡單直接。在我拜訪過的很多企業中,他們手裡有錢、有資料、有人才也有技術,但是他們不知道自己手裡的資料可以拿來做什麼。

  也就是說,大資料目前沒有最明朗最直接的商業模式。大資料只有和業務場景結合,才能產生價值。

  大資料就像石油原油一樣,你知道它在哪裡,你可以開採它,但是開採出來你還需要冶煉,並且經過減壓蒸餾、加氫精制、溶劑精製、溶劑脫蠟等煉製過程,成為成品油後運送到各個加油站,讓汽車加滿油後產生了動力才實現最終價值。大資料也一樣,需要一整套複雜 的過程才能實現商業價值。

  那麼你可能會問了,大資料交易算不算是商業模式呢?我個人覺得,要看交易的是什麼東西?原始的非結構化的資料,後面資料清洗需要太多的工序,資料儲存也是很大的成本,這樣的交易代價太高。我相信無論是企業使用者也好,還是個人使用者也好,大家更傾向於購買“拿來就能用”的大資料資料來源。

  你說京東和騰訊完成首筆大資料交易,我覺得就是一個笑話,京東和騰訊的大資料不早就整合在一起了麼?我用微信直接就能在京東購物,資料是互通的,何必交易?

  所以說,大資料創業最難的還是在於商業模式的思考,如果你沒有找到一條讓大資料變現的渠道,那麼千萬不要忙著拉團隊創業。大資料行業創業,光有idea是不夠的,跑通整個商業模式才是關鍵。

  回答最初的問題來,大資料如何創業呢?我認為是:

  一、找到一個大資料商業突破口;搞清楚你要用大資料解決什麼問題,你的使用者是誰?商業邏輯是什麼?

  二、找到一筆啟動資金;

  三、最好自己就懂一些大資料相關技術。

  四、找到幾個可以與你同甘共苦的夥伴。

  五、找到你的資料來源,最好是獨家的資料來源。

  事實上,其實我認為目前不要著急去做大資料專案,做大資料處理工具是個不錯的方向,可以先從做BI(商業智慧)、CRM、ERP系統開始,等你有了客戶,有了資料之後,迴轉頭來做大資料專案,會更加水到渠成。

  下面回答兩個大家經常問的問題:

  大資料人才培訓算不算大資料專案呢?我認為不是,它應該叫做培訓/教育專案。

  那麼市面上那麼多的大資料培訓企業,選哪家好呢?

  我的回答是,都不選。如果你是技術類應屆畢業生,建議先找份實習的工作,找個靠譜的師父跟著學,一邊做專案,一遍自學大資料相關知識,遇到不懂不明白的直接問師父好了。實踐比學習更重要。如果你不懂技術,那麼請先學習計算機基本程式設計技術,把C語言和C++ 等學會。學完再來想,自己到底還要學什麼。

  大資料培訓不是針對沒有技術的底層人員,而是需要一定的技術基礎的。如果你的資料分析技術為0,那麼可以先學好excel,心急可吃不了熱豆腐哦。

相關文章