五個故事瞭解大資料

    
     你是否知道我們生活在什麼樣的資訊世界？全球每天會有220萬TB的新資料增加，而如今，90%的資料都是在過去的兩年裡創造出來的，這個比例還在不斷上升。

大資料一詞正是在這樣的背景下產生，而大資料的潛在價值存在於對資料的分析和挖掘，領先的機構熱衷於在大量的無效資料裡去淘得一絲金線，這樣的案例已經在社會中嶄露頭角，通過5個來自不同領域的個案來認識大資料能夠給我們帶來什麼。

資料從何而來 
    資訊量的膨脹化——資料越來越龐大，民用的容量單位MB（兆）、GB（吉）已發展到常用TB（太）甚至是PB（1000個T）來丈量。過去常用的“資訊爆炸”、“海里資料”等詞彙也不能滿足這個發展中的新現象。
    大資料一說首先被全球各大IT企業所重視，這些企業基於自身的商業目標，對大資料做了各種解釋，一條共識是：“大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的資料集合。”
    從這一個側面表明，大資料帶來的挑戰在於它的實時處理，而資料本身也從結構性資料轉向了非結構性資料的變化，例如現代人每天用手機拍照上傳的照片和視訊等。從潛在的機會看，通訊和網路公司是掌握大資料最容易的途徑，海量的使用者基礎，如果能夠充分利用，就可以探索個性化，精確化和智慧化地廣告推送和服務推廣。同時，企業也可以通過對大資料的把握，更好地開發新產品和新服務，降低運營成本。
    Facebook作為目前最大的社交平臺，坐擁數億計的使用者群，上傳照片數達到3億張，每半小時通過Hive掃描的資料就達105TB之多，而Facebook的工程總監Parikh解釋了這些資料對於公司的意義：“大資料的意義在於真正對你的生意有內在的洞見。如果你不能好好利用自己收集到的資料，那你只是空有一堆資料而已，不叫大資料。”所以，如何利用大資料的潛在價值就成了目前領先的企業競相追逐的新述求，這樣的價值不僅侷限在IT領域，覆蓋全球性業務的企業也同樣具有資料採集和分析的構架基礎，同時政府作為民用之途和資訊監控也同樣可以通過大資料分析有利價值。

1 產品

跑步時都愛聽黑眼豆豆

Nike作為全球最大的運動品牌公司之一，曾在官網上公佈了這樣兩則資訊：“在冬天，美國人比歐洲和非洲人都更喜歡跑步這項運動，但美國人平均每次跑步的長度和時間都比歐洲人短”，所以Nike計劃在不同的市場區域做好不同的產品劃分，運動鞋的設計也根據區域的不同做了獨立調整。另外“在全球跑步愛好者中，每次的人均跑步時間為35分鐘。同時，在跑步中聽取的音樂，點播率最高的是黑眼豆豆的《Pump it》”。時間和歌曲的具體資訊，都可以直接影響了Nike在下階段市場營銷的新想法。

 

解析：運動中的資料價值
     Nike的成功和市場上的特立獨行正是來源於對自身產品和消費者的資料探勘，早在2006年Nike就和蘋果公司合作釋出了捆綁iPod的NikePlus產品和平臺。

通過運動鞋裡的一個感測器系統，使用者在跑步時的相關資料會被紀錄在Nike全球資料庫裡，NikePlus.com上有實時資料更新，使用者對自己跑步的公里數，消耗的卡路里以及路徑都瞭如指掌，還可以分享並關注朋友們取得的進步，這個創新不僅僅為NikePlus 變成了體育運動愛好者的Facebook，Nike成功建立了全球最大的運動相關的網上社群（超過5百萬的活躍註冊使用者，上傳超過幾十億公里數和幾百億卡路里數）。

2 消費

誰最能瞭解女性

今年年初發生在美國的一件趣聞，一名男子闖入了他家附近的超市（Target）“你們怎麼能這樣！”男人向店鋪經理大吼到，“你們竟然給我17歲的女兒發嬰兒尿片和童車的優惠券，她才17歲啊！”店鋪經理不知道發生了什麼，立刻向來者道歉，表明那肯定是個誤會。然而，經理沒有意識到，公司正在執行一套大資料系統。一個月後，這個憤怒的父親打來電話道歉，因為Target發來的嬰兒用品促銷廣告並不是誤發，他的女兒的確懷孕了。  

 

解析：資料追蹤顧客的需求
     大資料的價值在美國的零售業早已得到運用，以Tesco為例，這家全球利潤第二大的零售商從其會員卡的使用者購買記錄中，充分了解一個使用者是什麼“類別”的客人，並基於這些分類進行一系列的業務活動，比如，Target建立了一套女性購買行為在懷孕期間產生變化的模型，不僅如此，如果使用者從他們的店鋪中購買了嬰兒用品，Target在接下來的幾年中會根據嬰兒的生長週期情況定期給這些顧客推送相關產品，使這些客戶形成長期的忠誠度。 

諸如此類的應用，在國際零售行業巨頭中已屢見不鮮，我們以Target為例，是因為它的案例的確留給人強烈的印象：資料的力量，不僅讓商家提升了自己的業績，還讓客戶為之心甘情願買單。 

3 災害

海底地震的英雄

在發生海地地震時，海地人散落在全國各地，由於當地的通訊本身並不發達，援助機構為弄清該向哪裡提供援助而忙得四腳朝天，傳統上，他們只能通過飛臨災區上空或趕赴災區現場來查詢需要援助的人群。另一邊，一家獨立的資訊分析平臺通過廣播公佈了手機簡訊緊急求助號碼，結果收到了數千條有關被困人員的資訊。散居在美國各地的大量海地裔美國人翻譯了這些資訊，並把它們標註在“危機地圖”上。Ushahidi志願者們向海地的美國海岸警衛隊傳送即時訊息，告訴他們搜尋地點。最終成功營救了當地居民。

 

    解析：資料救人一命

救命英雄正是來自東非肯亞的一個開源資料分析平臺——Ushahidi，它們一直收集和追蹤有關暴亂、難民、強姦、死亡等事件的簡訊報告工作，並按照報告者提供的位置在地圖上標明這些事件，並從中分析事件頻發的位置，並進行預測和加強管制。

  與新聞報導和災害應對小組相比，Ushahidi可以在更短的時間內收集到更多的證據，這些證據的基礎便是來源於對資料分析而進行準確的地理定位，通過在實時變化的地圖資訊來實施營救計劃，在災害面前，只有資料是最為冷靜和理性的。

4 治安

犯罪前就執行逮捕

總部位於美國猶他州桑迪市的SecureAlert監控中心曾經發現一個加州的假釋者每天下午2點左右都出現在同一個路口。根據進一步調查顯示，該路口是一個學校巴士停靠站。這裡本該是學生聚集的地方，四處也並無其他公共設施，相對人群較為稀少，於是該公司將這個情況上報到更高的層級，並且將該報告通知給當地警察部門，已做好預警準備。最終在假釋者試圖誘拐一名學生時，便衣警察直接將其逮捕，數月的路徑跟蹤在公堂上成為了有力證據。

 

   解析: 用資料抵禦犯罪，保衛和平

SecureAlert公司其實是一家GPS定位技術的提供者，公司正致力於通過進一步自動化從監控到地理位置調查的過程來增強系統的預測能力。實際上，SecureAlert公司提供的了一種內建GPS功能的腳環，這種腳環被應用於跟蹤預審被告、假釋罪犯和緩刑罪犯。該技術使得警察和法院能夠實時跟蹤和監控犯罪分子，有助於執法者提前預測犯罪行為。

SecureAlert的這項預測服務，原理並不複雜，複雜的是將類似的資料收集模式，從中分析作案途徑和手法，同時在任何時間內檢測到的犯罪分子活動的不尋常模式。

5 經濟

股市將被微博預測拿下？
     英國的一名80後外匯交易員保羅?霍廷從三位資訊學教授那獲得靈感，隨後聯手推出了一款利用Twitter來預測股票走勢的對衝基金Derwent Capital，並大膽承諾，公司推出的交易策略可以獲得的年回報率高達15-20%。如此的雄心豪情來源於公司成功的測試效率，他們通過Twitter上的情緒性詞語可以在一定程度用於預測道瓊斯工業指數的變化。結果表明人們在網上的情緒變化會在2-6天后影響到指數的變化，研究者稱，這使得他們預測的成功率高達87.6%。

 

   解析：資料探勘進行時

Derwent的創始者們並非最早利用Twitter預測能力的人。這家微博網站目前已有高達2億使用者群體，早就被用來預測從電影票房到美國和英國選舉的所有事情。而Derwent公司利用計算機程式，每天通過對3億條推文的抽樣，抓取例如“我感覺”、“我認為”、“讓我覺得”等表達投資者和公眾情緒的語句進行分析、歸納，然後做出推斷。他們的試驗雖然有待時間的校驗，大資料探勘的價值已經成為不可輕視的科學熱流。

---

更多大資料技術分享，請關注微信公眾號：ganhuo1024

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30316686/viewspace-2072219/，如需轉載，請註明出處，否則將追究法律責任。