什麼是大資料？大資料能做什麼？

2013年被稱為大資料元年，各行各業都逐漸開啟大資料應用時代。直至現在，大資料依然為人所津津樂道。

何為大資料？

1PB夠大嗎？

如果你沒有直觀印象，可以聯想一下你的電腦硬碟容量，標配是500G-1TB，大部分人用了一兩年，可能這部分容量都沒用完。而1PB=1024TB=1048576GB。

在實際中，一個小有名氣的遊戲一天的資料量就在數十TB左右，甚至更多。

如果你以為PB單位已經是最大了？那就大錯特錯了！！！！

在PB之上，還有EB（Exabyte 百億億位元組 艾位元組），ZB（Zettabyte 十萬億億位元組 澤位元組），YB（Yottabyte 一億億億位元組 堯位元組），而這些單位也只是為了方便統計海量資料所給出的當前單位，在未來還可能出現更大的單位。

因特爾公司執行長Brian Krzanich表示，2020年網際網路使用者每天將產生1.5GB的資料。

HIS資料預測，到2025年，全球網際網路（IoT）連線裝置的總安裝量預計將達到754.4億，這部分裝置每天產生的資料量可想而知。

按照前面的資料關係，得出1ZB大概是1.1萬億GB，等同於全世界沙子數量總和。

從上圖中不難看出，網際網路資料每年都在爆炸式增長。當然，大資料並不只是資料量大而已，它還有其他更深的含義。

對於大資料，麥肯錫全球研究所給出的定義是：

”一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合。“

大資料具有五大特點，稱為5V。

1. 多樣（Variety）

大資料的多樣性是指資料的種類和來源是多樣化的，資料可以是結構化的、半結構化的以及非結構化的，資料的呈現形式包括但不僅限於文字，影像，視訊，HTML頁面等等。

2. 大量（Volume）

大資料的大量性是指資料量的大小，這個就是上面筆者介紹的內容，不再贅述。

3. 高速（Velocity）

大資料的高速性是指資料增長快速，處理快速，每一天，各行各業的資料都在呈現指數性爆炸增長。在許多場景下，資料都具有時效性，如搜尋引擎要在幾秒中內呈現出使用者所需資料。企業或系統在面對快速增長的海量資料時，必須要高速處理，快速響應。

4. 低價值密度（Value）

大資料的低價值密度性是指在海量的資料來源中，真正有價值的資料少之又少，許多資料可能是錯誤的，是不完整的，是無法利用的。總體而言，有價值的資料佔據資料總量的密度極低，提煉資料好比浪裡淘沙。

5. 真實性（Veracity）

大資料的真實性是指資料的準確度和可信賴度，代表資料的質量。

資料一直都在，變革的是方式

大資料的意義不僅僅在於生產和掌握龐大的資料資訊，更重要的是對有價值的資料進行專業化處理。

人類從來不缺資料，缺的是對資料進行深度價值挖掘與利用。可以說，從人類社會有了文字以來，資料就開始存在了，現在亦是如此。這其中唯一改變的是資料從產生，到記錄，再到使用這整個流程的形式。

1. 資料生產

在人類社會的早期，民以食為天，資料的產生大多與商品，食物，土地等掛鉤。舊石器時代的部落人民在樹枝或骨頭上刻下凹痕來記錄日常的交易活動或物品供應。

為了衡量商品長度，中國人發明了尺、裡、寸、丈、步、仞等長度單位；為了衡量重量，發明了升、鬥，斛等重量單位。

在網際網路時代，資料的生產變得更為容易。美國網際網路資料中心曾指出，網際網路上的資料每年都將增長50%，每兩年便將翻一倍，而目前世界上90%以上的資料是最近幾年才產生的。

每人每天都會產生海量資料，如視訊資料，電商資料，社交資料等等。

全球每60秒產生的資料

2. 資料記錄

千年之前，人們用龜甲石鼓、簡牘絹帛到造紙術成熟後的刻本等一切觸手可及的器物來作為資料的載體。

千年之後，人們用圖書，報紙，硬碟，光碟，儲存器等各種更為靈活，簡便的方式記錄資料。

3. 資料利用

古人利用利用甲骨文占卜判斷凶吉，利用占星術預測朝代興衰；利用螞蟻搬家，燕子低飛，蚯蚓出洞來預測天氣。

網際網路時代，企業或產品利用電商資料為使用者推薦商品，利用社交資料做廣告營銷等等。

在大資料概念興起之前，大部分企業並沒有注意到資料的寶貴价值，只是在純粹的生產和記錄資料。更有甚者視海量資料為累贅，因為資料的儲存與管理需要耗費企業大量的成本，極少有企業能把資料作為一種資源，嗅到大資料背後的價值，從而加以利用。就算到現在，資料資源的整合利用能力依然是考驗每個企業的一大難點。

大資料應用

大資料作為一個能夠改變產業應用的技術，只有切實落地才能帶來真正的價值。

其實大資料的應用範圍非常廣，不單單限於網際網路行業，在其他諸如金融，製造業，交通物流方面也都有非常大的應用價值。

1. 大資料讓借貸款更加放心

在金融行業中，以借貸款為例。在貸款前，貸款借出方會先利用大資料對借款人進行貸前稽核，以此來保障貸後的還款率。

借出方從各個渠道合法收集借款人的標籤資訊，如學歷，職業，薪資狀況，歷史借還款情況等（據說一個使用者的標籤維度可以達到7000個）。海量資料被放入反欺詐模型，還款能力模型，身份驗證模型等數箇中做訓練，最終得出是否通過本次貸款申請，貸款的額度，貸款人的還款意願等評估資訊。

借款人資料收集的越多，標籤維度越細，資料越真實，則稽核效果越全面。

2. 大資料讓廣告營銷更高效

廣告作為網際網路行業最常見的變現手段之一，大資料賦能廣告營銷，讓廣告從惹人惱轉變為廣告即內容，廣告即服務。

曾幾何時，你會發現日常生活中看到的廣告居然那麼懂你。點開淘寶，你最愛的商品被推薦在Banner首頁；開啟微信朋友圈，映入眼簾的是你正想要做的汽車保養；開啟百度搜尋，你前兩天看的別墅資訊赫然出現。

這一切的實現都得益於大資料賦能廣告。

在廣告投放前期，通過大資料手段大量的整合、分析資料，包括使用者的瀏覽習慣、消費行為、瀏覽記錄、對廣告的點選數量等，並從中挖掘出有效的資訊；構建全面的使用者畫像，結合廣告業務，精準定位目標使用者，保證廣告定向投放。

大資料構建使用者畫像

在廣告投放的中後期，通過實時資料反饋，結合使用者所處地域，時間的變化，動態優化廣告素材，調整廣告的呈現方式與廣告的展覽位置，讓同一個使用者在不同的場景下享受不一樣的廣告服務，實現一人千面，增加廣告營銷效果，提升廣告主KPI。

3. 大資料賦能零售

新零售時代，客戶的需求無時無刻不在變化，大資料賦能零售，讓零售在人，貨，場上進行變革。

零售商可以藉助大資料對未來市場需求進行預測，搶先一步對庫存進行管理。在流量高發的前期，及時補足庫存，提升商品供應率；在流量散去的前期，及時去庫存，避免庫存積壓。

藉助大資料分析使用者地域分佈情況，商店流量，消費者習慣等那個，在合適的地區開設商店，建造倉庫。在物流發貨時，從資料出發，合理規劃運輸路勁，降低運輸成本。

利用資料還可以統一上下游供應鏈互動，解決資料不對成問題，減小牛鞭效應，提升供應鏈中每個環節的利用效率。