什麼是大資料？

什麼是大資料？

 

 

隨著雲時代的來臨，大資料（big data ）也吸引了越來越多的關注。那麼，大資料究竟是什麼呢？它的定義、結構、特點是什麼呢？它又能應用在哪些方面呢？相信透過這篇文章你可以對大資料有一個全新全面的認識。

 

一、定義

 

大資料（big data ），指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。

 

 

 

二、特點

 

國際商業機器公司（簡稱：IBM ）提出了大資料的5V 特點，即：Volume （大量）、Velocity （高速）、Variety （多樣）、Value （低價值密度）、Veracity （真實性）。

 

三、結構

 

大資料包括結構化、半結構化和非結構化資料，非結構化資料越來越成為資料的主要部分。據IDC 的調查報告顯示：企業中80% 的資料都是非結構化資料，這些資料每年都按指數增長60% 。

 

想要系統的認知大資料，必須要全面而細緻的分解它，著手從三個層面來展開：

 

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這裡從大資料的特徵定義理解行業對大資料的整體描繪和定性；從對大資料價值的探討來深入解析大資料的珍貴所在；洞悉大資料的發展趨勢；從大資料隱私這個特別而重要的視角審視人和資料之間的長久博弈。

 

第二層面是技術，技術是大資料價值體現的手段和前進的基石。在這裡分別從雲端計算、分散式處理技術、儲存技術和感知技術的發展來說明大資料從採集、處理、儲存到形成結果的整個過程。

 

第三層面是實踐，實踐是大資料的最終價值體現。在這裡分別從網際網路的大資料，政府的大資料，企業的大資料和個人的大資料四個方面來描繪大資料已經展現的美好景象及即將實現的藍圖。

 

四、應用

 

1. 洛杉磯警察局和加利福尼亞大學合作利用大資料預測犯罪的發生。

 

2.google 流感趨勢(Google Flu Trends) 利用搜關鍵詞預測禽流感的散佈。

 

3.. 統計學家內特. 西爾弗(Nate Silver) 利用大資料預測2012 美國選舉結果。

 

4.. 麻省理工學院利用手機定位資料和交通資料建立城市規劃。

 

5. 梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS 的系統對多達7300 萬種貨品進行實時調價。

 

6. 醫療行業早就遇到了海量資料和非結構化資料的挑戰，而近年來很多國家都在積極推進醫療資訊化發展，這使得很多醫療機構有資金來做大資料分析。

 

透過以上幾個方面說明：現在已經迎來了大資料時代。因此大資料開發成為各企業非常看重的一部分，對這方面的人才需求也逐漸增多。