關於大資料你應該瞭解的五件事兒

摘要： 本文從基本概念、行業趨勢、學習途徑等幾個方面介紹了大資料的相關內容，適合對大資料感興趣的讀者作為入門材料閱讀。

隨著科技的發展，目前已經步入了大資料的時代，很多社交媒體和網際網路公司也非常關注大資料這一行業。那麼對於大資料而言，這裡有五件事情是你應該瞭解的。

1.大資料是什麼？

簡單地說，大資料指的是通過計算分析大資料集，以揭示與資料某一方面相關的模式或趨勢。對於大資料而言，資料量沒有一定的要求，只要足夠得出可靠的結論即可。

請點選此處輸入圖片描述

M-brain從以下八個“V”方面說明大資料：

1.VOLUME：能夠發現自己想要的資訊嗎？

2.VALUE：當你最需要它的時候你能發現它嗎？

3.VERACITY：處理的是有用資訊還是虛假資訊？

4.VISUALISATION：一眼就能看明白嗎？它能促進決定嗎？

5.VARIETY：一張圖比一千個詞更有價值嗎？獲得的資訊均衡嗎？

6.VELOCITY：從資訊獲得動力，危機和機遇同時存在，未來的前景會如何？

7.VISCOSITY：是否受到困擾？需要採取進一步行動嗎？

8.VIRALITY：它是否傳達了一個可以貼上到演示文件中的資訊？

2.如何能夠接觸大資料？

資料在現實生活中無處不在，而且隨著時間的推移會積累的越來越多。通過谷歌搜尋就可以使你幾乎能夠找到所有的資料庫。很多人不知道那些已經存在的資料可供訪問和分析，如果你不知道的話，可以在KD Nuggets網站上找到可供訪問和挖掘的資料列表。如何訪問和使用這些資料主要分為以下六個方面：

資料提取

在進行任何事情之前，都需要使用一些資料。現實中可以通過多種方式獲得所需要的資料，但通常的做法是通過API呼叫公司的web服務獲得相關資料。

資料儲存

大資料面臨的主要難題之一是如何儲存並管理它，這完全取決於負責建立資料儲存的預算和個人具備的專業知識，因為對於大多數資料管理者來說，都需要具備一些程式設計方面的知識。良好設計的資料庫允許使用者安全地、直接地儲存和查詢資料。

資料清洗

不管你喜歡與否，資料集有各種各樣的形式和大小。在考慮如何儲存資料之前，需要確保它是乾淨的，且轉化成能夠被接受的格式。

資料探勘

資料探勘是從資料庫中洞察一些資訊的過程，這樣做的目的是根據當前持有的資料提供預測並作出決定。

資料分析

一旦收集了所有的資料後，就需要對其進行相關任務的分析、尋找有趣的模型或趨勢。優秀的資料分析師會發現一些不同尋常的東西或其他人之前沒有發現的內容。

資料視覺化

對於資料處理而言，對其最重要的可能是資料視覺化。視覺化是在完成所有工作後輸出一個能被任何人理解的視覺化載體，這可以通過使用程式語言（如Plot.ly、d3.js）或軟體（如Tableau）實現。

3.與大資料相關的職業

隨著市場對大資料相關需求的增加，與之相關的職業需求數量也在上升。根據相關機構的統計研究，一個大資料工程師每年的平均工資是150000美元。

請點選此處輸入圖片描述

根據相關研究報導，超過80%的資料科學家有碩士學位，使得他們能夠從事這個領域的任何工作。

4.新興行業

簡而言之，大資料行業是一個正在快速成長的行業。很多公司和個人都對大資料非常關注，下圖是谷歌趨勢圖。從下圖中可以看到，搜尋詞“大資料”從2004年到現在的流行程度增長迅猛。

請點選此處輸入圖片描述

根據IDC提供的資料，“大資料和業務分析（BDA）”在2017年的全球收入達到150.8億美元，比2016年同比增長12.4%。估計到2020年底，大資料的全球收入可能達到210億美元。

5.如何學習

大資料是一個寬泛的主題，因此所需要學習的內容涵蓋多方面的知識。想要從事該領域工作的人們需要具備一系列的特定技能，包括以下技能中的一個或多個：

1.掌握一種與資料分析有關的程式語言，比如R、Python、SAS和SQL語言等

2.對數學和統計學有很好的理解與掌握

3.具備網頁爬蟲經驗

4.基本的Excel技能

一些網站提供線上大資料課程，比如Coursera、Simpli Learn等。如果你正在尋找一個大學線上課程，可以從Masters Portal列出的全英國95個資料科學和大資料碩士課程中選擇一個適合自己的課程，典型的教學大綱可能包括以下幾個方面：

1.與大資料相關的數學知識

2.Python指令碼

3.大資料的商業和科學應用

4.大型資料庫和非關係型資料庫，包括MongoDb、Cassandra和Neo4j

5.資料分析、機器學習和使用Weka、R和Scikit-Learn視覺化資料

6.大問題的優化和探索

7.使用Hadoop、Spark、Hive和MapReduce叢集計算

對大資料感興趣的朋友可以加入到我們的程式設計師OfHomeQQ群：610535338 群裡有都是從事或者在學習大資料的朋友，在此我也邀請你進群一起學習，群內沒有廣告，也是禁止打廣告的，大家也可以關注一下我的微信公共號“程式設計師OfHome”下方掃掃可關注。