摘要：除了報表統計外，還需要對資料的有很強的解讀能力。電商中的個性推薦技術，商業與銀行中的欺騙檢測，智慧手機中語音識別等等技術，讓我們渾身便散發出大資料與機器學習的各種場資訊，給人以滿滿的正能量。
01 資料場
學過物理的小夥伴，都知道世界充滿了電場和磁場。瞭解過佛學的人，都知道世界充滿了念力場與資訊場，通過資訊場，可以與更高一級的文明進行溝通。
有的人一出現，渾身便會散發出強大的氣場。現在是資料時代，整天和資料打交道，要培養自己的資料場。開句玩笑的話，以後往人群中一站，還未開口，渾身便散發出大資料與機器學習的各種場資訊，給人以滿滿的正能量。
說起“大資料”一詞，也是真正被吵夠了。連做個簡單的統計也叫大資料，做個表格、畫個圖形出來，就叫大資料了。凡是不和“大資料”沾邊，就感覺已經落伍了。其實，很多人除了知道簡單的統計外，根本不瞭解大資料是什麼。甚至連Hadoop都不知為何物，更別談機器學習了。
大資料是一個概念也是一門技術，是在以Hadoop為代表的大資料平臺框架上進行的各種資料分析技術。包括了實時資料處理、離線資料處理；還包括了資料分析，資料探勘，和用機器學習演算法進行預測分析。
概念吵著吵著就變味了。用“大資料”來代表一切，有些不太合理。目前比較合適的一個詞是資料科學（Data Science），做資料科學的可以叫資料科學家。當然真正到科學家這個級別，要求是非常高的，需要有完整的資料知識體系。
也許小時候的夢想就是當科學家，現在終於不用上博士就可以實現了。雖然很多都只是自己團隊或者公司封的職位。接下來，可以看看，在資料方面上，大概有哪些職位。
02 資料職位
限於個人的閱歷與認識，在此只是列舉其中一部分出來。
2.1 開發相關
主要有資料抓取，也即通常說的網路爬蟲。需要考慮資料抓取的實時性與完整性，還有資料及時更新，資料去重等等。嚴格來說，和通常意義上的大資料相關性不大，主要是後端開發的一系列技術，其中也會涉及分散式的一些技術。
ETL開發，ETL為Extract、Transform和Load的縮寫，即資料抽取，轉換與裝載。將各種來源的資料進行收集、規範和儲存起來。可以是離線的方式，儲存在以Hadoop為代表的大資料叢集中。也可以是實時的展現在報表系統中。如果是實時的，也叫實時資料流開發，通常和Storm框架或者Spark Streaming技術相關。
Hadoop平臺開發，專指以大資料框架為基礎，並在此基礎上進行二次開發或者資料流開發。對資料平臺做開發與改進，只能是程式設計師的工作了，根據業務需求，對現有的平臺進行改進與優化。因為是平臺相關的，通常需要Java與Scala的專業程式設計師，這塊和資料分析基本沒有太大關係。
另外還有純前端的資料視覺化技術開發，或者純運維的大資料叢集管理等等。
2.2 報表分析
商業智慧分析，包括報表分析，運營或者銷售分析，這一塊以Excell、SPSS和R為代表。主要是指對針對具體業務，對現有的資料進行統計分析，期待從中發現一些規律與趨勢。
資料分析報表，也是最常用的資料分析師職位的一些工作，通常產出以報表為主。這塊很多時候會與運營部門的需求相關，技術上主要以成熟的工具為主。
當資料量一大，就會涉及在叢集環境下的分析，分析師通常很熟悉SQL，這也是構建於Hadoop之上的Hive能被大眾熟悉的原因。
除了報表統計外，還需要對資料的有很強的解讀能力，能分析和解讀出一些現象產生的原因，同時需要針對這些問題，提出一些可能的應對方案，以便對業務策略或者商業方向上有更多的指導。
一些專業領域分析，如網路安全分析，金融領域分析。這些領域的分析，通常需要用領域知識，深入現象背後去挖掘出產生的原因，不僅要具有很強的分析能力，也需要很強的領域知識。
2.3 演算法挖掘
做為資料科學中的重頭戲，便是資料探勘和機器學習了。線上電商中的個性推薦技術，商業與銀行中的欺騙檢測，智慧手機中語音識別（Siri），機器翻譯，影像識別等等。
涉及大量機器學習演算法，包括分類、聚類和個性推薦等常用資料探勘技術。也包括資料分析的很多基礎，和資料分析偏重的報表產出並不同，並不強調產出大量的報表，通常是在現有資料基礎上的產出新資料，用於服務業務系統。
還可以推廣到人工智慧，其中涉及大量的資料處理與挖掘技術。比如機器人，無人駕駛，總之是儘量的在某些領域達到或者超過人類。人類能處理如下內容：
Number: 資料（數）
NLP: 自然語言處理（文字）
Pic： 影像處理（圖片）
Voice: 語音識別（語音）
Video: 視訊處理（視訊）
個性推薦: （集體智慧與社交化）
其中會用到大量的機器學習演算法，包括深度學習，從而達到服務人類的目的。
03 生態與周邊
關於資料的統計、分析與挖掘，這些概念的側重點不一樣。資料統計，利用統計學的知識，產出資料和報表；資料分析，除了產出資料和報表外，還需要分析其中原因，最好能找出對應的策略；資料探勘，需要在資料分析的基礎上，發現新的，有價值的知識及潛在的規律。如果只是對原有的資料進行統計分析，而沒有對未知的事物進行預測，是不算資料探勘。
資料相關的職位各種各樣，我們要構建資料場時，抽取其中的各種技能出來，組成自己的技能表。最近讀到一篇文章：《機器學習職位需要的七個關鍵技能》
文章描述了機器學習需要的七個技能，以及需要這些技能的原因，主要技能如下：
- 程式語言(Python/C++/R/Java)；
- 概率與統計；
- 應用數學與演算法；
- 分散式計算；
- Unix/Linux工具集；
- 高階訊號處理技術(特徵提取)；
- 大量閱讀，適應快速變化，更新自己；
在下一篇文章中，我將描述我所認識的建立資料場的七大技能，歡迎繼續關注。
摘要：成為資料極客，建立自己的資料場需要哪些技能呢？遇到普通的資料，通過SQL做分析。如果資料量比較大，可以使用Hadoop等大資料框架處理。在深入挖掘上，可用Python或者R語言進行程式設計。
01 資料極客
上回書說到，資料科學家是具有資料相關的完整理論和知識的人，自然境界很高。做作一個普通的IT界碼農，成為資料科學家需要漫長的過程。那這個……，做不到資料科學家，我們還可以做個資料極客（Data Geek）嘛，挑戰資料極限，也是挑戰自己的極限。
那麼，成為資料極客，建立自己的資料場需要哪些技能呢？且不說那高深複雜的理論，僅從實用的角度來分析一下，建立資料場的七個方面。
02 七大技能
2.1 SQL與NoSQL技能
二維表格資料是最常用形式了，對二維資料的處理分析也是最基本的。傳統的SQL工具與大資料環境下的NoSQL工具中，以關係型的MySQL為代表，以文件型的MongoDB為代表，以大資料環境下的Hive代表。這都是資料分析的基礎而強大利器，在很多場合下都能快速的解決問題。
擴充套件的，還會有記憶體型資料庫Redis，圖資料庫Neo4j，還有全文索引的ElasticSearch和Solr，還有Hbase和Cassandra，這些根據具體的業務，選擇性的掌握其中一部分。
學到什麼程度並無定論，重點在具體的資料環境下，不至於永遠只知道MySQL這一個工具，在不同的場景，其它的資料庫能發揮出強大的優勢。
總結起來說，重點不是工具，而是資料。不僅要能處理結構化資料，還要處理半結構化資料，不僅能單機處理，還要在叢集環境下處理。
2.2 Linux工具集
Shell, AWK, sed, grep等基本工具集，這是很多資料簡單處理的得力助手，包含資料檔案編碼，資料合併，資料拆分，資料規範，格式驗證等等。
Linux指令碼能力，簡單服務配置能力，正規表示式能力，Vim或者Emacs編輯能力，檔案系統常用操作命令，遠端登入ssh等等，這些都能快速的處理很多問題。任何的分析或挖掘都會依託與一個系統，而Linux是其中最常用的，尤其是在伺服器環境。熟悉一個系統，能讓自己的資料科學工作事半功倍。
簡單的資料收集與處理，很多時候也會依賴於Linux系統或者基於其上的一系列工具，比如常用的Web伺服器引擎Nginx及其產生的日誌，常用的檔案傳輸scp或者rsync，常用的定時任務crontab等等這些工具，穩定又實用。
2.3 Python或者R語言生態
掌握一門分析專用語言，很有必要。其中以R語言和Python語言為代表。R起源於統計學，如今在資料科學領域也佔有強大的陣地。Python更是一門完整的程式語言，不論是Web開發、自動化運維、雲端計算，還是資料科學領域，都有眾多的使用者。兩者在資料分析中都有完整的生態圈，而且其它環境對這兩者的支援也是非常好的。
無意於爭端，全看個人喜好。本人只熟悉Python這塊生態，因此只討論這一塊相關的。最為大眾熟悉的一些包為：Numpy，Scipy, Pandas和Scikit-learn，Keras，解決了從資料分析到機器學習和深度學習的幾乎所有任務。
2.4 Hadoop與Spark生態
大資料平臺，無疑是以Hadoop和Spark為代表，無論線上處理還是離線分析。Hadoop比較適合離線處理。而線上處理中，Storm就是比較有名的。如果需要自己實現Map-Reduce或者對接資料之類的開發，程式語言中以Java和Scala為代表。
線上搜尋相關，估計會用前面說過的ElasticSearch或者Solr。當然，區別於hadoop的Map-Reduce流程，Spark提供的彈性資料集RDD，能作用於RDD上的運算元非常多，使得資料處理與分析更加方便。除此之外，Spark還提供了實時任務的Streaming，能實時的對資料進行處理與獲取結果。還有Spark SQL功能，尤其以其中的DataFrame重為重要。另外，ML與MLlib也是分散式機器學習的重要部分。
Spark是Hadoop生態圈中的有力補充，並非替代品，如果要說替代，那也只是替代了MapReduce分散式計算框架而已，分散式除錯與管理依然用Yarn，檔案系統依然會使用HDFS。
Hadoop發行版中，主要以三大廠商的Hadoop的為代表。Cloudera發行的CDH，Hortonworks發行的HDP，這兩個是目前各種大資料框架支援的主流，另外一家是修改了核心的MapR。
2.5 概率、統計與線性代數
對資料進行統計與分析，是需要統計學的基礎知識。另外，很多問題都可以轉化為一個概率問題，並不是要完全確定的結果，只要概率達滿足即可。概率論方面的主要是貝葉斯統計，隱馬爾可夫模型等之類的。這些都是深入理解演算法的基礎。
對資料的運算，很多時候就是直接矩陣運算，而涉及矩陣的各種運算也正是線性代數相關相關的問題。
機器學習之所以有效，是因為模型對資料的處理，最後都會變成一系列的數學優化問題，而且主要和凸優化知識相關。機器學習的各種計算，都是和數學密切相關。除了上面的概率、統計與線性代數，還會和微積分有一定的關係。
當然，但除非你深入研究演算法的核心原理或者寫學術論文需要，也不要被數學嚇到了。在機器學習應用過程中，並不會用到太多的數學知識。而且，也並不需要完全把上面這些課程學好了再來進行機器學習。計算機基於數學，但應用型的演算法，並不需要特別深厚的數學功底。如果以前課程學得不好也沒有太大的關係，很多知識到了關鍵時刻再補一下也不遲。
2.6 機器學習與深度學習
資料探勘與人工智慧中和演算法相關的部分，常用的分類演算法，聚類演算法是基礎。推廣開來，就是監督演算法與非監督演算法，監督演算法中，除了分類，還有迴歸。非監督演算法中，除了聚類，還有資料降維，還有用於個性推薦的關聯規則。另外，專門處理自然語言的機器學習也即NLP，或者文字資料探勘，是另外一個側重方向。
對演算法的理解，需要前面的統計與概率等等數學知識，還需要結合編碼能力，最好能自己實現一些演示演算法流程的Demo程式來輔助理解。實際應用中，最好以第三方庫為準，它們經過大量人員的測試，無論是效能還是演算法完整性上都會更好，自己實現的程式僅僅用於理解演算法流程即可。除非你對演算法理解很徹底，並且編碼能力也非常強，而且覺得現有的框架不能滿足你的使用。
除了演算法及其引數調優外，還有另外兩個重要的內容，特徵提取與模型評估。如何從原始資料中提取出用於演算法的特徵是很關鍵的。很多時候，不同演算法在效能差異上並不明顯，但不同的特徵提取方法，卻能產生比較大的差距。
在某種特徵上應用特定的演算法，還需要做的就是模型評估，如果評估一個模型是好還是壞，在一定程度上也體現了機器學習是否有效的依據。在特徵提取上，一個比較火熱的領域自然是深度學習了。源於多層神經網路，是一種非監督的特徵提取方法，更好的用於圖片、語音與視覺處理。值得一提的是，深度學習在很多地方的效能已經超過傳統的機器學習演算法。
2.7 業務及雜項
除上上面的純技術外，還有一些非技術上的技能。業務理解，商業洞察，溝通與交流能力，尤其以業務的理解能力為重要。資料是死的，無法更好的理解業務中的問題，也就無法更好的利用現有資料，甚至無法更好的解讀其中的結論。
理解業務通常需要一些專業的領域知識，比如做網路安全的，需要安全的一些基礎知識；做電商的，需要理解其中各個指標對當前銷售的影響；做二手車估值的，需要對二手車殘值評估有一定的瞭解。
除了業務知識外，還需要一定的文件與報表技能，比如Word、PPT與Markdown工具的使用，只有完整的文件與良好的表達，才更好體現資料所展現出來的效果。
另外，英文能力與寫作也同樣重要，需要經常閱讀一些英文文章。閱讀的主要目的，就是隨時更新自己的技能，擴充套件知識面。而寫作，就是自己知識積累的一種方式，將紙上的東西，變成自己的技能。
03 結尾
這兒列出的七項主要技能，和上一篇文章的7大技能基本相同。對於高階訊號處理，主要用於特徵提取，個人感覺目前可能通過學習神經網路與深度學習來解決，深度學習是專為解決特徵提取的問題而來。
七大技能，總結起來，就是熟悉一門Linux系統及其上的常用工具，遇到普通的資料，可以通過SQL來做簡單分析或者聚合。如果資料量比較大，可以使用Hadoop等大資料框架處理。在深入挖掘上，可用Python或者R語言進行程式設計，應用以概率統計為支撐的機器學習演算法。
要做好資料極客，只有在各種工具與技能基礎上，再加強自己的業務興趣點，配合個人的悟性而修行。果能如此，持之以恆，則天下定有你的天地。
打賞支援我寫出更多好文章，謝謝！
打賞作者
打賞支援我寫出更多好文章，謝謝！
任選一種支付方式
