資料分析很難學?60天就夠了!

資料分析v發表於2018-05-03

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1


廣泛被應用的資料分析

谷歌的資料分析可以預測一個地區即將爆發的流感,從而進行鍼對性的預防;淘寶可以根據你瀏覽和消費的資料進行分析,為你精準推薦商品;口碑極好的網易雲音樂,通過其相似性演算法,為不同的人量身定製每日歌單……


資料正在變得越來越常見,小到我們每個人的社交網路、消費資訊、運動軌跡……,大到企業的銷售、運營資料,產品的生產資料,交通網路資料……


如何從海量資料中獲得別人看不見的知識,如何利用資料來武裝營銷工作、優化產品、使用者調研、支撐決策,資料分析可以將資料的價值最大化。


那麼,小白如何快速獲得資料分析的能力呢?知乎上有很多書單,你可能也聽過很多學習方法,但嘗試過就知道這些跟高效沒什麼關係。


資料分析師應該具備哪些技能


要明確學習的路徑,最有效的方式就是看具體的職業、工作崗位對於技能的具體需求。


我們從拉勾上找了一些最具有代表性的資料分析師職位資訊,來看看薪資不菲的資料分析師,到底需要哪些技能。


640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png


其實企業對資料分析師的基礎技能需求差別不大,可總結如下:

  • SQL資料庫的基本操作,會基本的資料管理

  • 會用Excel/SQL做基本的資料分析和展示

  • 會用指令碼語言進行資料分析,Python or R

  • 有獲取外部資料的能力,如爬蟲

  • 會基本的資料視覺化技能,能撰寫資料包告

  • 熟悉常用的資料探勘演算法:迴歸分析、決策樹、隨機森林、支援向量機等


尋找最合適的學習路徑


最高效的學習路徑是什麼樣的?


你一定要清楚的是,你想要達到的目標是什麼?如果你想利用資料分析的方法來支撐工作決策,那麼你可能需要知道資料分析的流程是什麼,通過資料分析的方法能獲得哪些資訊,這些資訊可以用來支撐什麼工作。


然後你需要知道要達到這樣的目的,需要哪些必備的技能,哪些是不需要學習的。其實在這個過程中你對知識的框架就有了大概的瞭解,並知道如何去避免無效的資訊。


更重要的是,你需要了解,完成一個資料分析專案,基本的流程是什麼。這樣你才知道學習的知識,在具體的工作中是如何應用,並能夠在學習之後進行鍼對性的訓練,做到有的放矢。


資料分析的工作流程1

定義問題


在做具體的分析前,你需要確定要分析的問題是什麼?你想得出哪些結論?


比如某地區空氣質量變化的趨勢是什麼?

影響公司銷售額增長的關鍵因素是什麼?

生產環節中影響產能和質量的核心指標是什麼?

如何對分析使用者畫像並進行精準營銷?

如何基於歷史資料預測未來某個階段使用者行為?


問題的定義需要你去了解業務的核心知識,並從中獲得一些可以幫助你進行分析的經驗。


2

資料獲取


有了具體的問題,你就需要獲取相關的資料了。比如你要探究北京空氣質量變化的趨勢,你可能就需要收集北京最近幾年的空氣質量資料、天氣資料,甚至工廠資料、氣體排放資料、重要日程資料等等。


如果你要分析影響公司銷售的關鍵因素,你就需要呼叫公司的歷史銷售資料、使用者畫像資料、廣告投放資料等。


資料的獲取方式有多種。


一是公司的銷售、使用者資料。可以直接從企業資料庫調取,所以你需要SQL技能去完成資料提取等的資料庫管理工作。比如你可以根據你的需要提取2017年所有的銷售資料、提取今年銷量最大的50件商品的資料、提取上海、廣東地區使用者的消費資料……,SQL可以通過簡單的命令幫你完成這些工作。


第二種是獲取外部的公開資料集,一些科研機構、企業、政府會開放一些資料,你需要到特定的網站去下載這些公開資料


第三種是編寫網頁爬蟲。比如你可以通過爬蟲獲取招聘網站某一職位的招聘資訊,爬取租房網站上某城市的租房資訊,獲取知乎點贊排行等。基於網際網路爬取的資料,你可以對某個行業、某種人群進行分析,這算是非常靠譜的市場調查、競品分析的方式了。


3

資料預處理


原始的資料可能會有很多問題,比如殘缺的資料、重複的資料、無效的資料等等。把這些影響分析的資料處理好,才能獲得更加精確地分析結果。


比如空氣質量的資料,其中有很多天的資料由於裝置的原因是沒有監測到的,有一些資料是記錄重複的,還有一些資料是裝置故障時監測無效的。


那麼我們需要用相應的方法去處理,比如殘缺資料,我們是直接去掉這條資料,還是用臨近的值去補全,這些都是需要考慮的問題。


當然在這裡我們還可能會有資料的分組、基本描述統計量的計算、基本統計圖形的繪製、資料取值的轉換、資料的正態化處理等,能夠幫助我們掌握資料的分佈特徵,是進一步深入分析和建模的基礎。


4

資料分析與建模


在這個部分需要了解基本的資料分析方法、資料探勘演算法,瞭解不同方法適用的場景和適合的問題。分析時應切忌濫用和誤用統計分析方法。濫用和誤用統計分析方法主要是由於對方法能解決哪類問題、方法適用的前提、方法對資料的要求不清等原因造成的。


比如你發現在一定條件下,銷量和價格是正比關係,那麼你可以據此建立一個線性迴歸模型,你發現價格和廣告是非線性關係,你可以先建立一個邏輯迴歸模型來進行分析。


當然你也可以瞭解一些資料探勘的演算法、特徵提取的方法來優化自己的模型,獲得更好的結果。


5

資料視覺化及資料包告撰寫


分析結果最直接的是統計量的描述和統計量的展示。


比如我們通過資料的分佈發現資料分析師工資最高的5個城市,目前各種程式語言的流行度排行榜,近幾年北京空氣質量的變化趨勢商品消費者的地區分佈……這些都是我們通過簡單資料分析與視覺化就可以展現出的結果。


另外一些則需要深入探究內部的關係,比如影響產品質量最關鍵的幾個指標,你需要對不同指標與產品質量進行相關性分析之後才能得出正確結論。又比如你需要預測未來某個時間段的產品銷量,則需要你對歷史資料進行建模和分析,才能對未來的情況有更精準的預測。


資料分析報告不僅是分析結果的直接呈現,還是對相關情況的一個全面的認識。所以你需要一個講故事的邏輯,如何從一個巨集觀的問題,深入、細化到問題內部的方方面面,得出令人信服的結果。


你看,其實資料分析就這幾個步驟,實現起來也感覺並不難。最好的學習路徑是什麼,就是按照解決問題的流程去學習。你瞭解這個流程,然後循序漸進深入每個部分,你會覺得這是一件特別容易上手的事情。


當然如何尋找、篩選優質學習資源,如何避開學習過程中的坑,遇到問題何如解決……這些本身都是我們學習過程中會遇到的問題。


不過不用擔心,DC學院推出的資料分析課程,就是按照這樣的學習路徑。是無數分析師的爬坑經驗、以及無數本書的總結,60天,足夠打敗市面上多半所謂的分析師。


為了滿足更多需要程式設計基礎的同學,我們也將《Python程式設計零基礎入門》和《資料分析師(入門)》兩門課打包,你只需要一門課的價格,即可同時深入學習Python程式設計和Python資料分析。


640?wx_fmt=png


如果你希望在短時間內學會Python和資料分析,少走彎路

掃描下方二維碼加入課程


套課限額優惠 ¥599(原價¥998),限前100名


640?wx_fmt=png


 關於學習路徑 


我們知道一般的資料分析流程是:“資料獲取-資料儲存-資料清洗-Python資料建模與分析-資料視覺化與報告”,而課程正是按照實際的分析流程搭建整體框架。這條學習路線足夠清晰,沒有一上來直接灌輸大量理論,而是在實踐中學習,這就有效過濾掉了無效知識。


每學習一部分知識,能解決實際的問題。比如學習 Python 爬蟲,就能獲取相應的資料;學習 pandas,就能將獲取的資料進行清洗;學習 Seaborn,你就可以實現炫酷的視覺化……即便是對於純小白來說,也沒有什麼壓力。


《資料分析(入門)》課程大綱

60天入門資料分析師


第一章:開啟資料分析之旅

1) 資料分析的一般流程及應用場景 

2) Python 程式設計環境的搭建及資料分析包的安裝 


第二章:獲取你想要的資料 

1) 獲取網際網路上的公開資料集 

2) 用網站 API 爬取網頁資料 

3) 爬蟲所需的 HTML 基礎 

4) 基於 HTML 的爬蟲,Python(Beautifulsoup)實現 

5) 網路爬蟲高階技巧:使用代理和反爬蟲機制 

6) 應用案例:爬取豆瓣 TOP250 電影資訊並儲存 


第三章:資料儲存與預處理 

1) 資料庫及 SQL 語言概述 

2) 基於 HeidiSQL 的資料庫操作 

3) 資料庫進階操作:資料過濾與分組聚合 

4) 用 Python 進行資料庫連線與資料查詢 

5) 其他型別資料庫:SQLite&MongoDB 

6) 用 Pandas 進行資料預處理:資料清洗與視覺化 


第四章:統計學基礎與 Python 資料分析

1)探索型資料分析:繪製統計圖形展示資料分佈 

2)探索型資料分析實踐:通過統計圖形探究資料分佈的潛在規律 

3)描述統計學:總體、樣本和誤差,基本統計量 

4)推斷統計學:概率分佈和假設檢驗 

5)驗證型資料分析實踐:在實際分析中應用不同的假設檢驗 

6)預測型資料分析:線性迴歸

7)預測型資料分析:Python中進行線性迴歸(scikit-learn實現)

8)   預測型資料分析:分類及邏輯迴歸

9)   預測型資料分析:其它常用迴歸和分類演算法(k近鄰、決策樹、隨機森林)

10) 預測型資料分析:聚類演算法(k均值、DBSCAN)

11) 預測型資料分析:用特徵選擇方法優化模型 

12) 預測型資料分析實踐:用 scikit-learn 實現資料探勘建模全過程 

13) 預測型資料分析實踐:用 rapidminer 解決商業分析關鍵問題 

14) 高階資料分析工具:機器學習、深度學習初探


第五章 報告撰寫及課程總結

1) 養成資料分析的思維 

2) 資料分析的全流程及報告撰寫的技巧 

3) 課程回顧以及一些擴充 


《Python程式設計零基礎入門》大綱


第一章:Python介紹和安裝

Python簡介;特點以及應用;程式設計環境的搭建及IDE的使用

實踐練習1—安裝Anaconda,並且熟悉spyder。


第二章:Python基礎知識

1)  Python變數賦值及資料型別

2)  Python數值及方法

3)  Python字串及方法

4)  Python資料結構:列表、元組的操作

5)  Python資料結構:字典、集合的操作

實踐練習2—通過使用Python支援的字典,列表和元組的資料結構,實現:通訊錄的操作,建立、新增、查詢等內容,通訊錄資訊包含姓名、電話、性別、愛好等。


第三章:Python語句、關鍵字以及記憶體管理

1)  條件語句

2)  迴圈語句

3)  迴圈控制語句

4)  關鍵字介紹

5)  變數的高階--記憶體管理

實踐練習3—編寫小程式,對上一節作業的通訊錄進行功能增強,實現:查詢電話號碼主人,喜歡吃蘋果的人等。


第四章:Python函式

1)  函式及函式定義

2)  函式的引數/全域性變數和區域性變數

3)  內建函式及遞迴

4)  匿名函式

5)  函數語言程式設計:map/reduce/filter/sorted/偏函式

實踐練習4—編寫一個函式,實現:通訊錄的更新,定義新增成員的函式、電話查詢、興趣查詢等功能


第五章:Python高階特性及程式設計規範

1)  列表生成式

2)  迭代器

3)  生成器

4)  裝飾器

5)  Python程式設計規範

實踐練習5—小程式:高階功能——判斷輸入是否合法的裝飾器功能的使用。涵蓋內容:學習生成器及裝飾器的使用,給多個函式新增判斷合法性的裝飾器。


第六章:模組的使用

1)  模組名稱空間和匯入

2)  模組的執行

3)  os和sys模組介紹和使用

4)  第三方模組的安裝

實踐練習6—函式編寫,實現:檔案查詢和拷貝功能。


第七章:物件導向程式設計

1)  類與物件導向設計OOP

2)  多型、繼承和封裝

3)  類裝飾器


第八章:異常、錯誤型別及編碼

1)  異常和捕捉異常

2)  try-except語句和結構

3)  排查錯誤方法

4)  編碼方式介紹


第九章:檔案處理

1)  檔案內建方法:開啟和讀寫

2)  檔案的儲存模組:pickle和marshal

3)  Json檔案的使用場景及解析

實踐練習7—編寫一個指令碼,實現:查詢讀取傳遞XXX.json檔案中的內容,json檔案中內容包含:主機IP、名字、所在地等資訊。


第十章:正規表示式

1)  特殊的符號和數字

2)  正規表示式與python

3)  Re模組

實踐練習8—繼續練習6內容,編寫一個函式,實現:查詢tmp檔案中pass字串。


第十一章:時間與日誌

1)  Time模組的使用

2)  Log模組的使用

卡片裡面大綱內容可以滑動


 關於學習資料 


即便你有很強的資源獲取能力,或者你已經收藏了很多幹貨,但我們還是很想幫你節約篩選有效資訊的時間,已經幫你找到最有用的那部分,你可以把更多的時間用來做更多的練習和實踐。


考慮到各種各樣的問題,課程中每一節都準備了學習資料。主要包含四個部分:

1 課程中重要的知識點,資料中會詳細闡述,幫助理解;

2 預設你是個小白,補充所有基礎知識,哪怕是軟體的安裝與基本操作;

3 課程中老師的參考程式碼打包,讓你有能力去復現案例;

4 提供超多延伸資料更多問題的思路實踐程式碼,讓你可以去做更多的事情。


640.png?

某節部分學習資料


 關於實踐專案 


DC學院首次將課程與競賽相結合,讓你有針對性地在真實資料中去實踐,並客觀地檢測自己的學習成果。隨時可參加,提交分析結果可以即時獲得評分,並檢視自己在同學中的排名。


在Python程式設計中,我們也加入了一些非常實用的案例,幫助你深化Python程式設計技巧,為資料分析的學習補足基礎。


640.png?

640?wx_fmt=png


除此之外,你還會遇到指導你每一個細節的答疑老師,在學習群裡,你的問題能夠得到快速解答,即便是最初級的問題。還有一群未來的優秀分析師,跟你一起,探索資料分析技術。在短時間內,有不少同學都有了從0到1的進步:


640?wx_fmt=jpeg



640?wx_fmt=png

【課程資訊】


「 上課形式 」

錄播課程,可隨時開始,反覆觀看


「 學習路徑 」

資料獲取-資料預處理-資料建模與分析-視覺化與報告


「 面向人群 」

零基礎的小白、負基礎的小白白


「 答疑形式 」

學習群老師隨時答疑,即便是最初級的問題


「 課程資料 」

重點筆記、操作詳解、參考程式碼、課後擴充


「 課程證照 」

學完課程並達到要求,發放資料分析師結業證照




公眾號專屬優惠,套課限額底價

幾乎只是一門課的價格,同時深入學習Python與資料分析


¥599(原價¥998),限前100名


長按下方二維碼,立即去搶


640?wx_fmt=png


購買後會收到「 DC學院 」傳送的簡訊,用上課碼即可在官網學習這兩門課


課程諮詢、資料獲取、免費試看請加入下方群聊

若群滿,加Alice微信:datacastle2017


640?wx_fmt=jpeg


我們為按要求完成學習的同學準備了證照

每個證照對應唯一的編號


640.jpeg?


點選下方“閱讀原文”也可以加入課程

相關文章