資料分析的三大組成部分

bluetooth發表於2021-09-11

資料分析的三大組成部分

資料分析由三大重要部分組成:

1.資料採集。它是我們的原材料,因為任何分析都是需要資料來源;

2.資料探勘。它可以說是最“高大上”的部分,也是整個商業價值所在。資料探勘的核心是挖掘資料的商業價值,也就是我們所談的商業智慧BI

3.資料視覺化。它可以說是資料領域中萬金油的技能,可以讓我們直觀的瞭解到分析資料的結果。 

下面總結詳解這三大部分的內容:

一、資料採集

採集工具:八爪魚,自動抓取的神器,它可以幫你抓取 99% 的頁面源。

python爬蟲:可編寫,採集,儲存資料,以及自動化採集設計。

1562142492662652.png

相關推薦:《》

二、資料探勘

它可以說是知識型的工程,相當於整個專欄中的“演算法”部分。首先要知道他的基本流程,演算法,以及底層的數學基礎。

基本流程:商業理解,資料理解,資料準備,模型建立,模型評估,上線釋出。

演算法:分類演算法,聚類演算法,關聯分析,連線分析。

數學基礎:機率論和資料統計,線性代數,圖論,最最佳化方法。

1562142504133415.png

三、資料視覺化

當資料量大的時候很難理解,視覺化可以幫我們很好地理解這些資料的結構,以及分析結果的視覺呈現。

資料視覺化有兩種方法(並不是全部):

1.python第三方庫:Matplotlib,Seaborn等

2.第三方工具:如果生成了csv格式檔案,想要採用所見即得的方式進行呈現,可以採用微圖,DataV,Data GIF Maker等第三方工具。

 1562142521865999.png

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/3402/viewspace-2837270/,如需轉載,請註明出處,否則將追究法律責任。

相關文章