一鍵自動化資料分析!快來看看這些寶藏工具庫

ShowMeAI 發表於 2022-07-12
一鍵自動化資料分析!快來看看這些寶藏工具庫

實際工作中,我們往往依託於業務資料分析制定業務策略。這個過程需要頻繁地進行資料分析和挖掘,發現模式規律。對於演算法工程師而言,一個有效的 AI 演算法系統落地,不僅僅是模型這麼簡單——資料才是最底層的驅動。

一鍵自動化資料分析!快來看看這些寶藏工具庫

典型的『機器學習工作流程』包含 6 個關鍵步驟,其中『探索性資料分析(Exploratory Data Analysis, EDA) 』是至關重要的一步。

  • 定義問題
  • 資料採集和 ETL
  • 探索性資料分析
  • 資料準備
  • 建模(模型訓練和選擇)
  • 部署和監控

Wiki: In statistics, exploratory data analysis is an approach of analyzing data sets to summarize their main characteristics, often using statistical graphics and other data visualization methods. A statistical model can be used or not, but primarily EDA is for seeing what the data can tell us beyond the formal modeling and thereby contrasts traditional hypothesis testing.

探索性資料分析,通常使用統計圖形等資料視覺化方法,探索資料的結構和規律,總結資料主要特徵的方法。這一過程通常包含細碎的處理步驟和分析操作。

探索性資料分析 EDA 的常用工具

優秀的工具可以簡化上述過程!甚至可以一鍵生成分析報告。本篇 ShowMeAI 給大家總結了截至 2022年 最受歡迎的探索式資料分析工具庫,快一起試起來吧!

一鍵自動化資料分析!快來看看這些寶藏工具庫

通常,我們有以下 3 種方式進行 EDA:

  • 方式1:在 Python/R 中使用庫/框架手動分析
  • 方式2:在 Python/R 中使用自動化 EDA 庫
  • 方式3:使用 Microsoft Power BI 或 Tableau 等工具

3種方式對應的最佳工具庫我們梳理到下文中了,對自動化資料分析感興趣的同學可以直接跳至『自動化EDA工具庫』板塊。

方式1:手動分析工具庫

💡 Matplotlib

Matplotlib 是一個 Python 進行繪圖與互動式視覺化的工具。 大家在Python中用到的絕大多數工具包擴充套件都是構建在 Matplotlib 之上的(包括 Seaborn、HoloViews、ggplot 以及後續提到部分自動化 EDA 工具等)。

一鍵自動化資料分析!快來看看這些寶藏工具庫

基於 Matplotlib 可以藉助簡單的程式碼實現:散點圖、直方圖、條形圖、誤差圖和箱線圖,輔助我們理解資料和進行後續工作。

一鍵自動化資料分析!快來看看這些寶藏工具庫

大家可以從官方 📘使用者指南、📘教程 和 📘程式碼示例 中學習,或前往B站觀看 📀視訊教程 也推薦下載收藏 ShowMeAI 的 📜Matplotlib速查表,以便快速查詢所需功能。

💡 Seaborn

另一個流行的 Python 資料視覺化框架是 Seaborn,它相比 Matplotlib 更為簡潔,也擴充了很多分析功能和呈現形式。

一鍵自動化資料分析!快來看看這些寶藏工具庫

大家同樣可以通過 Seaborn 的 📘使用者指南和教程 對其進行學習,或前往觀看 📀視訊教程。也歡迎閱讀 ShowMeAI 總結的 📜Seaborn速查表,以及 Seaborn 視覺化教程 Seaborn工具與資料視覺化

💡 Plotly

Plotly 是另外一個用於建立互動式資料視覺化的 Python 開源工具庫。 Plotly 構建在 Plotly JavaScript 庫(plotly.js) 之上,可用於建立基於 Web 的資料視覺化,這些視覺化可以顯示在 Jupyter 筆記本或使用 Dash 的 Web 應用程式中,或儲存為單獨的 HTML 檔案。

一鍵自動化資料分析!快來看看這些寶藏工具庫

它提供了多達40+種圖表型別,包括散點圖、直方圖、折線圖、條形圖、餅圖、誤差線、箱線圖、多軸、迷你圖、樹狀圖和 3-D 圖表(甚至包括等高線圖,這在其他資料視覺化庫中並不常見)。大家可以通過 📘官方使用者指南 進行學習和使用。

💡 Bokeh

Bokeh 是一個 Python 庫,用於為現代 Web 瀏覽器建立互動式視覺化。 它可以構建精美的圖形,從簡單的繪圖到帶有流資料集的複雜儀表板。 使用 Bokeh,可以建立基於 JavaScript 的視覺化,而無需自己編寫任何 JavaScript。

一鍵自動化資料分析!快來看看這些寶藏工具庫

大家可以通過 Bokeh 的 📘官方網站 和 📘示例庫 瞭解它的一系列用法。也推薦大家下載收藏 ShowMeAI 的 📜Bokeh速查表,快速查詢所需功能。

💡 Altair

Altair 是 Python 的宣告性統計視覺化庫,基於 Vega 和 Vega-Lite。 Altair 的 API 簡單、友好,可以用最少的程式碼產生漂亮而有效的視覺化效果。大家可以通過官方的 📘Altair Notebook Examples 學習Altair工具庫的使用。

一鍵自動化資料分析!快來看看這些寶藏工具庫

方式2:自動化EDA工具庫

💡 pandas-profiling

很多做過 Python 資料分析的同學都很熟悉 Pandas 的 describe 函式,pandas-profiling 通過其低程式碼介面擴充套件了對應的功能,將資訊以報告的形式呈現。 pandas-profiling 庫自動從 pandas DataFrame 生成配置檔案報告,整個過程甚至只需要兩三行程式碼。

pandas-profiling 會對單欄位和關聯欄位進行分析。對於資料集的每一列(欄位),它會分析如下的內容並呈現在互動式 HTML 報告中:

  • 型別推斷:欄位列的型別
  • 要點:型別、唯一值、缺失值
  • 分位數統計:包括最小值、Q1、中位數、Q3、最大值、範圍、四分位間距
  • 描述性統計:包括均值、眾數、標準差、總和、中值絕對差、變異係數、峰度、偏度等
  • 直方圖:分類和數字
  • 相關性:Spearman、Pearson 和 Kendall 矩陣
  • 缺失值:矩陣、計數、熱圖和缺失值的樹狀圖
  • 文字分析:瞭解文字資料的類別(大寫、空格)、指令碼(拉丁文、西里爾文)和塊(ASCII)
  • 檔案和影像分析:提取檔案大小、建立日期和尺寸,並掃描截斷的影像或包含 EXIF 資訊的影像

大家可以在 pandas-profiling 的專案 📘GitHub 頁面獲取詳細使用方法,簡單的資料分析與報告生成過程可以只通過如下1行命令生成(在命令列執行)。

pandas_profiling --title "Example Profiling Report" --config_file default.yaml data.csv report.html

或者在Python中通過如下幾行程式碼完成:

# 讀取資料
df = pd.read_csv(file_name)
# 資料分析
profile = ProfileReport(df, title="Data Report", explorative=True)
# html分析報告生成
profile.to_file(Path("data_report.html"))
一鍵自動化資料分析!快來看看這些寶藏工具庫

💡 Sweetviz

Sweetviz 的功能與 pandas-profiling 很相似。 它是一個開源 Python 庫,可生成精美的高資訊量結果報告,只需兩行程式碼即可啟動探索性資料分析過程。 輸出是一個完全獨立的 HTML 報告(而且可以完整互動式操作)。

Sweetviz的特徵

  • 型別推斷
  • 摘要資訊
  • 目標欄位分析
  • 顯示目標列與其他特徵的關聯分析
  • 視覺化和對比

SweetViz的官方程式碼可以在 📘GitHub 找到。分析與報告生成只需要如下 2 行程式碼:

# 資料分析
my_report = sv.analyze(data)
# 報告生成
my_report.show_html()

下圖為使用 Sweetviz 生成的報告。

一鍵自動化資料分析!快來看看這些寶藏工具庫

💡 AutoViz

AutoViz 是另外 1 個自動化 EDA 框架。 它在功能方面與 Sweetviz 和 pandas-profiling 也比較類似。 AutoViz 只需一行程式碼即可對任何資料集進行自動視覺化,它還可以完成自動欄位選擇,找到最重要的特徵欄位進行分析視覺化,執行速度也非常快。

AutoViz可以結合Bokeh做互動式資料探索分析,詳細教程大家可以在官方 📘AutoViz 示例 Notebook 找到。核心程式碼如下:

AV = AutoViz_Class()
_ = AV . AutoViz(filename)

下圖所示為使用 AutoViz 生成的報告。

一鍵自動化資料分析!快來看看這些寶藏工具庫

方式3:資料分析工具軟體

💡 Microsoft Power BI

Power BI 是由 Microsoft 開發的互動式資料視覺化軟體,主要關注商業智慧。 它是 Microsoft Power Platform 的一部分。 Power BI 是軟體服務、應用程式和聯結器的集合,它們協同工作,將不相關的資料來源轉變為連貫、視覺沉浸式和互動式見解。 可以通過直接從資料庫、網頁或電子表格、CSV、XML 和 JSON 等結構化檔案中讀取資料來輸入資料。

不過,Power BI 不是開源的,它是一款付費企業工具,提供免費桌面版本。 大家可以從 📘官方學習指南 學習 Power BI。

一鍵自動化資料分析!快來看看這些寶藏工具庫

💡 Tableau

Tableau 是用於資料分析和商業智慧的領先資料視覺化工具。 Gartner 的魔力象限將 Tableau 列為分析和商業智慧領域的領導者。Tableau 是一種工具,它正在改變我們使用資料解決問題的方式——使人們和組織能夠充分利用他們的資料。

下圖所示為使用 Tableau 生成的報告。大家前往B站觀看 📀1小時速學視訊教程

一鍵自動化資料分析!快來看看這些寶藏工具庫

參考資料

一鍵自動化資料分析!快來看看這些寶藏工具庫