用一行Python進行資料收集探索
簡易的Pandas之路
任何使用Python資料的人都會熟悉Pandas包。Pandas是大多數行和列格式資料的go-to包。如果你沒有Pandas,請確保在終端中使用pip install安裝:
pip install pandas
現在,讓我們看看Pandas包中的預設方法可以做些什麼:
以下內容寫給不知道上面發生了什麼的新手:
任何Pandas資料幀都有一個
.descripe()返回上面的輸出的方法。但是,此方法中沒有注意到分類變數。在上面的示例中,輸出中完全省略了“ method ”列。
讓我們看看能不能解決這個問題。
Pandas分析
如果我告訴你僅用3行Python就可以產生以下統計資訊,你會怎麼想?但其實,如果不計算imports的話,總體上只用1行就夠。
-
要點:型別,唯一值,缺失值
-
分位數統計資訊:例如最小值,Q1,中位數,Q3,最大值,範圍,四分位數範圍
-
描述性統計資料:例如平均值,眾數,標準偏差,總和,中位數絕對偏差,變異係數,峰度,偏度
-
常用值
-
直方圖
-
高相關變數Spearman,Pearson和Kendall矩陣的相關性突出顯示
-
缺失值矩陣,計數,熱圖和缺失值樹狀圖
(功能列表直接來自Pandas Profiling GitHub)
好吧,我們可以使用Pandas Profiling軟體包!要安裝Pandas Profiling軟體包,只需在終端中使用pip install即可:
pip install pandas_profiling
經驗豐富的資料分析人員可能會因為這些資料的鬆散甚至乍一看之下的“華而不實”而嗤之以鼻,但這對於快速獲得資料的第一手印象肯定是有用的:
我們首先看到的是概述,其中提供了關於資料和變數的一些非常高階的統計資訊,以及變數之間的高相關性、高偏態性的警告等。
但這還不算什麼。向下滾動我們會發現報告有多個部分,如果只是簡單地用圖片展示這個1行程式的輸出是不足以完全呈現這些內容的,所以我製作了一個gif:
我強烈建議大家自己去探索一下這個包的特性,畢竟,這裡提到的只是一行程式碼,在將來 的資料分析中,這個包可能會對你非常有用。
import pandas as pd
import pandas_profiling
pd.read_csv(').profile_report()
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69912185/viewspace-2659199/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 用 Python 進行資料分析 pandas (一)Python
- python收集jvm資料PythonJVM
- 詳解 Kaggle 房價預測競賽優勝方案:用 Python 進行全面資料探索Python
- [譯] 在 Python 中,如何運用 Dask 資料進行並行資料分析Python並行
- 如何用Python進行資料分析?Python
- 怎樣用一行 Python 程式碼實現並行Python並行
- vue對table的某一行的資料進行編輯,刪除操作Vue
- 「Python實用祕技08」一行程式碼解析地址資訊Python行程
- python如何另起一行Python
- PHP與Python進行資料互動PHPPython
- Python對Hadoop資料進行讀寫PythonHadoop
- 薦書 | 《利用Python進行資料分析》Python
- 使用python進行合併資料集Python
- 使用 Python 進行資料視覺化Python視覺化
- 教你用SQL進行資料分析SQL
- 使用 Python 進行資料分析:入門指南Python
- Python 連線mysql資料庫進行操作PythonMySql資料庫
- 如何使用Python 進行資料視覺化Python視覺化
- 使用應用程式(Java/Python)訪問MaxCompute Lightning進行資料開發JavaPython
- 利用IP代理進行網路抓取可以幫助企業收集哪些資料?
- mysql資料庫一行命令生成GIN+GORM RESTful APIs Golang應用MySql資料庫ORMRESTAPIGolang
- Excel 快速合併多行資料為一行Excel
- DBeaver如何刪除一行或多行資料
- Mysql查詢一行資料超時分析MySql
- 教程:使用Python進行基本影像資料分析!Python
- 使用Python進行Web爬取和資料提取PythonWeb
- 《利用Python進行資料分析·第2版》 轉Python
- 一行 Python 程式碼實現並行Python並行
- 我,python,也要一行程式Python行程
- 教大家python讀取一行一行檔案內容的方法Python
- Python資料科學(八)- 資料探索與資料視覺化Python資料科學視覺化
- 備份系統執行資料收集及分析的設計 | 運維進階運維
- 手把手教你用Python進行迴歸(附程式碼、學習資料)Python
- Python將表格檔案中某些列的資料整體向上移動一行Python
- 使用python進行Oracle資料庫效能趨勢分析PythonOracle資料庫
- 利用python進行資料分析之準備工作(1)Python
- 【python】爬取疫情資料並進行視覺化Python視覺化
- [譯] 使用 NumPy 和 Pandas 進行 Python 式資料清理Python