用一行Python進行資料收集探索
簡易的Pandas之路
任何使用Python資料的人都會熟悉Pandas包。Pandas是大多數行和列格式資料的go-to包。如果你沒有Pandas,請確保在終端中使用pip install安裝:
pip install pandas
現在,讓我們看看Pandas包中的預設方法可以做些什麼:
以下內容寫給不知道上面發生了什麼的新手:
任何Pandas資料幀都有一個
.descripe()返回上面的輸出的方法。但是,此方法中沒有注意到分類變數。在上面的示例中,輸出中完全省略了“ method ”列。
讓我們看看能不能解決這個問題。
Pandas分析
如果我告訴你僅用3行Python就可以產生以下統計資訊,你會怎麼想?但其實,如果不計算imports的話,總體上只用1行就夠。
-
要點:型別,唯一值,缺失值
-
分位數統計資訊:例如最小值,Q1,中位數,Q3,最大值,範圍,四分位數範圍
-
描述性統計資料:例如平均值,眾數,標準偏差,總和,中位數絕對偏差,變異係數,峰度,偏度
-
常用值
-
直方圖
-
高相關變數Spearman,Pearson和Kendall矩陣的相關性突出顯示
-
缺失值矩陣,計數,熱圖和缺失值樹狀圖
(功能列表直接來自Pandas Profiling GitHub)
好吧,我們可以使用Pandas Profiling軟體包!要安裝Pandas Profiling軟體包,只需在終端中使用pip install即可:
pip install pandas_profiling
經驗豐富的資料分析人員可能會因為這些資料的鬆散甚至乍一看之下的“華而不實”而嗤之以鼻,但這對於快速獲得資料的第一手印象肯定是有用的:
我們首先看到的是概述,其中提供了關於資料和變數的一些非常高階的統計資訊,以及變數之間的高相關性、高偏態性的警告等。
但這還不算什麼。向下滾動我們會發現報告有多個部分,如果只是簡單地用圖片展示這個1行程式的輸出是不足以完全呈現這些內容的,所以我製作了一個gif:
我強烈建議大家自己去探索一下這個包的特性,畢竟,這裡提到的只是一行程式碼,在將來 的資料分析中,這個包可能會對你非常有用。
import pandas as pd
import pandas_profiling
pd.read_csv(').profile_report()
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69912185/viewspace-2659199/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 用python進行資料庫資料遷移Python資料庫
- 用 Python 進行資料分析 pandas (一)Python
- 詳解 Kaggle 房價預測競賽優勝方案:用 Python 進行全面資料探索Python
- python收集jvm資料PythonJVM
- [譯] 在 Python 中,如何運用 Dask 資料進行並行資料分析Python並行
- 使用SQLLOADER將一行資料拆分為多行進行載入SQL
- Python相關資料收集Python
- 使用SQLLOADER將多行資料合併為一行進行載入SQL
- 多行資料放到一行上
- 用python進行資料分析的五個最常用庫Python
- vue對table的某一行的資料進行編輯,刪除操作Vue
- Python資料科學(四) 資料收集系列Python資料科學
- 蘋果為改進地圖應用 使用大疆無人機收集資料蘋果地圖無人機
- 如何用Python進行資料分析?Python
- 怎樣用一行 Python 程式碼實現並行Python並行
- python如何另起一行Python
- 一行 Python 程式碼Python
- 薦書 | 《利用Python進行資料分析》Python
- PHP與Python進行資料互動PHPPython
- 使用python進行合併資料集Python
- 使用 Python 進行資料視覺化Python視覺化
- 教你用SQL進行資料分析SQL
- 利用Python Pandas進行資料預處理-資料清洗Python
- 收集資料
- Python 連線mysql資料庫進行操作PythonMySql資料庫
- Python對Hadoop資料進行讀寫PythonHadoop
- 如何使用Python 進行資料視覺化Python視覺化
- 使用 Python 進行資料分析:入門指南Python
- 利用IP代理進行網路抓取可以幫助企業收集哪些資料?
- Excel 快速合併多行資料為一行Excel
- Mysql查詢一行資料超時分析MySql
- DBeaver如何刪除一行或多行資料
- mysql資料庫一行命令生成GIN+GORM RESTful APIs Golang應用MySql資料庫ORMRESTAPIGolang
- 大資料資料收集大資料
- WM_CONCA函式兩行合成一行資料函式
- 使用Python進行Web爬取和資料提取PythonWeb
- 《利用Python進行資料分析·第2版》 轉Python
- 教程:使用Python進行基本影像資料分析!Python