python 操作 excel 之資料清洗
python 在對 excel 操作的同時,前面文章中說了資料的讀取、插入、簡單分析,還有一個非常重要的點就是資料清洗。那什麼叫資料清洗,說白了就是去除資料文字中的垃圾值,比如:存在的空值、多餘的空格、資料格式等等的處理。
1,匯入 python 庫、讀取 excel 資料
# 匯入 pandas 庫
import pandas as pd
# read_excel() 讀取 excel 資料
# DataFrame() 將讀取到的資料轉換為 DataFrame 資料
df = pd.DataFrame(pd.read_excel('data.xlsx'))
2,資料清洗(去除空值)
# dropna() 函式去除 df 資料表中存在空值的所有行
df.dropna(how='any')
# mean() 函式計算 age 欄位所在列的平均值
age_pre = df['age'].mean()
# 使用 fillna() 函式對存在的空值進行填充,將 age_pre 的值填充到欄位為空的值內面
df['age'].fillna(age_pre)
3,資料清洗(清除欄位中的空格)
# 清除欄位的空格 大連人流哪家好
df['name'] = df['name'].map(str.strip)
4,資料清洗(對某個列進行重新命名)
# rename() 函式對列進行重新命名
df.rename(columns={'name': 'name_new'})
5,資料清洗(清除某一列中的重複值)
# 從前往後查詢某個列中的重複值,如果存在則清除後面所出現的重複值
df['name'].drop_duplicates()
# 從後往前查詢某個列中的重複值,如果存在則清除前面所出現的重複值
df['city'].drop_duplicates(keep='last')
# 兩種正好是按照相反的清除順序
6,資料清洗(資料值替換)
# 將某一列中的具體值進行替換
df['name'].replace('laow', 'lwsbc')
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69945560/viewspace-2760620/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料清洗處理-常用操作
- 學習筆記(30):Python資料清洗實戰-Excel檔案讀寫筆記PythonExcel
- Python之 操作 MySQL 資料庫PythonMySql資料庫
- python操作excelPythonExcel
- Python 利用pymysql和openpyxl操作MySQL資料庫並插入Excel資料PythonMySql資料庫Excel
- DolphinDB +Python Airflow 高效實現資料清洗PythonAI
- python 操作 Excel 表格PythonExcel
- 學會python永不加班系列之操作excelPythonExcel
- tensorflow資料清洗
- 掌握這些技巧,讓Excel批次資料清洗變得簡單高效!Excel
- python序列資料型別之序列資料的基本操作Python資料型別
- 資料清洗與預處理:使用 Python Pandas 庫Python
- 日誌服務之資料清洗與入湖
- 資料清洗和資料處理
- python讀寫excel表操作PythonExcel
- 如何用python pandas操作excel?PythonExcel
- Python對excel的基本操作PythonExcel
- python對資料集進行清洗與視覺化Python視覺化
- python操作符及資料型別之整形Python資料型別
- 資料清洗如何測試?
- 資料清洗有哪些方法?
- 資料預處理(資料清洗)的一般方法及python實現Python
- Python資料處理(二):處理 Excel 資料PythonExcel
- 用Python完成Excel的常用操作PythonExcel
- Python操作Excel的Xlwings教程(六)PythonExcel
- Python操作Excel的Xlwings教程(七)PythonExcel
- Django資料庫效能優化之 - 使用Python集合操作Django資料庫優化Python
- Python使用xlrd處理excel資料PythonExcel
- 【Python基礎】Python處理Excel檔案,進行篩選資料、排序等操作及儲存新的Excel檔案PythonExcel排序
- 資料治理為什麼要清洗資料
- 第一章 Excel資料分析入門 --(3)Excel處理資料的常用操作Excel
- 機器學習-資料清洗機器學習
- 資料清洗的方法有哪些?
- Python 操作 SQLite 資料庫PythonSQLite資料庫
- Python操作SQLite資料庫PythonSQLite資料庫
- python操作mongodb資料庫PythonMongoDB資料庫
- 【Python自動化Excel】Python與pandas字串操作PythonExcel字串
- MySQL之json資料操作MySqlJSON