資料分析 | 資料清理的方法

abloger發表於2024-06-27

資料清理的步驟


# 一、讀取資料
匯入NumPy和Pandas資料庫,用Pandas的read_csv函式讀取原始資料集’e_commerce.csv’,使其轉換成DataFrame格式,並賦值給變數df。
展示資料集的前5行和後5行。

# 二、評估資料(整潔度、乾淨度)
建立一個新的變數cleaned_data = df(相當於複製一個,對備份進行操作)
評估主要從兩個方面進行:結構和內容,即整齊度和乾淨度。'''df.info/df.describe 看整體'''

1. 資料的結構性問題:
    * 每列是一個變數,
    * 每行是一個觀察值,
    * 每個單元格是一個值

2. 資料的內容性問題包括存在丟失資料、重複資料、無效資料等:
    * 缺失,df.isnull.sum
    * 重複,df.duplicated
    * 評估填寫不一致的資料,df[].value_counts
    * 資料型別 df.info
    * 評估無效/錯誤資料 df.describe()

# 三、清理資料
根據前面評估時候的記錄來進行清理
1. 處理結構問題:
    * 每列是一個變數:df.melt()
    * 每行是一個觀察值:df.melt()
    * 每個單元格是一個值:df.explode()

2. 處理內容問題:
    * 缺失:df.fillna填充 ,或者直接刪除 df.dropna
    * 重複:df.drop_duplicates() 刪除重複值 
    * 評估填寫不一致的資料:df.replace([舊1,舊2],新,inplace = True) 用替代來統一
    * 資料型別 df.astype() 修改資料型別
    * 評估無效/錯誤資料:df.drop() 直接刪了

# 四、儲存資料

cleaned_df.to_csv('e_commerce_cleaned.csv', index=False)


方法詳解

df.melt


# 適用場景:主要用於將寬資料轉換成長資料

df.explode()


# 適用場景:主要用於將一個包含列表或陣列等可迭代物件的列展開。
如果一列中有很多內容(比如一列中包含一個列表),想讓內容分開單獨成行,則可使用explode。
——————如果非列表或陣列,則不行

df.fillna(直接寫值)/df[某行列].fillna({列名:替換值,列名:替換值})


# 適用場景:主要用於 自動找到缺失值進行填充

df.dropna()/
df.dropna(subset = [關注的列名])/
df.dropna(axis = 1)


# 適用場景:主要用於 直接刪除存在缺失值的行
如果傳入了subset,那麼只要關注列沒有缺失,其他列有缺失也不會刪除;
如果axis = 1,就變成了關注列,只要某列有空缺,直接刪除整列

df.drop_duplicates()


# 適用場景:刪除重複資料
如果希望是兩列同時重複,才刪除,就df.drop_duplicates(subset = [關注的列名1,關注的列名2])
一般遇到重複值,會刪除後面出現的值,如果想刪除前面的重複值,則drop_duplicates(keep = 'last')

df.replace(原值,替換值)/dr.replace(字典)


# 適用場景:將值進行統一的時候
如果有很多個值都想替換成同一個值,直接在原值處放列表即可
如果放字典,鍵為原值,值為替換值

df.astype(型別)


# 適用場景:需要轉換值的型別的時候,比如str轉int
有一個特殊的型別是“category”,意思是一些有限的分類的值,比如顏色【藍,紅,黃】;部門【人事部,財務部,銷售部】

相關文章