還在為資料清洗抓狂？這裡有一個簡單實用的清洗程式碼集

機器之心發表於2019-01-23

選自towardsdatascience，作者：Admond Lee，機器之心編譯，參與：Geek AI、張倩。

資料清洗是資料科學家逃不掉的一份苦差事。為了讓這項工作不那麼痛苦，本文作者分享了自己的資料清洗程式碼集。

現實世界中的資料通常質量不高，作為一名資料科學家，有時也需要承擔一部分資料清洗的工作，這要求資料科學家們應該能夠在進行資料分析或建模工作之前執行資料清洗步驟，從而確保資料的質量最佳。

不過長話短說，在資料科學領域工作了很長一段時間後，我切實感受到了在進行資料分析、視覺化和建模工作之前，進行資料清洗工作是多麼痛苦。

不管你承不承認，資料清洗著實不是一件簡單的任務，大多數情況下這項工作是十分耗時而乏味的，但它又是十分重要的。

如果你經歷過資料清洗的過程，你就會明白我的意思。而這正是撰寫這篇文章的目的——讓讀者更輕鬆地進行資料清洗工作。

事實上，我在不久前意識到，在進行資料清洗時，有一些資料具有相似的模式。也正是從那時起，我開始整理並編譯了一些資料清洗程式碼（見下文），我認為這些程式碼也適用於其它的常見場景。

由於這些常見的場景涉及到不同型別的資料集，因此本文更加側重於展示和解釋這些程式碼可以用於完成哪些工作，以便讀者更加方便地使用它們。

我的資料清洗小工具箱

在下面的程式碼片段中，資料清洗程式碼被封裝在了一些函式中，程式碼的目的十分直觀。你可以直接使用這些程式碼，無需將它們嵌入到需要進行少量引數修改的函式中。

1. 刪除多列資料

def drop_multiple_col(col_names_list, df): 
    '''
    AIM    -> Drop multiple columns based on their column names 

    INPUT  -> List of column names, df

    OUTPUT -> updated df with dropped columns 
    ------
    '''
    df.drop(col_names_list, axis=1, inplace=True)
    return df複製程式碼

有時，並不是所有列的資料都對我們的資料分析工作有用。因此，「df.drop」可以方便地刪掉你選定的列。

2. 轉換 Dtypes

def change_dtypes(col_int, col_float, df): 
    '''
    AIM    -> Changing dtypes to save memory

    INPUT  -> List of column names (int, float), df

    OUTPUT -> updated df with smaller memory  
    ------
    '''
    df[col_int] = df[col_int].astype('int32')
    df[col_float] = df[col_float].astype('float32')複製程式碼

當我們面對更大的資料集時，我們需要對「dtypes」進行轉換，從而節省記憶體。如果你有興趣學習如何使用「Pandas」來處理大資料，我強烈推薦你閱讀「Why and How to Use Pandas with Large Data」這篇文章（https://towardsdatascience.com/why-and-how-to-use-pandas-with-large-data-9594dda2ea4c）。

3. 將分類變數轉換為數值變數

def convert_cat2num(df):
    # Convert categorical variable to numerical variable
    num_encode = {'col_1' : {'YES':1, 'NO':0},
                  'col_2'  : {'WON':1, 'LOSE':0, 'DRAW':0}}  
    df.replace(num_encode, inplace=True)  複製程式碼

有一些機器學習模型要求變數是以數值形式存在的。這時，我們就需要將分類變數轉換成數值變數然後再將它們作為模型的輸入。對於資料視覺化任務來說，我建議大家保留分類變數，從而讓視覺化結果有更明確的解釋，便於理解。

4. 檢查缺失的資料

def check_missing_data(df):
    # check for any missing data in the df (display in descending order)
    return df.isnull().sum().sort_values(ascending=False)複製程式碼

如果你想要檢查每一列中有多少缺失的資料，這可能是最快的方法。這種方法可以讓你更清楚地知道哪些列有更多的缺失資料，幫助你決定接下來在資料清洗和資料分析工作中應該採取怎樣的行動。

5. 刪除列中的字串

def remove_col_str(df):
    # remove a portion of string in a dataframe column - col_1
    df['col_1'].replace('\n', '', regex=True, inplace=True)

    # remove all the characters after &# (including &#) for column - col_1
    df['col_1'].replace(' &#.*', '', regex=True, inplace=True)複製程式碼

有時你可能會看到一行新的字元，或在字串列中看到一些奇怪的符號。你可以很容易地使用 df['col_1'].replace 來處理該問題，其中「col_1」是資料幀 df 中的一列。

6. 刪除列中的空格

def remove_col_white_space(df):
    # remove white space at the beginning of string 
    df[col] = df[col].str.lstrip()複製程式碼

當資料十分混亂時，很多意想不到的情況都會發生。在字串的開頭有一些空格是很常見的。因此，當你想要刪除列中字串開頭的空格時，這種方法很實用。

7. 將兩列字串資料（在一定條件下）拼接起來

def concat_col_str_condition(df):
    # concat 2 columns with strings if the last 3 letters of the first column are 'pil'
    mask = df['col_1'].str.endswith('pil', na=False)
    col_new = df[mask]['col_1'] + df[mask]['col_2']
    col_new.replace('pil', ' ', regex=True, inplace=True)  # replace the 'pil' with emtpy space複製程式碼

當你希望在一定條件下將兩列字串資料組合在一起時，這種方法很有用。例如，你希望當第一列以某些特定的字母結尾時，將第一列和第二列資料拼接在一起。根據你的需要，還可以在拼接工作完成後將結尾的字母刪除掉。

8. 轉換時間戳（從字串型別轉換為日期「DateTime」格式）

def convert_str_datetime(df): 
    '''
    AIM    -> Convert datetime(String) to datetime(format we want)

    INPUT  -> df

    OUTPUT -> updated df with new datetime format 
    ------
    '''
    df.insert(loc=2, column='timestamp', value=pd.to_datetime(df.transdate, format='%Y-%m-%d %H:%M:%S.%f'))複製程式碼

在處理時間序列資料時，你可能會遇到字串格式的時間戳列。這意味著我們可能不得不將字串格式的資料轉換為根據我們的需求指定的日期「datetime」格式，以便使用這些資料進行有意義的分析和展示。



相關文章