pandas資料處理清洗案例：中文地址拆分

順發表於2021-06-15

一、案例場景

欄位login_place，一共267725行記錄,隨機15條記錄如下：

  後續資料分析工作需要用到地理維度進行分析，所以需要把login_place欄位進行拆分成：國家、省份、地區。

二、初步方案

  第三方中文分詞庫：jieba，可以對文字進行拆分。使用參考資料：jieba庫的使用。
初步方案：

  1. 用jieba.cut()將文字拆分為單詞列表list_word;
  2. 分支判斷list_word長度，賦值國家、城市、地區。

程式碼：（抽取1000條記錄，看一下我這臺機器的執行時間）

%%time
# 地區拆分
for i in range(1000):
    list_word=[word for word in jieba.cut(df.iloc[i,0])]
    if len(list_word)==1:
        if '中國' in df.iloc[i,0]:
            df.loc[i,'國家']=df.iloc[i,0][0:2]
            df.loc[i,'省份']=df.iloc[i,0][2:]
        else:
            df.loc[i,'國家']=df.iloc[i,0]
    elif len(list_word)==2:
        df.loc[i,'國家']=list_word[0]
        df.loc[i,'省份']=list_word[1]
    else:
        df.loc[i,'國家']=list_word[0]
        df.loc[i,'省份']=list_word[1]
        df.loc[i,'地區']=list_word[2]
    if i%100==0:
        print(f'{round(i*100/(int(1000)),2)}%')

  1000條用了1min 37秒。如果全部進行資料解析等待時間應該很久很久。有很多重複的記錄，這裡先去重，再跑一次程式碼。

  去重之後，只有404不重複的記錄。

  再跑一遍程式碼，並且把結果儲存到本地檔案‘df_test.xlsx’。便於檢視jieba第三方分詞庫對本次資料拆分是不是想要的結果。
國家：

‘國家’這一列，台灣沒有拆分出來。

程式碼試了一下，發現‘台灣’確實拆分不了。證實了臺灣確實中國不可缺失的一部分。
省份：

  ‘省份’這一列拆分的更加糟糕。

總結：總資料集執行時間長，切詞不準確。需要優化拆分方案！

三、優化方案

  在上面檢視Excel檔案時候發現‘login_place’欄位的資料有以下特點：

  1. 整個資料集分類兩類：‘中國’和外國；
  2. 中國的省份大多是兩個字，除了‘黑龍江’和‘內蒙古’；
  3. 外國的，只有國家記錄。

優化方案：

  1. 對國家判斷，形成分支：中國和外國；
  2. 對於中國，再判斷省份是不是‘黑龍江’和‘內蒙古’。
  3. 不是：可以直接切分[2:4]，提取省份。[4:]，提取地區；
  4. 是：[2:5]提取省份。[5:]提取地區
%%time
# 地區拆分
for i in range(df.shape[0]):
    if '中國' in df.iloc[i,0] :
        df.loc[i,'國家'] = '中國'
        if ('內蒙古' in df.iloc[i,0]) or ('黑龍江' in df.iloc[i,0]):
#             print(df.iloc[i,0])
            df.loc[i,'省份'] = df.iloc[i,0][2:5]
            if len(df.iloc[i,0]) > 5:
                df.loc[i,'地區'] = df.iloc[i,0][5:]
        else:
            df.loc[i,'省份'] = df.iloc[i,0][2:4] 
            df.loc[i,'地區'] = df.iloc[i,0][4:]
    else:
        list_word = [word for word in jieba.cut(df.iloc[i,0])]
        if len(list_word) == 1:
            df.loc[i,'國家'] = df.iloc[i,0][0:2]
            df.loc[i,'省份'] = df.iloc[i,0][2:]
        else:
            df.loc[i,'國家'] = list_word[0]
            df.loc[i,'省份'] = list_word[1]
    if i%100==0:
        print(f'{round(i*100/(int(df.shape[0])),2)}%')

 儲存Excel檔案，再次檢視拆分情況。經過去重後的測試集拆分符合想要的結果。

 執行未去重源資料集結果：

相關文章