pandas -- DataFrame的級聯以及合併操作

zylyehuo發表於2023-10-02

部落格地址：https://www.cnblogs.com/zylyehuo/

開發環境

  • anaconda
    • 整合環境：整合好了資料分析和機器學習中所需要的全部環境
    • 安裝目錄不可以有中文和特殊符號
  • jupyter
    • anaconda提供的一個基於瀏覽器的視覺化開發工具
import pandas as pd
import numpy as np

級聯操作 -- 對應表格

  • pd.concat
  • pd.append
  • pandas使用pd.concat函式，與np.concatenate函式類似，只是多了一些引數：
    • objs
    • axis=0
    • keys
    • join='outer' / 'inner':表示的是級聯的方式，outer會將所有的項進行級聯（忽略匹配和不匹配），而inner只會將匹配的項級聯到一起，不匹配的不級聯
    • ignore_index=False

匹配級聯

df1 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','B','C'])
df2 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','D','C'])

pd.concat((df1,df2),axis=1)  # 行列索引都一致的級聯叫做匹配級聯

不匹配級聯

  • 不匹配指的是級聯的維度的索引不一致。例如縱向級聯時列索引不一致，橫向級聯時行索引不一致
  • 有2種連線方式：
    • 外連線：補NaN（預設模式）
    • 內連線：只連線匹配的項
pd.concat((df1,df2),axis=0)

內連線

pd.concat((df1,df2),axis=0,join='inner')  # inner直把可以級聯的級聯不能級聯不處理

外連線

  • 如果想要保留資料的完整性必須使用 outer（外連線）
pd.concat((df1,df2),axis=0,join='outer')

  • append函式的使用
df1.append(df2)

合併操作 -- 對應資料

  • merge與concat的區別在於，merge需要依據某一共同列來進行合併
  • 使用pd.merge()合併時，會自動根據兩者相同column名稱的那一列，作為key來進行合併。
  • 注意每一列元素的順序不要求一致

一對一合併

from pandas import DataFrame

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                'group':['Accounting','Engineering','Engineering'],
                })
df1


df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
                'hire_date':[2004,2008,2012],
                })
df2


pd.merge(df1,df2,on='employee')

一對多合併

df3 = DataFrame({
    'employee':['Lisa','Jake'],
    'group':['Accounting','Engineering'],
    'hire_date':[2004,2016]})
df3


df4 = DataFrame({'group':['Accounting','Engineering','Engineering'],
                       'supervisor':['Carly','Guido','Steve']
                })
df4


pd.merge(df3,df4)  # on如果不寫，預設情況下使用兩表中公有的列作為合併條件

多對多合併

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                 'group':['Accounting','Engineering','Engineering']})
df1


df5 = DataFrame({'group':['Engineering','Engineering','HR'],
                'supervisor':['Carly','Guido','Steve']
                })
df5


pd.merge(df1,df5,how='right')


pd.merge(df1,df5,how='left')

key的規範化

  • 當兩張表沒有可進行連線的列時，可使用left_on和right_on手動指定merge中左右兩邊的哪一列列作為連線的列
df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
                'group':['Accounting','Product','Marketing'],
               'hire_date':[1998,2017,2018]})
df1


df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
                'hire_dates':[1998,2016,2007]})
df5


pd.merge(df1,df5,left_on='employee',right_on='name')

內合併與外合併

  • outer取並集
  • inner取交集
df6 = DataFrame({'name':['Peter','Paul','Mary'],
               'food':['fish','beans','bread']}
               )
df7 = DataFrame({'name':['Mary','Joseph'],
                'drink':['wine','beer']})

df6


df7


pd.merge(df6,df7,how='outer')


df6 = DataFrame({'name':['Peter','Paul','Mary'],
               'food':['fish','beans','bread']}
               )
df7 = DataFrame({'name':['Mary','Joseph'],
                'drink':['wine','beer']})

df6


df7


pd.merge(df6,df7,how='inner')

相關文章