本文始發於個人公眾號:TechFlow,原創不易,求個關注
今天是pandas資料處理專題的第5篇文章,我們來聊聊pandas的一些高階運算。
在上一篇文章當中,我們介紹了panads的一些計算方法,比如兩個dataframe的四則運算,以及dataframe填充Null的方法。今天這篇文章我們來聊聊dataframe中的廣播機制,以及apply函式的使用方法。
dataframe廣播
廣播機制我們其實並不陌生, 我們在之前介紹numpy的專題文章當中曾經介紹過廣播。當我們對兩個尺寸不一致的陣列進行運算的時候,系統會自動將其中維度較小的那個填充成和另外一個一樣再進行計算。
比如我們將一個二維陣列減去一個一維陣列,numpy會先將一位陣列擴充到二維之後再進行減法運算。看起來就像是二維陣列的每一行分別減去了這一個一維陣列一樣。可以理解成我們將減去這一個一維陣列的操作廣播到了二維陣列的每一行或者是每一列當中。
在上面這個例子當中我們建立了一個numpy的陣列,然後減去了它的第一行。我們對比下最後的結果會發現,arr陣列當中的每一行都減去了它的第一行。
同樣的操作在dataframe也一樣可以進行。
我們當然也可以對某一列進行廣播,但是dataframe四則運算的廣播機制預設對行生效,如果要對列使用的話,我們需要使用算術運算方法,並且指定希望匹配的軸。
函式與對映
pandas的另外一個優點是相容了numpy當中的一些運算方法和函式,使得我們也可以將一些numpy當中的函式運用在DataFrame上,這樣就大大擴充了使用方法以及運算方法。
比如我們要將DataFrame當中所有的元素變成它的平方,我們利用numpy的square方法可以很容易做到:
我們可以將DataFrame作為numpy函式的引數傳入,但如果我們想要自己定義一個方法並且應用在DataFrame上怎麼辦?
我們可以利用apply方法很容易地實現這一點,apply方法有些像是Python原生的map方法,可以對DataFrame當中的每一個元素做一個對映計算。我們只需要在apply方法當中傳入我們想要應用在DataFrame上的方法即可,也就是說它接受的引數是一個函式,這是一個很典型的函數語言程式設計的應用。
比如我們想要對DataFrame進行平方操作,我們也可以將np.square函式當做引數傳入。
apply方法除了可以用在一整個DataFrame上之外,我們也可以讓它應用在某一行或者是某一列或者是某一個部分上,應用的方法都是一樣的。比如我們可以這樣對DataFrame當中的某一行以及某一列應用平方這個方法。
另外,apply中函式的作用域並不只侷限在元素,我們也可以寫出作用在一行或者是一列上的函式。比如我們想要計算出DataFrame當中每一列的最大值,我們可以這樣寫:
這個匿名函式當中的x其實是一個Series,那這裡的max就是Series自帶的max方法。也就是說apply的作用範圍是Series,雖然最終的效果是每一個元素都被改變了,但是apply的作用域並不是元素而是Series。我們通過apply操作行或者列,行和列將改變應用到每一個元素。
同樣我們也可以將apply的應用物件限定為行,同樣我們需要通過傳入axis來限定,我們可以傳入axis='columns',也可以指定axis=1,這兩者的效果是一樣的。
另外,apply返回的結果並不一定只能是標量,也可以是多個值組成的list或者是Series,其實兩者也是一樣的,因為即使返回List也會被轉化成Series。
最後我們來介紹一下applymap,它是元素級的map,我們可以用它來操作DataFrame中的每一個元素。比如我們可以用它來轉換DataFrame當中資料的格式。
之所以我們叫它applymap而不是map,是因為在Series的方法當中,已經有了map,所以為了區分建立了applymap。
這裡要注意,如果將上面程式碼中的applymap改成apply是會報錯的。報錯的原因也很簡單,因為apply方法的作用域不是元素而是Series,Series並不支援這樣的操作。
總結
今天的文章我們主要介紹了pandas當中apply與applymap的使用方法, 這兩個方法在我們日常操作DataFrame的資料非常常用,可以說是手術刀級的api。熟練掌握對於我們搞定資料處理非常有幫助,如果大家理解Python中原生的map方法的應用,相信一定也可以很順利地理解今天的文章。
今天的文章到這裡就結束了,如果喜歡本文的話,請來一波素質三連,給我一點支援吧(關注、轉發、點贊)。
- END -