原文：
pandas.pydata.org/docs/
與 Stata 的比較
原文：
pandas.pydata.org/docs/getting_started/comparison/comparison_with_stata.html
對於可能來自Stata的潛在使用者，本頁面旨在演示如何在 pandas 中執行不同的 Stata 操作。
如果您是 pandas 的新手，您可能首先想透過閱讀 10 分鐘入門 pandas 來熟悉該庫。
慣例上，我們按照以下方式匯入 pandas 和 NumPy：
In [1]: import pandas as pd
In [2]: import numpy as np
資料結構
通用術語翻譯
| pandas | Stata |
|---|---|
DataFrame |
資料集 |
| 列 | 變數 |
| 行 | 觀察 |
| groupby | bysort |
NaN |
. |
DataFrame
在 pandas 中，DataFrame類似於 Stata 資料集 - 一個具有帶標籤列的二維資料來源，可以是不同型別的資料。正如本文件所示，幾乎可以在 Stata 中應用於資料集的任何操作也可以在 pandas 中完成。
Series
Series是表示DataFrame的一列的資料結構。Stata 沒有單獨的資料結構用於單列，但總體上，使用Series與在 Stata 中引用資料集的列類似。
Index
每個DataFrame和Series都有一個Index - 資料的行上的標籤。Stata 沒有完全類似的概念。在 Stata 中，資料集的行基本上是無標籤的，除了可以使用_n訪問的隱式整數索引。
在 pandas 中，如果未指定索引，則預設也使用整數索引（第一行=0，第二行=1，依此類推）。雖然使用帶標籤的Index或MultiIndex可以實現複雜的分析，並最終是理解 pandas 的重要部分，但在此比較中，我們將基本上忽略Index，只將DataFrame視為一組列。請參閱索引文件以瞭解如何有效使用Index。
複製 vs. 原地操作
大多數 pandas 操作返回Series/DataFrame的副本。要使更改“生效”，您需要將其分配給一個新變數：
sorted_df = df.sort_values("col1")
或覆蓋原始資料：
df = df.sort_values("col1")
注意
您會看到一些方法可用的inplace=True或copy=False關鍵字引數：
df.replace(5, inplace=True)
關於在大多數方法（例如dropna）中棄用和移除inplace和copy進行了積極討論，除了一小部分方法（包括replace）之外。在 Copy-on-Write 的上下文中，這兩個關鍵字將不再必要。提案可以在這裡找到。
資料輸入/輸出
從值構建 DataFrame
可以透過在input語句後放置資料並指定列名來構建 Stata 資料集。
input x y
1 2
3 4
5 6
end
可以以許多不同的方式構建 pandas 的DataFrame，但對於少量值來說，通常將其指定為 Python 字典是方便的，其中鍵是列名，值是資料。
In [3]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [4]: df
Out[4]:
x y
0 1 2
1 3 4
2 5 6
讀取外部資料
像 Stata 一樣，pandas 提供了從許多格式中讀取資料的實用程式。在 pandas 測試中找到的tips資料集（csv）將在接下來的許多示例中使用。
Stata 提供import delimited來將 csv 資料讀入記憶體中的資料集。如果tips.csv檔案在當前工作目錄中，我們可以按照以下方式匯入。
import delimited tips.csv
pandas 的方法是read_csv()，其工作方式類似。此外，如果提供了 url，它還會自動下載資料集。
In [5]: url = (
...: "https://raw.githubusercontent.com/pandas-dev"
...: "/pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [6]: tips = pd.read_csv(url)
In [7]: tips
Out[7]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
類似於import delimited，read_csv()可以接受許多引數來指定資料應如何解析。例如，如果資料實際上是製表符分隔的，沒有列名，並且存在於當前工作目錄中，則 pandas 命令將是：
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
pandas 也可以使用read_stata()函式讀取.dta格式的 Stata 資料集。
df = pd.read_stata("data.dta")
除了文字/csv 和 Stata 檔案外，pandas 還支援各種其他資料格式，如 Excel、SAS、HDF5、Parquet 和 SQL 資料庫。這些都是透過pd.read_*函式讀取的。有關更多詳細資訊，請參閱 IO 文件。
限制輸出
預設情況下，pandas 會截斷大型DataFrame的輸出，以顯示第一行和最後一行。這可以透過更改 pandas 選項或使用DataFrame.head()或DataFrame.tail()來覆蓋。
In [8]: tips.head(5)
Out[8]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
在 Stata 中的等價操作是：
list in 1/5
匯出資料
在 Stata 中import delimited的反操作是export delimited
export delimited tips2.csv
類似於 Stata，read_csv的相反操作是DataFrame.to_csv()。
tips.to_csv("tips2.csv")
pandas 也可以使用DataFrame.to_stata()方法匯出為 Stata 檔案格式。
tips.to_stata("tips2.dta")
資料操作
列操作
在 Stata 中，可以在新的或現有列上使用generate和replace命令進行任意數學表示式。drop命令會從資料集中刪除列。
replace total_bill = total_bill - 2
generate new_bill = total_bill / 2
drop new_bill
pandas 透過在DataFrame中指定各個Series來提供向量化操作。新列可以以相同方式分配。DataFrame.drop()方法從DataFrame中刪除一列。
In [9]: tips["total_bill"] = tips["total_bill"] - 2
In [10]: tips["new_bill"] = tips["total_bill"] / 2
In [11]: tips
Out[11]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [12]: tips = tips.drop("new_bill", axis=1)
過濾
在 Stata 中，透過對一個或多個列使用if子句來進行過濾。
list if total_bill > 10
資料框可以透過多種方式進行過濾；其中最直觀的是使用布林索引。
In [13]: tips[tips["total_bill"] > 10]
Out[13]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上述語句只是將True/False物件的Series傳遞給資料框，返回所有具有True的行。
In [14]: is_dinner = tips["time"] == "Dinner"
In [15]: is_dinner
Out[15]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [16]: is_dinner.value_counts()
Out[16]:
time
True 176
False 68
Name: count, dtype: int64
In [17]: tips[is_dinner]
Out[17]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
如果/然後邏輯
在 Stata 中，if子句也可用於建立新列。
generate bucket = "low" if total_bill < 10
replace bucket = "high" if total_bill >= 10
在 pandas 中，可以使用numpy的where方法來執行相同的操作。
In [18]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [19]: tips
Out[19]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日期功能
Stata 提供了各種函式來對日期/時間列進行操作。
generate date1 = mdy(1, 15, 2013)
generate date2 = date("Feb152015", "MDY")
generate date1_year = year(date1)
generate date2_month = month(date2)
* shift date to beginning of next month
generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12
replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12
generate months_between = mofd(date2) - mofd(date1)
list date1 date2 date1_year date2_month date1_next months_between
下面顯示了等效的 pandas 操作。除了這些功能外，pandas 還支援其他 Stata 中不可用的時間序列功能（如時區處理和自定義偏移）-有關更多詳細資訊，請參閱時間序列文件。
In [20]: tips["date1"] = pd.Timestamp("2013-01-15")
In [21]: tips["date2"] = pd.Timestamp("2015-02-15")
In [22]: tips["date1_year"] = tips["date1"].dt.year
In [23]: tips["date2_month"] = tips["date2"].dt.month
In [24]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [25]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
....: "date1"
....: ].dt.to_period("M")
....:
In [26]: tips[
....: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
....: ]
....:
Out[26]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
選擇列
Stata 提供了關鍵字來選擇、刪除和重新命名列。
keep sex total_bill tip
drop sex
rename total_bill total_bill_2
下面展示了在 pandas 中表達相同操作的方式。
保留特定列
In [27]: tips[["sex", "total_bill", "tip"]]
Out[27]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
刪除一列
In [28]: tips.drop("sex", axis=1)
Out[28]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重新命名列
In [29]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[29]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
按值排序
在 Stata 中，透過sort來實現排序
sort sex total_bill
pandas 有一個DataFrame.sort_values()方法，可以按列排序。
In [30]: tips = tips.sort_values(["sex", "total_bill"])
In [31]: tips
Out[31]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
字串處理
查詢字串長度
Stata 使用strlen()和ustrlen()函式分別確定 ASCII 和 Unicode 字串的長度。
generate strlen_time = strlen(time)
generate ustrlen_time = ustrlen(time)
您可以使用Series.str.len()找到字元字串的長度。在 Python 3 中，所有字串都是 Unicode 字串。len包括尾隨空格。使用len和rstrip來排除尾隨空格。
In [32]: tips["time"].str.len()
Out[32]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [33]: tips["time"].str.rstrip().str.len()
Out[33]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
查詢子字串的位置
Stata 使用strpos()函式確定字串中字元的位置。該函式接受由第一個引數定義的字串，並搜尋您提供的第二個引數作為子字串的第一個位置。
generate str_position = strpos(sex, "ale")
您可以使用Series.str.find()方法在字串列中找到字元的位置。find搜尋子字串的第一個位置。如果找到子字串，則該方法返回其位置。如果未找到，則返回-1。請記住，Python 索引是從零開始的。
In [34]: tips["sex"].str.find("ale")
Out[34]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
根據位置提取子字串
Stata 使用substr()函式根據位置從字串中提取子字串。
generate short_sex = substr(sex, 1, 1)
使用 pandas，您可以使用[]符號按位置提取字串中的子字串。請記住，Python 的索引是從零開始的。
In [35]: tips["sex"].str[0:1]
Out[35]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
提取第 n 個單詞
Stata 的word()函式從字串中返回第 n 個單詞。第一個引數是要解析的字串，第二個引數指定要提取的單詞。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate first_name = word(name, 1)
generate last_name = word(name, -1)
在 pandas 中提取單詞的最簡單方法是透過空格拆分字串，然後按索引引用單詞。請注意，如果需要，還有更強大的方法。
In [36]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [37]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [38]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [39]: firstlast
Out[39]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
更改大小寫
Stata 的strupper()、strlower()、strproper()、ustrupper()、ustrlower()和ustrtitle()函式分別更改 ASCII 和 Unicode 字串的大小寫。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate upper = strupper(string)
generate lower = strlower(string)
generate title = strproper(string)
list
等效的 pandas 方法是Series.str.upper()、Series.str.lower()和Series.str.title()。
In [40]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [41]: firstlast["upper"] = firstlast["string"].str.upper()
In [42]: firstlast["lower"] = firstlast["string"].str.lower()
In [43]: firstlast["title"] = firstlast["string"].str.title()
In [44]: firstlast
Out[44]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
合併
下表將用於合併示例：
In [45]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [46]: df1
Out[46]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [47]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [48]: df2
Out[48]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
在 Stata 中，要執行合併，一個資料集必須在記憶體中，另一個必須作為磁碟上的檔名引用。相比之下，Python 必須已經將兩個DataFrames都載入到記憶體中。
預設情況下，Stata 執行外連線，合併後兩個資料集中的所有觀測值都保留在記憶體中。可以透過使用_merge變數中建立的值，僅保留來自初始資料集、合併資料集或兩者交集的觀測值。
* First create df2 and save to disk
clear
input str1 key
B
D
D
E
end
generate value = rnormal()
save df2.dta
* Now create df1 in memory
clear
input str1 key
A
B
C
D
end
generate value = rnormal()
preserve
* Left join
merge 1:n key using df2.dta
keep if _merge == 1
* Right join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 2
* Inner join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 3
* Outer join
restore
merge 1:n key using df2.dta
pandas DataFrames 具有merge()方法，提供類似的功能。資料不必事先排序，不同的連線型別透過how關鍵字實現。
In [49]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [50]: inner_join
Out[50]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [51]: left_join = df1.merge(df2, on=["key"], how="left")
In [52]: left_join
Out[52]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [53]: right_join = df1.merge(df2, on=["key"], how="right")
In [54]: right_join
Out[54]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [55]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [56]: outer_join
Out[56]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
缺失資料
pandas 和 Stata 都有缺失資料的表示。
pandas 用特殊的浮點值NaN（不是一個數字）表示缺失資料。許多語義是相同的；例如，缺失資料透過數值運算傳播，並且預設情況下在聚合中被忽略。
In [57]: outer_join
Out[57]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [58]: outer_join["value_x"] + outer_join["value_y"]
Out[58]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [59]: outer_join["value_x"].sum()
Out[59]: -3.5940742896293765
一個區別是缺失資料無法與其標記值進行比較。例如，在 Stata 中，您可以這樣過濾缺失值。
* Keep missing values
list if value_x == .
* Keep non-missing values
list if value_x != .
在 pandas 中，Series.isna()和Series.notna()可用於過濾行。
In [60]: outer_join[outer_join["value_x"].isna()]
Out[60]:
key value_x value_y
5 E NaN -1.044236
In [61]: outer_join[outer_join["value_x"].notna()]
Out[61]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandas 提供了各種方法來處理缺失資料。以下是一些示例：
刪除具有缺失值的行
In [62]: outer_join.dropna()
Out[62]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
從前面的行向前填充
In [63]: outer_join.ffill()
Out[63]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
用指定值替換缺失值
使用均值：
In [64]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[64]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
分組
聚合
Stata 的 collapse 可以用於按一個或多個關鍵變數分組並計算數值列的聚合。
collapse (sum) total_bill tip, by(sex smoker)
pandas 提供了靈活的 groupby 機制，允許類似的聚合。檢視 groupby 文件 獲取更多詳細資訊和示例。
In [65]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [66]: tips_summed
Out[66]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
轉換
在 Stata 中，如果需要將組聚合與原始資料集一起使用，通常會使用 bysort 與 egen()。例如，要按吸菸者組減去每個觀測值的平均值。
bysort sex smoker: egen group_bill = mean(total_bill)
generate adj_total_bill = total_bill - group_bill
pandas 提供了一個 Transformation 機制，允許這些型別的操作在一個操作中簡潔地表達。
In [67]: gb = tips.groupby("smoker")["total_bill"]
In [68]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [69]: tips
Out[69]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
按組處理
除了聚合，pandas 的 groupby 還可以用於複製 Stata 中的大多數其他 bysort 處理。例如，以下示例列出了當前排序順序中按性別/吸菸者組列出的第一個觀測值。
bysort sex smoker: list if _n == 1
在 pandas 中，這樣寫：
In [70]: tips.groupby(["sex", "smoker"]).first()
Out[70]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
其他考慮
磁碟 vs 記憶體
pandas 和 Stata 都僅在記憶體中執行。這意味著 pandas 可以載入的資料大小受限於計算機的記憶體。如果需要離線處理，一個可能的選擇是 dask.dataframe 庫，它為磁碟上的 DataFrame 提供了一部分 pandas 功能。
資料結構
通用術語翻譯
| pandas | Stata |
|---|---|
DataFrame |
資料集 |
| 列 | 變數 |
| 行 | 觀測值 |
| groupby | bysort |
NaN |
. |
DataFrame
pandas 中的 DataFrame 類似於 Stata 資料集 - 一個具有標記列的二維資料來源，可以是不同型別。正如本文件所示，幾乎可以在 Stata 中應用於資料集的任何操作也可以在 pandas 中完成。
Series
Series 是表示 DataFrame 的一列的資料結構。Stata 沒有單獨的資料結構用於單列，但總體上，與在 Stata 中引用資料集的列類似，使用 Series。
Index
每個 DataFrame 和 Series 都有一個 Index - 資料的 行 上的標籤。Stata 沒有完全類似的概念。在 Stata 中，資料集的行基本上是無標籤的，除了可以透過 _n 訪問的隱式整數索引。
在 pandas 中，如果未指定索引，則預設也使用整數索引（第一行 = 0，第二行 = 1，依此類推）。雖然使用帶標籤的 Index 或 MultiIndex 可以實現複雜的分析，並最終是理解 pandas 的重要部分，但在此比較中，我們將基本上忽略 Index，只將 DataFrame 視為一列集合。請參閱 索引文件 以獲取有關如何有效使用 Index 的更多資訊。
複製 vs. 原地操作
大多數 pandas 操作返回 Series/DataFrame 的副本。要使更改“生效”，您需要將其分配給一個新變數：
sorted_df = df.sort_values("col1")
或覆蓋原始內容：
df = df.sort_values("col1")
注意
您將看到一些方法可用的 inplace=True 或 copy=False 關鍵字引數：
df.replace(5, inplace=True)
關於大多數方法（例如 dropna）的 inplace 和 copy 的棄用和移除正在進行活躍的討論，除了一小部分方法（包括 replace）。在寫時複製的情況下，這兩個關鍵字將不再必要。提案可以在這裡找到。
通用術語翻譯
| pandas | Stata |
|---|---|
DataFrame |
資料集 |
| 列 | 變數 |
| 行 | 觀察 |
| groupby | bysort |
NaN |
. |
DataFrame
在 pandas 中，一個 DataFrame 類似於 Stata 資料集 - 一個帶有標記列的二維資料來源，可以是不同型別的。正如本文件所示，幾乎任何可以應用於 Stata 資料集的操作也可以在 pandas 中完成。
Series
Series 是表示 DataFrame 的一列的資料結構。Stata 沒有單獨的資料結構用於單列，但通常，與 Series 一起工作類似於引用 Stata 資料集中的一列。
Index
每個 DataFrame 和 Series 都有一個 Index - 資料的 行 上的標籤。Stata 沒有完全類似的概念。在 Stata 中，資料集的行基本上是無標籤的，除了可以使用 _n 訪問的隱式整數索引。
在 pandas 中，如果沒有指定索引，也會預設使用整數索引（第一行 = 0，第二行 = 1，依此類推）。雖然使用標記的 Index 或 MultiIndex 可以實現複雜的分析，並且最終是理解 pandas 的重要部分，但在這個比較中，我們基本上會忽略 Index，只將 DataFrame 視為列的集合。請參閱索引文件以瞭解如何有效使用 Index。
複製 vs. 就地操作
大多數 pandas 操作返回 Series/DataFrame 的副本。要使更改“生效”，您需要將其分配給一個新變數：
sorted_df = df.sort_values("col1")
或覆蓋原始內容：
df = df.sort_values("col1")
注意
您將看到一些方法可用的 inplace=True 或 copy=False 關鍵字引數：
df.replace(5, inplace=True)
關於大多數方法（例如 dropna）的 inplace 和 copy 的棄用和移除正在進行活躍的討論，除了一小部分方法（包括 replace）。在寫時複製的情況下，這兩個關鍵字將不再必要。提案可以在這裡找到。
資料輸入/輸出
從數值構建 DataFrame
可以透過在 input 語句後放置資料並指定列名來從指定值構建 Stata 資料集。
input x y
1 2
3 4
5 6
end
一個 pandas DataFrame可以透過多種不同的方式構建，但對於少量值來說，通常將其指定為 Python 字典會更方便，其中鍵是列名，值是資料。
In [3]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [4]: df
Out[4]:
x y
0 1 2
1 3 4
2 5 6
讀取外部資料
像 Stata 一樣，pandas 提供了從許多格式中讀取資料的實用程式。在 pandas 測試中找到的tips資料集（csv）將在接下來的許多示例中使用。
Stata 提供import delimited將 csv 資料讀入記憶體中的資料集。如果tips.csv檔案在當前工作目錄中，我們可以這樣匯入。
import delimited tips.csv
pandas 方法是read_csv()，其工作方式類似。此外，如果提供了 url，它將自動下載資料集。
In [5]: url = (
...: "https://raw.githubusercontent.com/pandas-dev"
...: "/pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [6]: tips = pd.read_csv(url)
In [7]: tips
Out[7]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
像import delimited一樣，read_csv()可以接受多個引數來指定資料應如何解析。例如，如果資料實際上是製表符分隔的，沒有列名，並且存在於當前工作目錄中，則 pandas 命令將是：
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
pandas 還可以使用read_stata()函式讀取.dta格式的 Stata 資料集。
df = pd.read_stata("data.dta")
除了文字/csv 和 Stata 檔案外，pandas 還支援各種其他資料格式，如 Excel、SAS、HDF5、Parquet 和 SQL 資料庫。所有這些都是透過pd.read_*函式讀取的。有關更多詳細資訊，請參閱 IO 文件。
限制輸出
預設情況下，pandas 會截斷大型DataFrame的輸出以顯示第一行和最後一行。這可以透過更改 pandas 選項或使用DataFrame.head()或DataFrame.tail()來覆蓋。
In [8]: tips.head(5)
Out[8]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
在 Stata 中的等效操作是：
list in 1/5
匯出資料
在 Stata 中import delimited的反操作是export delimited
export delimited tips2.csv
類似地，在 pandas 中，read_csv的相反操作是DataFrame.to_csv()。
tips.to_csv("tips2.csv")
pandas 還可以使用DataFrame.to_stata()方法匯出為 Stata 檔案格式。
tips.to_stata("tips2.dta")
從值構建 DataFrame
可以透過在input語句後放置資料並指定列名來從指定值構建 Stata 資料集。
input x y
1 2
3 4
5 6
end
可以以許多不同的方式構建 pandas 的DataFrame，但對於少量值，通常將其指定為 Python 字典是方便的，其中鍵是列名，值是資料。
In [3]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [4]: df
Out[4]:
x y
0 1 2
1 3 4
2 5 6
讀取外部資料
與 Stata 類似，pandas 提供了從多種格式中讀取資料的實用工具。在 pandas 測試中找到的tips資料集（csv）將在以下許多示例中使用。
Stata 提供了import delimited來將 csv 資料讀入記憶體中的資料集。如果tips.csv檔案位於當前工作目錄中，我們可以按照以下方式匯入它。
import delimited tips.csv
pandas 的方法是read_csv()，其工作方式類似。此外，如果提供了 url，它將自動下載資料集。
In [5]: url = (
...: "https://raw.githubusercontent.com/pandas-dev"
...: "/pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [6]: tips = pd.read_csv(url)
In [7]: tips
Out[7]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
與import delimited類似，read_csv()可以接受許多引數來指定資料的解析方式。例如，如果資料是製表符分隔的，沒有列名，並且存在於當前工作目錄中，則 pandas 命令將是：
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
pandas 還可以使用read_stata()函式讀取.dta格式的 Stata 資料集。
df = pd.read_stata("data.dta")
除了 text/csv 和 Stata 檔案外，pandas 還支援各種其他資料格式，如 Excel、SAS、HDF5、Parquet 和 SQL 資料庫。這些都是透過pd.read_*函式讀取的。有關更多詳細資訊，請參閱 IO 文件。
限制輸出
預設情況下，pandas 會截斷大型DataFrame的輸出，以顯示第一行和最後一行。可以透過更改 pandas 選項或使用DataFrame.head()或DataFrame.tail()來覆蓋此行為。
In [8]: tips.head(5)
Out[8]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
在 Stata 中的等價操作是：
list in 1/5
匯出資料
在 Stata 中，import delimited的反向操作是export delimited。
export delimited tips2.csv
類似地，在 pandas 中，read_csv的反向操作是DataFrame.to_csv()。
tips.to_csv("tips2.csv")
pandas 還可以使用DataFrame.to_stata()方法匯出為 Stata 檔案格式。
tips.to_stata("tips2.dta")
資料操作
列上的操作
在 Stata 中，可以在新列或現有列上使用generate和replace命令進行任意數學表示式運算。drop命令會從資料集中刪除該列。
replace total_bill = total_bill - 2
generate new_bill = total_bill / 2
drop new_bill
pandas 透過在 DataFrame 中指定單獨的 Series 來提供向量化操作。新列可以以相同的方式分配。DataFrame.drop() 方法從 DataFrame 中刪除列。
In [9]: tips["total_bill"] = tips["total_bill"] - 2
In [10]: tips["new_bill"] = tips["total_bill"] / 2
In [11]: tips
Out[11]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [12]: tips = tips.drop("new_bill", axis=1)
篩選
在 Stata 中，透過對一個或多個列使用 if 子句來進行篩選。
list if total_bill > 10
DataFrames 可以透過多種方式進行篩選；其中最直觀的是使用布林索引。
In [13]: tips[tips["total_bill"] > 10]
Out[13]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上述語句只是將一個 Series 物件傳遞給 DataFrame，返回所有值為 True 的行。
In [14]: is_dinner = tips["time"] == "Dinner"
In [15]: is_dinner
Out[15]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [16]: is_dinner.value_counts()
Out[16]:
time
True 176
False 68
Name: count, dtype: int64
In [17]: tips[is_dinner]
Out[17]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
If/then 邏輯
在 Stata 中，透過對一個或多個列使用 if 子句來進行篩選。
generate bucket = "low" if total_bill < 10
replace bucket = "high" if total_bill >= 10
pandas 中可以使用 numpy 的 where 方法來執行相同的操作。
In [18]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [19]: tips
Out[19]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日期功能
Stata 提供了多種函式來對日期/時間列進行操作。
generate date1 = mdy(1, 15, 2013)
generate date2 = date("Feb152015", "MDY")
generate date1_year = year(date1)
generate date2_month = month(date2)
* shift date to beginning of next month
generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12
replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12
generate months_between = mofd(date2) - mofd(date1)
list date1 date2 date1_year date2_month date1_next months_between
下面顯示了 pandas 中的等效操作。除了這些函式外，pandas 還支援其他 Stata 中不可用的時間序列功能（如時區處理和自定義偏移）- 有關更多詳細資訊，請參閱時間序列文件。
In [20]: tips["date1"] = pd.Timestamp("2013-01-15")
In [21]: tips["date2"] = pd.Timestamp("2015-02-15")
In [22]: tips["date1_year"] = tips["date1"].dt.year
In [23]: tips["date2_month"] = tips["date2"].dt.month
In [24]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [25]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
....: "date1"
....: ].dt.to_period("M")
....:
In [26]: tips[
....: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
....: ]
....:
Out[26]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
選擇列
Stata 提供了關鍵字來選擇、刪除和重新命名列。
keep sex total_bill tip
drop sex
rename total_bill total_bill_2
下面展示了 pandas 中的相同操作。
保留特定列
In [27]: tips[["sex", "total_bill", "tip"]]
Out[27]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
刪除一列
In [28]: tips.drop("sex", axis=1)
Out[28]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重新命名列
In [29]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[29]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
按值排序
在 Stata 中，透過 sort 來實現排序
sort sex total_bill
pandas 有一個 DataFrame.sort_values() 方法，可以按列排序。
In [30]: tips = tips.sort_values(["sex", "total_bill"])
In [31]: tips
Out[31]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
列操作
在 Stata 中，可以在新列或現有列上使用 generate 和 replace 命令進行任意數學表示式運算。drop 命令會從資料集中刪除該列。
replace total_bill = total_bill - 2
generate new_bill = total_bill / 2
drop new_bill
pandas 透過在 DataFrame 中指定單獨的 Series 來提供向量化操作。新列可以以相同的方式分配。DataFrame.drop() 方法從 DataFrame 中刪除列。
In [9]: tips["total_bill"] = tips["total_bill"] - 2
In [10]: tips["new_bill"] = tips["total_bill"] / 2
In [11]: tips
Out[11]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [12]: tips = tips.drop("new_bill", axis=1)
篩選
在 Stata 中，透過對一個或多個列使用 if 子句來進行篩選。
list if total_bill > 10
DataFrames 可以透過多種方式進行篩選；其中最直觀的是使用布林索引。
In [13]: tips[tips["total_bill"] > 10]
Out[13]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上述語句只是將一個 Series 物件傳遞給 DataFrame，返回所有值為 True 的行。
In [14]: is_dinner = tips["time"] == "Dinner"
In [15]: is_dinner
Out[15]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [16]: is_dinner.value_counts()
Out[16]:
time
True 176
False 68
Name: count, dtype: int64
In [17]: tips[is_dinner]
Out[17]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
If/then 邏輯
在 Stata 中，也可以使用 if 子句來建立新列。
generate bucket = "low" if total_bill < 10
replace bucket = "high" if total_bill >= 10
在 pandas 中可以使用 numpy 的 where 方法來執行相同的操作。
In [18]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [19]: tips
Out[19]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日期功能
Stata 提供了多種函式來對日期/時間列進行操作。
generate date1 = mdy(1, 15, 2013)
generate date2 = date("Feb152015", "MDY")
generate date1_year = year(date1)
generate date2_month = month(date2)
* shift date to beginning of next month
generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12
replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12
generate months_between = mofd(date2) - mofd(date1)
list date1 date2 date1_year date2_month date1_next months_between
下面顯示了等效的 pandas 操作。除了這些函式之外，pandas 還支援其他在 Stata 中不可用的時間序列功能（例如時區處理和自定義偏移）- 請參閱時間序列文件瞭解更多詳情。
In [20]: tips["date1"] = pd.Timestamp("2013-01-15")
In [21]: tips["date2"] = pd.Timestamp("2015-02-15")
In [22]: tips["date1_year"] = tips["date1"].dt.year
In [23]: tips["date2_month"] = tips["date2"].dt.month
In [24]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [25]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
....: "date1"
....: ].dt.to_period("M")
....:
In [26]: tips[
....: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
....: ]
....:
Out[26]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
選擇列
Stata 提供了關鍵字來選擇、刪除和重新命名列。
keep sex total_bill tip
drop sex
rename total_bill total_bill_2
下面展示了 pandas 中相同的操作。
保留特定列
In [27]: tips[["sex", "total_bill", "tip"]]
Out[27]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
刪除列
In [28]: tips.drop("sex", axis=1)
Out[28]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重新命名列
In [29]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[29]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
保留特定列
In [27]: tips[["sex", "total_bill", "tip"]]
Out[27]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
刪除列
In [28]: tips.drop("sex", axis=1)
Out[28]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重新命名列
In [29]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[29]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
按值排序
在 Stata 中，透過sort來進行排序
sort sex total_bill
pandas 有一個DataFrame.sort_values()方法，接受一個要排序的列列表。
In [30]: tips = tips.sort_values(["sex", "total_bill"])
In [31]: tips
Out[31]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
字串處理
查詢字串的長度
Stata 使用 strlen() 和 ustrlen() 函式分別確定 ASCII 和 Unicode 字串的長度。
generate strlen_time = strlen(time)
generate ustrlen_time = ustrlen(time)
你可以使用Series.str.len()方法找到字串的長度。在 Python 3 中，所有字串都是 Unicode 字串。len 包括尾隨空格。使用 len 和 rstrip 來排除尾隨空格。
In [32]: tips["time"].str.len()
Out[32]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [33]: tips["time"].str.rstrip().str.len()
Out[33]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
查詢子串的位置
Stata 使用 strpos() 函式確定字串中字元的位置。它接受由第一個引數定義的字串，並搜尋你提供的作為第二個引數的子串的第一個位置。
generate str_position = strpos(sex, "ale")
你可以使用Series.str.find()方法在字串列中找到字元的位置。find 搜尋子串的第一個位置。如果找到子串，則該方法返回其位置。如果未找到，則返回 -1。請記住 Python 的索引是從零開始的。
In [34]: tips["sex"].str.find("ale")
Out[34]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
按位置提取子串
Stata 使用 substr() 函式根據位置從字串中提取子串。
generate short_sex = substr(sex, 1, 1)
在 pandas 中，你可以使用[]符號透過位置位置提取字串的子串。請記住 Python 的索引是從零開始的。
In [35]: tips["sex"].str[0:1]
Out[35]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
提取第 n 個單詞
Stata 的 word() 函式從字串中返回第 n 個單詞。第一個引數是要解析的字串，第二個引數指定要提取的單詞。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate first_name = word(name, 1)
generate last_name = word(name, -1)
在 pandas 中提取單詞的最簡單方法是透過空格拆分字串，然後按索引引用單詞。請注意，如果需要，還有更強大的方法。
In [36]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [37]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [38]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [39]: firstlast
Out[39]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
更改大小寫
Stata 的 strupper()、strlower()、strproper()、ustrupper()、ustrlower() 和 ustrtitle() 函式分別更改 ASCII 和 Unicode 字串的大小寫。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate upper = strupper(string)
generate lower = strlower(string)
generate title = strproper(string)
list
等效的 pandas 方法是Series.str.upper()，Series.str.lower()和Series.str.title()。
In [40]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [41]: firstlast["upper"] = firstlast["string"].str.upper()
In [42]: firstlast["lower"] = firstlast["string"].str.lower()
In [43]: firstlast["title"] = firstlast["string"].str.title()
In [44]: firstlast
Out[44]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
查詢字串的長度
Stata 使用strlen()和ustrlen()函式分別確定 ASCII 和 Unicode 字串的長度。
generate strlen_time = strlen(time)
generate ustrlen_time = ustrlen(time)
您可以使用Series.str.len()找到字串的長度。在 Python 3 中，所有字串都是 Unicode 字串。len 包括尾隨空格。使用 len 和 rstrip 來排除尾隨空格。
In [32]: tips["time"].str.len()
Out[32]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [33]: tips["time"].str.rstrip().str.len()
Out[33]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
查詢子字串的位置
Stata 使用strpos()函式確定字串中字元的位置。這需要由第一個引數定義的字串，並搜尋您提供為第二個引數的子字串的第一個位置。
generate str_position = strpos(sex, "ale")
您可以使用Series.str.find()方法找到字串列中字元的位置。find搜尋子字串的第一個位置。如果找到子字串，則該方法返回其位置。如果未找到，則返回-1。請記住，Python 的索引是從零開始的。
In [34]: tips["sex"].str.find("ale")
Out[34]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
按位置提取子字串
Stata 使用substr()函式根據位置從字串中提取子字串。
generate short_sex = substr(sex, 1, 1)
在 pandas 中，您可以使用[]符號按位置位置提取字串的子字串。請記住，Python 的索引是從零開始的。
In [35]: tips["sex"].str[0:1]
Out[35]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
提取第 n 個單詞
Stata 的word()函式從字串中返回第 n 個單詞。第一個引數是要解析的字串，第二個引數指定要提取的單詞。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate first_name = word(name, 1)
generate last_name = word(name, -1)
在 pandas 中提取單詞的最簡單方法是透過空格拆分字串，然後按索引引用單詞。請注意，如果需要，還有更強大的方法。
In [36]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [37]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [38]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [39]: firstlast
Out[39]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
更改大小寫
Stata 的strupper()、strlower()、strproper()、ustrupper()、ustrlower()和ustrtitle()函式分別更改 ASCII 和 Unicode 字串的大小寫。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate upper = strupper(string)
generate lower = strlower(string)
generate title = strproper(string)
list
等效的 pandas 方法是Series.str.upper()，Series.str.lower()和Series.str.title()。
In [40]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [41]: firstlast["upper"] = firstlast["string"].str.upper()
In [42]: firstlast["lower"] = firstlast["string"].str.lower()
In [43]: firstlast["title"] = firstlast["string"].str.title()
In [44]: firstlast
Out[44]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
合併
下表將用於合併示例：
In [45]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [46]: df1
Out[46]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [47]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [48]: df2
Out[48]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
在 Stata 中，要執行合併操作，一個資料集必須在記憶體中，另一個必須作為磁碟上的檔名引用。相比之下，Python 必須已經將兩個DataFrames都載入到記憶體中。
預設情況下，Stata 執行外連線，合併後兩個資料集的所有觀測值都保留在記憶體中。可以透過使用_merge變數中建立的值，僅保留初始資料集、合併資料集或兩者的交集中的觀測值。
* First create df2 and save to disk
clear
input str1 key
B
D
D
E
end
generate value = rnormal()
save df2.dta
* Now create df1 in memory
clear
input str1 key
A
B
C
D
end
generate value = rnormal()
preserve
* Left join
merge 1:n key using df2.dta
keep if _merge == 1
* Right join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 2
* Inner join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 3
* Outer join
restore
merge 1:n key using df2.dta
pandas 的 DataFrames 有一個merge()方法，提供類似的功能。資料不必事先排序，不同的連線型別透過how關鍵字實現。
In [49]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [50]: inner_join
Out[50]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [51]: left_join = df1.merge(df2, on=["key"], how="left")
In [52]: left_join
Out[52]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [53]: right_join = df1.merge(df2, on=["key"], how="right")
In [54]: right_join
Out[54]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [55]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [56]: outer_join
Out[56]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
缺失資料
pandas 和 Stata 都有一個表示缺失資料的方式。
pandas 用特殊的浮點值NaN（不是一個數字）表示缺失資料。許多語義是相同的；例如，缺失資料透過數值運算傳播，並且預設情況下在聚合中被忽略。
In [57]: outer_join
Out[57]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [58]: outer_join["value_x"] + outer_join["value_y"]
Out[58]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [59]: outer_join["value_x"].sum()
Out[59]: -3.5940742896293765
一個區別是缺失資料不能與其標誌值進行比較。例如，在 Stata 中，您可以這樣做來過濾缺失值。
* Keep missing values
list if value_x == .
* Keep non-missing values
list if value_x != .
在 pandas 中，Series.isna()和Series.notna()可用於過濾行。
In [60]: outer_join[outer_join["value_x"].isna()]
Out[60]:
key value_x value_y
5 E NaN -1.044236
In [61]: outer_join[outer_join["value_x"].notna()]
Out[61]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandas 提供了各種方法來處理缺失資料。以下是一些示例：
刪除帶有缺失值的行
In [62]: outer_join.dropna()
Out[62]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
從前一行向前填充
In [63]: outer_join.ffill()
Out[63]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
用指定值替換缺失值
使用均值：
In [64]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[64]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
刪除帶有缺失值的行
In [62]: outer_join.dropna()
Out[62]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
從前一行向前填充
In [63]: outer_join.ffill()
Out[63]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
用指定值替換缺失值
使用均值：
In [64]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[64]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
分組
聚合
Stata 的collapse可以用於按一個或多個關鍵變數分組，並在數值列上計算聚合。
collapse (sum) total_bill tip, by(sex smoker)
pandas 提供了靈活的groupby機制，允許進行類似的聚合。檢視 groupby 文件以獲取更多詳細資訊和示例。
In [65]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [66]: tips_summed
Out[66]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
轉換
在 Stata 中，如果需要將組聚合與原始資料集一起使用，通常會使用bysort和egen()。例如，透過吸菸者組減去每個觀測值的均值。
bysort sex smoker: egen group_bill = mean(total_bill)
generate adj_total_bill = total_bill - group_bill
pandas 提供了一個轉換機制，允許這些型別的操作在一個操作中簡潔地表達。
In [67]: gb = tips.groupby("smoker")["total_bill"]
In [68]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [69]: tips
Out[69]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
按組處理
除了聚合，pandas 的groupby還可以用於複製 Stata 中的大多數其他bysort處理。例如，以下示例列出了當前排序順序中每個性別/吸菸者組中的第一個觀測值。
bysort sex smoker: list if _n == 1
在 pandas 中，這樣寫：
In [70]: tips.groupby(["sex", "smoker"]).first()
Out[70]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
聚合
Stata 的collapse可以用於按一個或多個關鍵變數分組，並在數值列上計算聚合。
collapse (sum) total_bill tip, by(sex smoker)
pandas 提供了靈活的groupby機制，允許類似的聚合。檢視 groupby 文件獲取更多詳細資訊和示例。
In [65]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [66]: tips_summed
Out[66]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
轉換
在 Stata 中，如果需要將組聚合與原始資料集一起使用，通常會使用bysort和egen()。例如，透過吸菸者組減去每個觀察的平均值。
bysort sex smoker: egen group_bill = mean(total_bill)
generate adj_total_bill = total_bill - group_bill
pandas 提供了一個 Transformation 機制，允許這些型別的操作在一個操作中簡潔地表達。
In [67]: gb = tips.groupby("smoker")["total_bill"]
In [68]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [69]: tips
Out[69]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
按組處理
除了聚合，pandas 的groupby還可以用於複製 Stata 中的大多數其他bysort處理。例如，以下示例列出了按性別/吸菸者組排序的當前排序順序中的第一個觀察。
bysort sex smoker: list if _n == 1
在 pandas 中，這樣寫：
In [70]: tips.groupby(["sex", "smoker"]).first()
Out[70]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
其他考慮
磁碟與記憶體
pandas 和 Stata 都僅在記憶體中執行。這意味著 pandas 可以載入的資料大小受限於您計算機的記憶體。如果需要進行離線處理，一種可能性是dask.dataframe庫，它為磁碟上的DataFrame提供了一部分 pandas 功能。
磁碟與記憶體
pandas 和 Stata 都僅在記憶體中執行。這意味著 pandas 可以載入的資料大小受限於您計算機的記憶體。如果需要進行離線處理，一種可能性是dask.dataframe庫，它為磁碟上的DataFrame提供了一部分 pandas 功能。