> 作者：幻好
>
> 來源：[恆生LIGHT雲社群](https://developer.hs.net/thread/1612)

> Pandas 是一個 Python 軟體庫，它提供了大量能使我們快速便捷地處理資料的函式和方法。在本文將主要介紹 Pandas 的實用資料處理操作。
>
> 系列文章：
>
> [【Pandas學習筆記01】強大的分析結構化資料的工具集](http://blog.itpub.net/70001864/viewspace-2844141/)

## 概述

Pandas 是基於 NumPy 構建的庫，在資料處理方面可以把它理解為 NumPy 加強版，同時 Pandas 也是一項開源專案。它基於 Cython，因此讀取與處理資料非常快，並且還能輕鬆處理浮點資料中的缺失資料（表示為 NaN）以及非浮點資料。在本文中，基本資料集操作主要介紹了 CSV 與 Excel 的讀寫方法，基本資料處理主要介紹了缺失值及特徵抽取，最後的 DataFrame 操作則主要介紹了函式和排序等方法。

### 資料集基礎操作

- 讀取 CSV 格式檔案中的資料集

```python
import pandas as pd
# 方式1 
df1 = pd.read_csv(“file.csv”)
# 方式2
df2 = pd.DataFrame.from_csv(“file.csv”)
```

- 讀取 Excel 格式檔案中的資料集

```python
import pandas as pd
df = pd.read_excel("file.xlsx")
```

- 獲取基本的資料集特徵資訊

```python
df.info()
```

- 查詢資料集基本統計資訊

```
print(df.describe())
```

- 查詢所有列的標題名稱

```python
print(df.columns)
```

- 使用 DataFrame 物件將資料寫入 CSV 檔案

```python
# 採用逗號作為分隔符，且不帶索引
df.to_csv("data.csv", sep=",", index=False)
```

### 資料集的處理

首先定義一個 `DataFrame` 資料集：

```python
import pandas as pd

df = pd.DataFrame(data = [['java',1],['python',2],['golang','3']],index = [1,2,3],columns = ['name','rank'])
print(df)
```

列印資料集：

```python
     name rank
1    java    1
2  python    2
3  golang    3
```

#### 查詢資料操作

- 使用`df.loc[index, column]`  對具體的行和列的資料進行查詢

```python
# 查詢指定行和列的資料
df.loc[0,'name']
#選取第0行到第1行，name列和rank列的資料
df.loc[[0,1],['name','age']]
#選取name列是M，name和rank列的資料
df.loc[df['name']=='java',['name','rank']] 
```

- 透過`df['column_name']` 或`df[row_start_index, row_end_index]` 對整列或一定範圍的行資料進行查詢

```python
# 選取單列或多列
df['name']
df[['name','rank']] 
#第0行及之後的行
df[0:]   
# 第1行到第2行（不含第3行）
df[1:3]   
# 最後一行
df[-1:]   
```

#### 增加資料操作

- 向資料集中增加列資料：

```python
# 在第0列，加上 column 名稱為 user_num，值為 user_num 的值
user_num = ['100','89','70']
df.insert(0,'user_num',user_num)

# 預設在df最後一列加上column名稱為 application，值為 application 的資料
application = ['Web','AI','server']
df['application'] = application
```

- 向資料集中增加行資料：

```python
# 若df中沒有index為“10”的這一行資料，則新增
# 若df中已經有index為“10”的這一行資料，則更新資料。
df.loc[10] = ['php',10]

# 向df中追加新的資料
new_df = pd.DataFrame(index = True,columns = ['name','rank'])
df = df.append(new_df,ignore_index = True) 
```

#### 修改資料操作

- 修改列標題

```python
#只把’user_num’改為’users’，要把所有的列全寫上，否則報錯。
df.columns = ['name', 'rank', 'users'] 
#只修改name,inplace若為True，直接修改df，否則，不修改df，只是返回一個修改後的資料。
df.rename(columns = {'name':'Name'}, inplace = True) 
```

- 修改數值

```python
# 修改index為‘0’，column為‘name’的那一個值為C
df.loc[0, 'name'] = 'C'  
# 修改index為‘0’的那一行的所有值
df.loc[0] = ['java', 1, '1000']  
# 修改index為‘0’，column為‘name’的那一個值為Java
df.loc[0,['name','rank']] = ['Java'] 
# 替換缺失資料
df.replace(to_replace=None, value=None)
```

#### 刪除資料操作

- 刪除行資料

```python
# 刪除index值為2和3的兩行
df.drop([2,3],axis = 0,inplace = False)
```

- 刪除列資料

```python
# 刪除 name 列
df.drop(['name'],axis = 1,inplace = False)  
del df['name']  
# 刪除 name 列，操作後，將刪除的返回給new_df
new_df = df.pop('age')  
```

## 總結

本文主要介紹 Pandas 工具集的實用操作，能夠幫助我們解決日常資料處理的基本問題，後續將繼續分享高階技巧，敬請期待。

【Pandas學習筆記02】處理資料實用操作

相關文章