Python自動化測試-使用Pandas來高效處理測試資料

可優發表於2019-05-30
Python

一、思考

1.Pandas是什麼？

Python自動化測試-使用Pandas來高效處理測試資料

  • 功能極其強大的資料分析庫
  • 可以高效地操作各種資料集
    • csv格式的檔案
    • Excel檔案
    • HTML檔案
    • XML格式的檔案
    • JSON格式的檔案
    • 資料庫操作


2.經典面試題

通過面試題引出主題，讀者可以思考，如果你遇到這題，該如何解答呢？

Python自動化測試-使用Pandas來高效處理測試資料



二、使用pandas來操作Excel檔案

Python自動化測試-使用Pandas來高效處理測試資料

1.安裝

a.通過Pypi來安裝

pip install pandas

b.通過原始碼來安裝

git clone git://github.com/pydata/pandas.git
cd pandas
python setup.py install


2.按列讀取資料

案例中的lemon_cases.xlsx檔案內容如下所示：

Python自動化測試-使用Pandas來高效處理測試資料


import pandas as pd

# 讀excel檔案
# 返回一個DataFrame物件，多維資料結構
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')
print(df)


# 1.讀取一列資料
# df["title"] 返回一個Series物件，記錄title這列的資料
print(df["title"])

# Series物件能轉化為任何序列型別和dict字典型別
print(list(df['title']))    # 轉化為列表
# title為DataFrame物件的屬性
print(list(df.title))    # 轉化為列表
print(tuple(df['title']))   # 轉化為元組
print(dict(df['title']))    # 轉化為字典，key為數字索引

# 2.讀取某一個單元格資料
# 不包括表頭，指定列名和行索引
print(df['title'][0])   # title列，不包括表頭的第一個單元格

# 3.讀取多列資料
print(df[["title", "actual"]])


3.按行讀取資料

import pandas as pd

# 讀excel檔案
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一個DataFrame物件，多維資料結構
print(df)


# 1.讀取一行資料
# 不包括表頭，第一個索引值為0
# 獲取第一行資料，可以將其轉化為list、tuple、dict
print(list(df.iloc[0]))  # 轉成列表
print(tuple(df.iloc[0]))  # 轉成元組
print(dict(df.iloc[0]))  # 轉成字典
print(dict(df.iloc[-1]))  # 也支援負索引

# 2.讀取某一個單元格資料
# 不包括表頭，指定行索引和列索引（或者列名）
print(df.iloc[0]["l_data"])   # 指定行索引和列名
print(df.iloc[0][2])    # 指定行索引和列索引

# 3.讀取多行資料
print(df.iloc[0:3])


4.iloc和loc方法

import pandas as pd

# 讀excel檔案
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一個DataFrame物件，多維資料結構
print(df)


# 1.iloc方法
# iloc使用數字索引來讀取行和列
# 也可以使用iloc方法讀取某一列
print(df.iloc[:, 0])
print(df.iloc[:, 1])
print(df.iloc[:, -1])

# 讀取多列
print(df.iloc[:, 0:3])

# 讀取多行多列
print(df.iloc[2:4, 1:4])
print(df.iloc[[1, 3], [2, 4]])

# 2.loc方法
# loc方法，基於標籤名或者索引名來選擇
print(df.loc[1:2, "title"])             # 多行一列
print(df.loc[1:2, "title":"r_data"])    # 多列多行

# 基於布林型別來選擇
print(df["r_data"] > 5)  # 某一列中大於5的數值為True，否則為False
print(df.loc[df["r_data"] > 5])  # 把r_data列中大於5，所在的行選擇出來
print(df.loc[df["r_data"] > 5, "r_data":"actual"])  # 把r_data到actual列選擇出來


5.讀取所有資料

import pandas as pd

# 讀excel檔案
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一個DataFrame物件，多維資料結構
print(df)


# 讀取的資料為巢狀列表的列表型別，此方法不推薦使用
print(df.values)

# 巢狀字典的列表
datas_list = []
for r_index in df.index:
    datas_list.append(df.iloc[r_index].to_dict())

print(datas_list)


6.寫入資料

import pandas as pd

# 讀excel檔案
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一個DataFrame物件，多維資料結構
print(df)


df['result'][0] = 1000
print(df)
with pd.ExcelWriter('lemon_cases_new.xlsx') as writer:
    df.to_excel(writer, sheet_name="New", index=False)


Python自動化測試-使用Pandas來高效處理測試資料



三、使用pandas來操作csv檔案

1.讀取csv檔案

案例中的data.log檔案內容如下所示：

TestID,TestTime,Success
0,149,0
1,69,0
2,45,0
3,18,1
4,18,1


import pandas as pd


# 讀取csv檔案
# 方法一，使用read_csv讀取，列與列之間預設以逗號分隔（推薦方法）
# a.第一行為列名資訊
csvframe = pd.read_csv('data.log')

# b.第一行沒有列名資訊，直接為資料
csvframe = pd.read_csv('data.log', header=None)

# c.第一行沒有列名資訊，直接為資料，也可以指定列名
csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"])


# 方法二，read_table，需要指定列與列之間分隔符為逗號
csvframe = pd.read_table('data.log', sep=",")


2.解答面試題

import pandas as pd


# 1.讀取csv檔案
csvframe = pd.read_csv('data.log')

# 2.選擇Success為0的行
new_csvframe = csvframe.loc[csvframe["Success"] == 0]
result_csvframe = new_csvframe["TestTime"]
avg_result = round(sum(result_csvframe)/len(result_csvframe), 2)
print("TestTime最小值為：{}\nTestTime最大值為：{}\nTestTime平均值為：{}".
      format(min(result_csvframe), max(result_csvframe), avg_result))

四、總結

Python自動化測試-使用Pandas來高效處理測試資料

  • 在資料分析、資料視覺化領域，Pandas的應用極其廣泛；在大規模資料、多種類資料處理上效率非常高
  • 在軟體測試領域也有應用，但如果僅僅用excel來存放測試資料，使用Pandas就有點“殺雞焉用宰牛刀”的感覺，那麼建議使用特定的模組來處理（比如openpyxl）

相關文章