Airtest是網易開發的手機UI介面自動化測試工具,它原本的目的是通過所見即所得,截圖點選等等功能,簡化手機App圖形介面測試程式碼編寫工作。
安裝和使用
由於本文的目的是介紹如何使用Airtest來開發App爬蟲,那麼Airtest作為測試開發工具的方法介紹將會一帶而過,僅僅說明如何安裝並進行基本的操作。
安裝Airtest
從Airtest官網:https://airtest.netease.com下載Airtest,然後像安裝普通軟體一樣安裝即可。安裝過程沒有什麼需要特別說明的地方。Airtest已經幫你打包好了開發需要的全部環境,所以安裝完成Airtest以後就能夠直接使用了。
Airtest執行以後的介面如下圖所示。
連線手機
以Android手機為例,由於Airtest會通過adb命令安裝兩個輔助App到手機上,再用adb命令通過控制這兩個輔助App進而控制手機,因此首先需要確保手機的adb除錯功能是開啟的,並允許通過adb命令安裝App到手機上。
啟動Airtest以後,把Android手機連線到電腦上,點選下圖方框中的refresh ADB:
此時在Airtest介面右上角應該能夠看到手機的資訊,如下圖所示。(本人以mumu模擬器為例)
點選connect按鈕,此時可以在介面上看到手機的介面,並且當你手動操作手機螢幕時,Airtest中的手機畫面實時更新。如下圖所示。
對於某些手機,例如小米,在第一次使用Airtest時,請注意手機上將會彈出提示,詢問你是否允許安裝App,此時需要點選允許按鈕。
開啟雪球股票app
先通過一個簡單的例子,來看看如何快速上手Airtest,稍後再來詳解。
例如我現在想使用電腦控制手機,開啟雪球股票app。
此時,點選下圖中方框框住的touch按鈕:
此時,把滑鼠移動到Airtest右邊的手機螢幕區域,滑鼠會變成十字型。在雪球股票app圖示的左上角按下滑鼠左鍵不放,並拖到雪球股票app右下角鬆開滑鼠。此時請注意中間程式碼區域發生了什麼變化,如下圖所示。
好了。以上就是你需要使用電腦開啟微信所要進行的全部操作。
點選上方工具欄中的三角形圖示,執行程式碼,如下圖所示。
程式碼執行完成以後,微信被開啟了。
介面介紹
在有了一個直觀的使用以後,我們再來介紹一下Airtest的介面,將會更加有針對性。
Airtest的介面如下圖所示。
這裡,我把Airtest分成了A-F6個區域,他們的功能如下:
- A區:常用操作功能區
- B區:Python程式碼編寫區
- C區:執行日誌區
- D區:手機螢幕區
- E區:App頁面佈局資訊檢視區
- F區:工具欄
A區是常用的基於影像識別的螢幕操作功能,例如:
touch
: 點選螢幕元素swipe
: 滑動螢幕exists
: 判斷螢幕元素是否存在text
: 在輸入框中輸入文字snashot
: 截圖
……
一般來說,是點選A區裡面的某一個功能,然後在D區螢幕上進行框選操作,B區就會自動生成相應的操作程式碼。
B區用來顯示和編寫Python程式碼。在多數情況下,不需要手動寫程式碼,因為程式碼會根據你在手機螢幕上面的操作自動生成。只有一些需要特別定製化的動作才需要修改程式碼。
D區顯示了手機螢幕,當你操作手機真機時,這個螢幕會實時重新整理。你也可以直接在D區螢幕上使用滑鼠操作手機,你的操作動作會被自動在真機上執行。
F區是一些常用工具,從左到右,依次為:
- 新建專案
- 開啟專案
- 儲存專案
- 執行程式碼
- 停止程式碼
- 檢視執行報告
其中1-5很好理解,那麼什麼是檢視執行報告呢?
當你至少執行了一次以後,點選這個功能,會自動給你開啟一個網頁。網頁如下圖所示,這是你的程式碼的執行報告,詳細到每一步操作了什麼元素。
通過截圖功能操作手機雖然方便,但是截圖涉及到解析度的問題,程式碼不能在不同的手機上通用。所以對於A區的功能,做點簡單操作即可,不用深入瞭解。
更高階的功能,需要通過E區實現。
基於App佈局資訊操作手機
初始化程式碼
App的佈局資訊就像網頁的HTML一樣,儲存了App上面各個元素的相對位置和各個引數。對於一個App而言,在不同解析度的手機上,可能相同的元素有著不同的座標點,但是這個元素的屬性引數一般是不會變的。因此,如果使用元素的屬性引數來尋找並控制這個元素,就能實現在不同解析度手機上的精確定位。
App的佈局資訊的格式與App的開發環境有關。點選F區的下拉選單,可以看到這裡能夠指定不同的App開發環境。其中的Unity、Cocos-*等等一般是做遊戲用的,Android是安卓原生App,iOS是蘋果的App……如下圖所示。
同樣以雪球股票APP為例,由於它是Android原生的App,所以在F區下拉選單選擇Android,此時注意B區彈出提示,詢問你是否要插入poco初始程式碼到當前輸入游標的位置,點選Yes,如下圖所示。
此時,B區自動插入了一段程式碼,如下圖所示。
定位並點選
現在,點選E區的鎖形圖示,如下圖所示。
鎖形圖示啟用以後,你再操作D區的螢幕,點選雪球股票App下面的雪球股票四個字,會發現螢幕上被點選的App並不會開啟。但E區和C區卻發生了變化,如下圖所示。
其中E區顯示的樹狀結構就是當前螢幕的佈局資訊,這與Chrome開發者工具裡面顯示的HTML結構如出一轍。C區顯示的是當前被我點中的元素的資訊。
請注意在這些元素資訊中,有一個text屬性,它的值為雪球股票。那麼,這個屬性就可以作為一個定位元素,於是可以在B區編寫程式碼:
poco(text="雪球股票").click()
寫完程式碼以後執行程式,可以看到雪球股票App被開啟了。如下圖所示。
注意,如果你發現手機真機顯示的介面與Airtest螢幕顯示的手機介面不一致,可能是因為Airtest的螢幕被你鎖定了。在F區點一下鎖形圖示,取消鎖定,Airtest中的手機螢幕就會更新了。
定位並輸入
開啟知乎以後,我想使用雪球股票的搜尋功能,那麼繼續,把鎖形圖示啟用,然後點選雪球股票頂部的搜尋框,如下圖所示:
繼續看C區顯示的搜尋框屬性,可以看到這裡有一個name屬性,它的值是com.xueqiu.android:id/tv_banner
。所以此時需要使用name這個屬性。
常見的基本上不會變化的屬性包含但不限於:name
type
resourceId
package
。
另外還有一點,知乎首頁的這個搜尋框,實際上是不能輸入內容的,當你點選以後,會跳轉到另一個頁面,如下圖所示。
因此你需要先點選一下這個輸入框,跳轉到真正的搜尋介面:
poco(name="com.xueqiu.android:id/tv_banner").click()
在真正的搜尋介面如下圖所示。
可以看到,name屬性的值依然是com.xueqiu.android:id/search_input_text
,,還有一個text屬性,它的值為招商銀行去年淨利同比增四個點
。能不能像前面開啟雪球一樣,使用text這個屬性呢?也行,也不行。說它行,是因為你這麼做確實現在能工作;說它不行,因為這是雪球的熱門搜尋關鍵詞,隨時會改變。你今天使用這一句話成功了,明天熱門關鍵詞變化了,那麼你的程式碼就無法使用了,所以此時需要使用name這個屬性。
輸入內容使用的方法為set_text,用法為:
poco(name="com.xueqiu.android:id/search_input_text").set_text('alibaba')
定位並篩選
輸入了搜尋關鍵詞以後,再來看看當前頁面,搜尋出現了6個結果:
通過對比這幾個結果的屬性資訊,發現他們的name屬性都是相同的,而text不同。如果像下面這樣寫點選動作:
poco(name="com.xueqiu.android:id/name").click()
那麼預設就會點選第一個搜尋結果。
如果我想點選第二個搜尋結果怎麼辦呢?可以這樣寫程式碼:
poco(name='com.xueqiu.android:id/name', text='阿里巴巴-SW ').click()
或者你也可以像列表一樣使用索引定位:
poco(name='com.xueqiu.android:id/name')[1].click()
這兩種寫法的前提,都是我們已經知道了每個結果分別是什麼。假設現在我就想搜尋阿里巴巴,但我不知道搜尋結果是第幾項,又應該怎麼辦呢?此時還可以使用正規表示式:
poco(name='com.xueqiu.android:id/name', textMatches='^阿里巴巴*$').click()
滑動螢幕
進入搜尋結果以後,需要檢視下面的各種即如果,此時就需要不斷向上滑動螢幕。這裡有一點需要特別注意,Airtest只能獲取當前螢幕上的元素佈局資訊,不在螢幕上的內容是無法獲取的。
滑動螢幕使用的命令為swipe,滑動螢幕需要使用座標資訊。但這種座標和螢幕解析度無關。這裡的座標定義為:(x, y),其中x為橫座標,y為縱座標。螢幕左上角為(0, 0),螢幕右下角為(1, 1),從左向右,橫座標從0逐漸增大到1,從上到下,縱座標從0逐漸增大到1。
現在我要把螢幕向上滑動,那麼在真機上面,我是先按住螢幕下方,然後把螢幕向上滑動,所以程式碼可以這樣寫:
# poco.swipe(起點座標,終點左邊)
poco.swipe([0.5, 0.8], [0.5, 0.2])
在一般情況下:
向上滑動,只需要改動縱座標,且起點值大於終點值
向下滑動,只需要改動縱座標,且起點值小於終點值
向左滑動,只需要改動橫座標,且起點值大於終點值
向右滑動,只需要改動橫座標,且起點值小於終點值
單獨使用Python控制手機
在Airtest操作手機雖然方便,但是不可能在每一臺電腦上都安裝Airtest吧。所以需要想辦法把程式碼從Airtest這個程式中分離出來。
Airtest基於Python的一個開源庫Poco開發,而在Airtest的B區寫的Python程式碼,實際上就是Poco的程式碼。所以只要安裝Poco庫,就可以在Python中直接控制手機。
安裝Poco庫的命令為:
pip install pocoui
這個庫依賴的東西有點多,安裝稍稍慢一些。安裝完成以後,我們把程式碼複製到PyCharm中,如下圖所示。
執行這段程式碼,如果是Linux或者macOS的使用者,請注意看執行結果是不是有報錯,提示adb沒有執行許可權。這是因為隨Poco安裝的adb沒有執行許可權,需要給它新增許可權,在終端執行命令:
# chmod +x 報錯資訊中給出的adb地址
chmod +x /usr/local/lib/python3.9/site-packages/airtest/core/android/static/adb/mac/adb (實際執行時請換成你的地址)
命令執行完成以後再次執行程式碼,可以看到程式碼執行成功,手機被成功控制了,如下圖所示。