（想法 2）此貼討論一下 AI 在 UI 自動化中的應用，以及個人的一個想法

最近寫自動化框架的過程中，腦子蹦出來一些想法。發此貼記錄一下。

眾所周知，說到 UI 自動化。大家都會想到用元素進行定位。但是目前的趨勢是用 AI 進行識別 + 元素結合。而我的思路是 "利用前端固定顯示的圖片/插圖"

來實現，斷言的結果就是看圖片是否一致，透過圖片對比，比 OCR 提取是不是塊多了，看下我問 gpt 的截圖

• 比如，優惠卷，封面，按鈕等等，這些按鈕，圖片的樣式是不是都是固定死的。再說封面，封面是需要我們自己先上傳的吧？那也就是我提前知道了這個封面是什麼樣子的，那封面是不是也是 固定死的？ 然後我們把這一樣的地方進行截圖進行對比，，獲取他在頁面中的作為區域，獲取的了區域是不是就可以進行滑鼠操作了？

我接下來用測試用例來說明再說明一下我的具體思路

假設我們要錄製一個外賣下單這樣的一個用例，流程如下
進入首頁-->點選商品-->進入商品詳情->商品詳情頁點選下單-->訂單詳情頁

1. 進入首頁並跳轉詳情頁 首先，看下首頁截圖，紫色框是我們要測試的商品

然後獲取我們想要測試的商品截圖，比如下面這個是我們要測試的商品

我們把首頁跟截圖進入對比，如果包含，則標記出來截圖再首頁的區域，那這一塊的區域我們知道了，是不是就能進行滑鼠操作了？然後我們進行點選，進入道商品詳情頁

1. 商品詳情頁並下單 商品詳情頁的截圖

我們這個時候，是不是需要進行判斷這個商品詳情頁，到底是不是我們預期的，那麼我們的預期如下，如果包含了下面這張圖，是不是用例就透過了

我們選擇 10 元的，紫色框是我們要測試的地方

這個時候我們選擇 “10 元單人餐”

跟上面的一樣，進行對比。這裡我提一點，我們可以提前把商品詳情頁的截圖這裡給標記一下，是不是也能知道我們測試的地方

3.提交訂單頁
提交訂單頁的截圖

這裡我問一下，這個頁面同一類使用者，或者同一批優惠進入，某些地方頁面長得是不是一樣的？我們就用一樣的地方進行判斷，如果你要看金額，那你就單獨擷取金額的圖，可以擷取多個，進行多次對比 對吧？

想法就是這個想法，但是我自己做不了。歡迎大家討論！