此貼討論一下 AI 在 UI 自動化中的應用，以及個人的一個想法

個人做軟體測試也有三四年的時間了，對於 UI 自動化這一塊的工具想說一下自己的看法。

我這幾天在網上搜了一下 AI 在 UI 自動化方面中的文章，發現都還是之前的樣子。基本上都是使用 AI 和機器學習技術來增強元素定位的可靠性。傳統的元素定位方法（如 XPath 或 CSS 選擇器）在頁面結構變化時容易失效。然後最近由於個人也學習了一些大模型方面的知識。於是有了下面的一個想法：

1. 開啟瀏覽器，輸入網站之後，進行一個螢幕截圖（用於獲取你電腦螢幕的解析度）

2. 然後在截圖中標記出來你的操作（即點選的位置，類似於這種），該標記可以透過呼叫大模型 OCR 識別，先找出執行順序，然後找到對應順序（紅色數字）（的可點選區域（紅色方框）

3. 大模型識別出來之後，可以在頁面上面進行顯示。然後可以對這一步驟 做前置和後置的操作

4.這裡說一下跳轉（其實跳轉在截圖這一步驟就包含了，我們可以這樣做）

1. 然後就是上傳檔案（這個其實我個人不太懂，我預期是 還是呼叫截圖。畢竟你做自動化的時候，你的滑鼠和眼睛是當前頁面，因此我透過點選螢幕也可以實現的）

2. 然後是最重要的 確認資料正確性（比如我在這個頁面新增一個文章，我需要看下列表是否會展示，或者我提交了一個資料，看一下另一個頁面的資料是否 +1 等等）這一步我們也可以透過 OCR 實現，就是在前置或者後置中加一個區域識別，比如下面這張圖，（我們預設測試資料是固定死的，即每次測試完，資料清理。回到初始狀態，比如這裡的收藏和點贊數，初始為 0，我預期是 2，如果識別出來不是 2，則用例失敗，並截圖這樣子）

上面是我的一個想法，由於本人技術有限，無法實現，但是靈感來了 擋不住，這一下說出來完 舒服多了，特此記錄。這是我的一個想法，能不能實現我也不知道。歡迎大家討論！