此貼討論一下 AI 在 UI 自動化中的應用,以及個人的一個想法
個人做軟體測試也有三四年的時間了,對於 UI 自動化這一塊的工具想說一下自己的看法。
我這幾天在網上搜了一下 AI 在 UI 自動化方面中的文章,發現都還是之前的樣子。基本上都是使用 AI 和機器學習技術來增強元素定位的可靠性。傳統的元素定位方法(如 XPath 或 CSS 選擇器)在頁面結構變化時容易失效。然後最近由於個人也學習了一些大模型方面的知識。於是有了下面的一個想法:
開啟瀏覽器,輸入網站之後,進行一個螢幕截圖(用於獲取你電腦螢幕的解析度)
然後在截圖中標記出來你的操作(即點選的位置,類似於這種),該標記可以透過呼叫大模型 OCR 識別,先找出執行順序,然後找到對應順序(紅色數字)(的可點選區域(紅色方框)
大模型識別出來之後,可以在頁面上面進行顯示。然後可以對這一步驟 做前置和後置的操作
4.這裡說一下跳轉(其實跳轉在截圖這一步驟就包含了,我們可以這樣做)
然後就是上傳檔案(這個其實我個人不太懂,我預期是 還是呼叫截圖。畢竟你做自動化的時候,你的滑鼠和眼睛是當前頁面,因此我透過點選螢幕也可以實現的)
然後是最重要的 確認資料正確性(比如我在這個頁面新增一個文章,我需要看下列表是否會展示,或者我提交了一個資料,看一下另一個頁面的資料是否 +1 等等)這一步我們也可以透過 OCR 實現,就是在前置或者後置中加一個區域識別,比如下面這張圖,(我們預設測試資料是固定死的,即每次測試完,資料清理。回到初始狀態,比如這裡的收藏和點贊數,初始為 0,我預期是 2,如果識別出來不是 2,則用例失敗,並截圖這樣子)
上面是我的一個想法,由於本人技術有限,無法實現,但是靈感來了 擋不住,這一下說出來完 舒服多了,特此記錄。這是我的一個想法,能不能實現我也不知道。歡迎大家討論!
相關文章
- iOS App 效能資料自動化收集討論、徵集貼iOSAPP
- 討論一個應用的解決方案
- 視覺化程式設計技術在移動 UI 自動化中的應用 - 張海峰視覺化程式設計UI
- 5G在工業中應用的討論
- 關於UI的一次討論——來自專案管理群的討論UI專案管理
- UI自動化在RobotFramework中採用的分層設計UIFramework
- 純技術貼:討論一個現實中的需求的架構架構
- [淺談 ui 自動化專案的個人套路]UI
- 代理IP在廣告管理和自動化中的應用
- “小眾”之美 ——Ruby在QA自動化中的應用
- 請教一下,UI 自動化選型問題UI
- 在容器中執行UI自動化參考UI
- 感測器在自動駕駛中的應用自動駕駛
- 一個 UI 自動化問題諮詢UI
- 就是單純的討論一下程式碼
- 半自動化搭建Data Guard的想法和實踐(一)
- 聊一聊在 Airtest 自動化中如何清除 iOS 後臺應用AIiOS
- python 裝飾器在介面自動化測試中的應用Python
- python裝飾器在介面自動化測試中的應用Python
- 自動化測試在國際軟體測試中的應用
- UI自動化技術在高德的實踐UI
- 關於 SAP UI5 應用的自動化測試方法UI
- TRIZ理論在洗碗機設計中應用探討
- 一種自動化檢測 Flash 中 XSS 方法的探討
- 重新開貼!探討web應用中ResultSet返回的資料表示Web
- UI2 在專案中的應用UI
- 關於“斯金納箱”及相關理論在遊戲設計中應用的討論遊戲設計
- 工業乙太網交換機在工業自動化中的應用
- AI在視訊遊戲中的應用AI遊戲
- 在Java 11中建立一個簡單的模組化應用教程Java
- AI機器學習自動化的四個等級AI機器學習
- <討論>2020年 的 python 介面自動化框架Python框架
- Oracle PGA自動管理在OLAP系統中的應用Oracle
- 既然大家如此熱烈討論 AI,那我來問一下,該如何學習 AIAI
- 人工智慧AI在各個場景中的應用以及營銷策略人工智慧AI
- vivo前端智慧化實踐:機器學習在自動網頁佈局中的應用前端機器學習網頁
- 語義解析在“UI 2 CODE”中的應用UI
- 語義解析在「UI 2 CODE」中的應用UI