基於視覺模型的 APP 自動彈窗檢測及關閉

Fun_Fox發表於2025-03-14
原文網址 : https://testerhome.com/topics/41773
視覺模型APP

SmartDigger 專案

專案簡介

SmartDigger 是一個基於 Appium 及視覺大模型的智慧移動應用測試工具。它能夠自動檢測應用介面中的彈窗，並智慧處理各種彈窗場景，同時生成詳細的元素邊界資料包告，為移動應用測試提供高效、智慧的解決方案。

功能特性

  • 裝置資訊獲取：自動識別連線的 Android 裝置，獲取裝置名稱、解析度等資訊
  • 介面元素分析：實時擷取應用介面，智慧分析可點選元素及其邊界資訊
  • 彈窗智慧處理：基於視覺大模型識別各類彈窗，自動執行關閉操作
  • 資料包告生成：自動記錄元素邊界資訊，生成詳細的 Markdown 格式報告
  • 異常處理機制：內建完善的錯誤處理機制，確保檢測流程的穩定性

環境要求

  • Python 3.8+
  • Appium Server 1.22.0+
  • Android 裝置或模擬器（Android 8.0+）
  • 視覺大模型 API 訪問許可權

執行效果

Case 1

系統

  • 截圖示註

  • 執行日誌

Case 2

抖音

  • 截圖示註

  • 執行日誌 ng)

參考

  • mobile_agent
  • browser_use 最強基於 Python 的 AI 瀏覽器自動化 ## 專案地址： https://gitee.com/grabby_Tester/smart-digger

相關文章