Android無障礙服務可以操作元素，手勢模擬，實現基本的控制。opencv可以進行影像識別。兩者結合在一起即可實現支付寶能量自動收集。opencv用於識別能量，無障礙服務用於模擬手勢，即點選能量。
當然這兩者結合不單單隻能實現這些，還能做很多自動化的程式，如芭芭農場自動施肥、螞蟻莊園等等的自動化，甚至遊戲的自動化也沒問題。
下面簡單介紹下核心的實現邏輯
核心步驟
- 準確識別多個能量球位置
- 準確點選能量球位置
opencv識別能量球
OpenCV是一個可用於開發實時的影像處理、計算機視覺以及模式識別可商用的開源庫-opencv介紹
思路
使用opencv怎麼識別能量球呢？
使用opencv的模板匹配。即，將能量球單獨裁剪出來作為模板，再將其與螢幕影像進行匹配，篩選匹配分值最高的結果即獲取能量球在螢幕中的位置。
實現
1. 專案整合opencv-android版
dependencies {
implementation 'org.opencv:opencv:4.9.0'
}
最新版本可檢視官方整合教程
2. 擷取能量球影像作為模板
3. 擷取螢幕影像
4. 使用opencv模板匹配獲取所有能量球位置
opencv模板匹配api
Imgproc.matchTemplate(image, templ, result, method, mask)
引數解釋：
image螢幕影像，即步驟3中擷取的螢幕影像
templ模板影像，即步驟2中截圖的能量球影像
result匹配結果容器，用於儲存匹配的結果
mask掩膜，用於指定模板中哪些位置需要匹配，哪些不需要匹配
其中引數mask掩膜是匹配準確度的關鍵點
掩膜影像是根據模板生成的一張黑白影像，其中黑色為不需要匹配的區域
模板影像與生成的掩膜影像對比
| 模板影像 | 掩模影像 |
|---|---|
|
 |
其中文字也是我們不需要匹配的，因為裡面的文字會變化，所以中間加了一塊黑色矩形用於指定匹配忽略區域
對於掩膜的建立方法這裡不介紹了，所有程式碼都已經開放在我的自動化開源庫Assists裡，想直接看程式碼這裡：https://github.com/ven-coder/Assists
引數準備好就可以進行匹配了，下面是完整程式碼（kotlin程式碼）
/**
* 模板匹配能量球
*/
fun match() {
try {
val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll"
System.load(path)
val temp = System.getProperty("user.dir") + "\\images\\temp.jpg"
val image = System.getProperty("user.dir") + "\\images\\image.png"
//模板影像
val img = Imgcodecs.imread(image)
//螢幕影像
val templ = Imgcodecs.imread(temp)
//掩膜影像
val mask = createMask(templ)
// 建立結果矩陣
val resultCols: Int = img.cols() - templ.cols() + 1
val resultRows: Int = img.rows() - templ.rows() + 1
val result = Mat(resultRows, resultCols, CvType.CV_32FC1)
// 進行模板匹配
Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask)
// 遍歷結果矩陣，找到所有匹配超過閾值的位置
val threshold = 0.98 // 閾值，根據實際情況調整
var count = 0
var countValue = 0
for (y in 0 until result.rows()) {
for (x in 0 until result.cols()) {
countValue++
val matchValue = result[y, x]
if (matchValue[0] >= threshold) {
count++
// 找到一個匹配位置
val matchLoc = Point(x.toDouble(), y.toDouble())
// 繪製矩形框
Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0)
}
}
}
// 顯示結果
Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可選：調整顯示大小
HighGui.imshow("Matched Result: $count", img)
HighGui.waitKey(0)
} catch (e: Throwable) {
e.printStackTrace()
}
}
/**
* 建立掩膜
*/
fun createMask(source: Mat): Mat {
// 轉換為 HSV 顏色空間
val hsvImage = Mat()
Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV)
// 定義綠色的顏色範圍
val lowerGreen = Scalar(35.0, 100.0, 100.0)
val upperGreen = Scalar(85.0, 255.0, 255.0)
// 建立掩膜
val mask = Mat()
Core.inRange(hsvImage, lowerGreen, upperGreen, mask)
// 忽略“27g”文字
// 你可以使用形態學操作去掉文字部分，或者手動確定文字的位置並將其設定為黑色（0）。
// 假設文字位於圓形中心，可以手動遮蓋這個區域
// Rect(中心位置x, 中心位置y, 寬度, 高度)
val width = 80
val height = 60
val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假設的“27g”文字位置和大小
Imgproc.rectangle(mask, textRect, Scalar(0.0), -1)
Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1)
return mask
}
匹配結果
點選能量球
準確得到能量球位置之後就好辦了，使用我的開源庫Assists開啟無障礙服務後呼叫gestureClick(x: Float, y: Float)點選能量球位置即可
//it.x + temp3.width() / 2，座標加上模板大小的一半即點選中間位置
Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())
最終效果
以上所有程式碼都在我的開源庫Assists示例裡了，需要的自取即可。
覺得有幫助順便可以start一下，滿足以下一下老夫虛榮心憋