吐槽一下最近一些號稱自然語言進行自動化測試的框架

如題所述，最近站內看到挺多號稱自然語言進行自動化測試的框架。乍一看臥槽挺酷眩啊！速度也挺快，再仔細一看槽點挺多
1.速度
所有 demo 都是 2 倍乃至 3 倍速播放，跑一步基本都要 10 秒往上了
2.底層
一看底層，哦，呼叫 GPT-4o(現在升級了，可以調國內其他模型)。
GPT-4o 本身收費沒開源不說了，跑個測試還得掛梯子。然後所有處理都是丟給 GPT 唄。。
所以原理就是，比如我想在美團搜個外賣，那步驟就是
1.截個圖
2.圖傳給 gpt，問他搜尋框在什麼位置，給我對應座標
3.adb 拿座標點選，然後輸入外賣名稱

這東西有什麼難度嗎？只要你提問的方式夠好，限定詞加的夠多，它就能返回給你你想要的，無非是尋找最優提問方式罷了。這玩意我早就試過了，速度慢，要收費我就不提了。其次根本沒法批次跑，模型是人家的，token 限制也是人家定的。你量一大，人家直接給你限制呼叫，直接抓瞎。

我認為真正要做到自然語言進行自動化測試，用離線開源模型或者自己訓練一個，這是必須的。否則就是中看不中用的玩具一個