人機介面測試在逐步被攻破

10 月 22 日，Anthropic 推出了升級版的 Claude 3.5 Sonnet 以及新的 Claude 3.5 Haiku 模型，升級版 Claude 3.5 Sonnet 不僅程式設計能力更強，還帶來全新功能 computer use（計算機使用），支援像人類一樣操作計算機，可以遵循使用者的命令在計算機螢幕上移動游標，點選相關位置，並透過虛擬鍵盤輸入資訊，模擬人們與自己計算機的互動方式。

當看到這則訊息的時候，有沒有覺得多模態大模型是一個可以在人機介面測試上大有作為的工具呢？未來我們只要針對交付的產品進行若干次使用，然後大模型就可以學習並 “智慧” 的重複我們的步驟和驗證。而且不需要我們去自己定義哪些關鍵字，哪些資料，哪些控制元件，哪個區域，這些都有大預言模型來完成了。而作為測試人員的我們，就要將領域知識，測試策略和測試驅動資訊作為輸入，一股腦灌給大模型了。然後一杯茶的功夫，我們就可以智慧迴歸或者探索被測試的人機介面了。

是不是有些幻覺了？但是沒有夢想，何來遠方？拭目以待，對未來充滿期待。