這篇論文介紹了 Meta 公司的 TestGen-LLM 工具，該工具利用 LLM 技術自動改進現有的人工編寫的測試，並在 Instagram 和 Facebook 平臺上進行了測試。
透過測試，發現 TestGen-LLM 的測試用例有 75% 正確構建，57% 可靠地透過，並且覆蓋率提高了 25%。
在 Meta 公司的測試活動中，應用了 TestGen-LLM 的所有類別的效能提高了 11.5%，其中 73% 的建議被 Meta 軟體工程師接受用於生產部署。
作者認為這是關於 LLM 生成程式碼的工業規模部署的首份報告，並得到了支援。
要點：
- TestGen-LLM 是 Meta 公司的工具，利用 LLM 技術自動改進測試用例。
- 在 Instagram 和 Facebook 平臺的 Meta 測試馬拉松中，TestGen-LLM 的測試用例在 Reels 和 Stories 產品上取得了顯著的改進，並得到了工程師的接受。
- 這是關於 LLM 生成程式碼工業規模部署的第一份報告，證實了這種程式碼改進的有效性。