喲,寫Bug呢?Facebook釋出AI程式碼除錯工具SapFix

機器之心發表於2018-09-14

選自code.Facebook,作者:Yue Jia、Ke Mao、Mark Harman,機器之心編譯。

請注意:這不是你寫 Bug 的理由。

除錯程式碼是件很無聊的事,但是由 Facebook 工程師建立的新型人工智慧混合工具——SapFix 可以大大節約工程師的時間,同時還加快了新軟體的推出過程。該工具可以為特定 Bug 自動生成修復程式,然後將其提交給工程師批准並部署到生產中。

SapFix 被用來加速向裝有 Facebook Android 應用程式的數百萬裝置傳輸穩定程式碼更新的過程,這是人工智慧測試和除錯工具在此類大規模生產中的首次應用。Facebook 打算與工程界分享 SapFix,因為這是自動化除錯發展的下一步,可能為很多公司和研究機構促進新程式碼的產量和穩定性。

SapFix 被設計成一個獨立的工具,無論有或沒有 Sapienz(Facebook 的一款智慧自動化軟體測試工具,在 F8 版本時釋出,已部署到生產中),它都可以執行。在目前的概念驗證狀態,SapFix 在部署到生成前專注於修復 Sapienz 發現的 Bug。此過程從 Sapienz 開始,連同 Facebook 的推斷靜態分析工具一起,能幫助定位程式碼中需要修復的 Bug。一旦 Sapienz 發現並推斷出與 Bug 相關的特定部分程式碼,它就可以將該資訊傳遞給 SapFix,後者會自動參考一些策略並生成補丁。

SapFix 是如何 debug 的

喲,寫Bug呢?Facebook釋出AI程式碼除錯工具SapFix上圖說明 SapFix 如何為軟體 Bug 生成補丁。

為了解決高觸發 bug,SapFix 建立的補丁可以完全或部分還原初始程式碼。對於更復雜的問題,SapFix 通過從模板修復集合中提取素材生成補丁。這些模板是從人類工程師建立的模板中自動獲取的,而後者則是基於過去的修復庫建立的。

當以前用過的由人類設計的模板不合適時,SapFix 將嘗試基於突變進行修復。為此,它將對導致崩潰的語句的抽象語法樹(AST)執行小型程式碼修復,調整補丁,直到找到可能的解決方案。

自主驗證和人工審批

即使 SapFix 找到了特定的補丁,它的工作還遠遠沒有結束。該工具為每個 Bug 生成多個潛在的補丁,並通過三個問題評價補丁的質量。即是否存在編譯錯誤、程式是否仍然會崩潰,以及補丁是否引入了新的衝突?

為了解決最後兩個問題,SapFix 在修復版本上執行已存的、開發者編寫的測試,同時還會執行由 Sapienz 建立的測試。與之前補丁生成步驟一樣,驗證過程會自動執行,且與更大的程式碼庫實現分離。SapFix 正在複製目前由人工完成的除錯工作,但它並不是為了將補丁部署到產品程式碼中而設計的。

當自動生成的補丁經過全面測試後,SapFix 會將它們傳送給人工評審員進行批准。這有些類似於人工生成的報告需要由其他開發者進行檢查與審批,此外系統除了會自動追蹤評審者的反饋外,它還會接受經批准的補丁、清理其它未經批准的補丁。在某些情況下,SapFix 可以從多個候選補丁中選擇最佳的解決方案,並向工程師提出建議。

喲,寫Bug呢?Facebook釋出AI程式碼除錯工具SapFix

該工作流展示了 SapFix 如何基於它生成的補丁尋求工程師的反饋。

如果修補方案被拒絕,它將丟棄補丁,如果被接受,則載入。由於 SapFix 的底層技術非常強大,且自動執行節省了大量時間和精力,因此 SapFix 無法實現自己提出的補丁。工程師通常比較專業,該工具依賴工程師的專業知識來確認是否應該部署提出的補丁。

由於 SapFix 仍在開發階段,因此它無法像 Sapienz 那樣投入大規模使用,Sapienz 現在每月生成數百個 Bug 報告,精準定位有 Bug 的程式碼行,它稽核與安卓裝置上的 Facebook、Instagram、Workplace 和 Messenger 等 app 相關的程式碼。Sapienz 的報告中大約有 3/4 的 bug 是由開發者修復的。而 Facebook 八月份開始測試 SapFix,該工具可以成功生成能夠被人類工程師接受的補丁,並進入生產階段。

為完全自動化 debug 奠定基礎

Facebook 稱,這標誌著機器生成的補丁(經過自動化端到端測試和修補)首次部署到 Facebook 規模的程式碼庫。這是 AI 技術的重要里程碑,進一步證明了基於搜尋的軟體工程可以減少軟體開發中的問題。Facebook 開發 SapFix 用於處理不同種類的 bug 和軟體,因此該工具有可能改變程式碼生成的速度和質量。這不僅適用於大規模運營的企業,還適用於幾乎所有寫程式碼的個人。不管是用於組織還是個體,SapFix 和 Sapienz 都能幫開發者減少花在 debug 上的時間,把精力用在生成更多的程式碼上。

即使有了這項工作,Facebook 仍想鼓勵社群繼續研究自動調整、改進程式碼。在這一領域,已經有了很多激動人心的研究,包括技術的實證研究、供社群研究解決的開放性難題與挑戰,以及對近期自動改進程式碼的調查。作為在 Facebook 規模下部署的首個工具,SapFix 將為此挑戰性研究提供新的動力與能量。

Facebook 稱,將在完成額外的工程部分後,開源 Sapienz 和 SapFix。而有關這些工具的反饋會幫助相關研究者,也會幫助更廣泛的 AI 社群改進自動尋找、修改程式碼 Bug 的任務。Facebook 目前聚焦在 SapFix 如何自動制止程式碼崩潰,但更長期的應用應該包括如何讓軟體更快、反應更敏捷。這些系統提供了極大的基線收益,開發者使用它們時效果是多變、寬泛的。


相關文章