機器翻譯 (MT) 的最新進展顯著提高了各個領域的翻譯質量。然而，由於其複雜的語言、比喻表達和文化差異，文學文字的翻譯仍然是一個艱鉅的挑戰。
最近，一篇題為《(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts》的論文，提出了一種用於文學翻譯的基於大型語言模型（LLM）的新型多智慧體框架，並構建了一家名為 TRANSAGENTS 的虛擬出版公司（文學翻譯多智慧體系統）。
論文：(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
論文地址：https://arxiv.org/abs/2405.11804
該框架透過利用多個智慧體的集體能力來反映傳統的翻譯出版流程，以解決複雜的翻譯問題。為了評估系統的有效性，該研究還提出兩種創新的評估策略：單語人類偏好（MHP）和雙語 LLM 偏好（BLP）。MHP 從目標語言的單語讀者的角度評估翻譯質量，而 BLP 使用高階 LLM 直接將翻譯與原文進行比較。
實驗結果表明，人類評估者和 LLM 都更喜歡 TRANSAGENTS 的翻譯，而不是人類撰寫的參考翻譯，特別是在需要特定領域知識的情況下。
多智慧體虛擬公司 ——TRANSAGENTS
該研究構建了一家虛擬多智慧體翻譯出版公司 TRANSAGENTS，擁有多元化的員工，包括執行長、高階編輯、初級編輯、譯員、本地化專家和校對員。當人類客戶分配書籍翻譯任務時，由 TRANSAGENTS 選定的智慧體團隊將協作翻譯書籍。這模擬了整個圖書翻譯過程，其中不同角色的智慧體協同工作，以確保翻譯始終保持高質量和一致性。
為了增強翻譯過程中模擬的真實性和有效性，該研究利用 GPT-4-turbo 為每個不同的角色生成一組多樣化的虛擬智慧體配置檔案（30 個）。如下圖所示，這些配置檔案經過全面設計，包含遠遠超出語言技能範圍的廣泛屬性。
該研究使用兩種智慧體協作策略，包括加減協作（Algorithm 1）和三方協作（Algorithm 2）。
加減協作策略僅涉及兩個智慧體。一個充當加法智慧體，負責提取儘可能多的相關資訊；另一個充當減法智慧體，負責檢查提取的資訊，消除冗餘細節，並向加法智慧體提供反饋。
三方協作將協作分為三個分支：
行動（Action）：遵循指令並實施所需行動；
批評：審查生成的響應並給行動分支提供建設性反饋；
判斷：對響應是否滿意做出最終決定，並決定是否需要進一步修改。
每個分支分配一個智慧體。
評估實驗
該研究在 WMT2023 DLLT 測試集上進行了自動評估，結果如下表所示：
雖然 TRANSAGENTS 在 d-BLEU 指標上表現不佳，但 d-BLEU 有侷限性，可能不會充分捕捉生成文字的質量和連貫性。
與 Reference 1、GPT-4（GPT-4-1106-PREVIEW）相比，TRANSAGENTS 生成的翻譯受到人類評估者偏好（MHP）情況如下圖所示。
該研究還使用雙語 LLM 偏好（BLP）評估了 TRANSAGENTS，結果如下圖所示：
感興趣的讀者可以閱讀論文原文，瞭解更多研究內容。