LLM可以處理長達100,000個token的輸入,但在生成超過2,000詞的適度長度輸出時仍然面臨困難,因為模型的有效生成長度本質上受到其在監督微調(SFT)過程中所見樣本的限制。
為解決這個問題,本文的作者引入了AgentWrite,這是一個基於代理的流程,它將超長生成任務分解為子任務,使現成的LLM能夠生成超過20,000詞的連貫輸出。
主要貢獻如下:
- 介紹了限制當前(長上下文)LLM輸出長度的主要因素,即SFT資料中對輸出長度的約束。
- 提出AgentWrite,使用分而治之的方法和現成的LLM自動構建具有超長輸出的SFT資料。並且使用這種方法,構建了LongWriter-6k資料集。
- 將LongWriter-6k資料集進行SFT訓練,成功地將現有模型的輸出視窗大小擴充套件到10,000+詞,同時不影響輸出質量。
https://avoid.overfit.cn/post/509d148d53554a28b7532a0b8b42ec61