論文題目：Palette of Language Models: A Solver for Controlled Text Generation
論文地址：https://arxiv.org/pdf/2503.11182
背景 可控文字生成演算法是控制語言模型輸出的主要策略，對於對齊人類偏好、風格轉換、話題切換等場景有著重要的應用意義。 在大模型時代，透過簡單的 prompt 設計往往可以實現這種需求，例如：指令「請以安撫的口吻回覆客戶的問詢」會控制模型生成具有積極意義的回覆，充分考慮使用者當前情感並妥善處理使用者問題。 但是當需要控制屬性數量較多、且控制力度更細節時，簡單的 prompt 設計將無法有效支撐這樣的場景。 例如「回覆中要有 40% 的積極情感、20% 的正式表述、夾雜 10% 的孩童口吻」，這樣的 prompt 設計很難被模型理解，而其中的部分屬性也會由於屬性數量的龐大被弱化無法有效表達。 線性組合及其變種（union 及 intersection）是多屬性模型融合的一種有效方法，透過為每個屬性分配權重控制該屬性的表達效果：具體地如上式所述，計算各個屬性模型在輸出 logits 上的值並進行組合，得到最終要控制的複雜屬性的分佈。每個屬性都有對應的係數，隨著該係數的增大，最終模型會越來越表現出該屬性的特點。union 與 intersection 方式分別指將屬性求和替換為取最大值與最小值。 屬性之間往往存在衝突現象，這是由於語言的表達方式很難做到屬性級別的細分，例如上面的例子中，「以孩童的語氣」屬性中會暗含「不夠正式的說法」，這與「正式表述」屬性是矛盾的，在融合過程中前者必然會弱化後者的表達。線性組合方案並未對這種現象進行顯式的建模，因此當存在屬性衝突時，受影響屬性的係數不會按照理論上的比重控制最終組合效果。 方法 我們提出了語言模型調色盤方法，透過貝葉斯公式與最小化條件互資訊，對屬性模型的組合過程進行了合理的建模。 圖 1 語言模型調色盤設計 屬性組合過程被建模為：給定若干具有某種主屬性的模型，我們需要尋找一種合適的組合方案得到某個複雜融合屬性的分佈，同時要滿足組合之後任意兩個屬性間的影響作用最小。受條件互資訊的啟發，我們將屬性間影響的度量 M 建模為在最終組合分佈條件下，這兩種屬性間的互資訊值，也就是：為了充分利用該度量方式，我們藉助貝葉斯公式將最終組合分佈 p(Z) 分別進行單屬性與兩屬性條件下的分解，並將結果進行整合，從而得到 p(Z) 與任意兩個屬性間的關係：最小化條件互資訊的引入使得我們可以對上式中屬性間雜糅的表達形式進行解耦，並擴充套件到 N 個屬性組合。藉助柯西不等式，我們對結果進行簡化處理：我們將屬性的後驗機率定義為屬性強度 Si，其代表了在最終分佈條件下，該屬性的貢獻值。因此，最終的屬性組合方案可以表示為：這裡 M1 與 M2 為歸一化係數。上述組合策略以不帶任何屬性傾向的模型 Pb 作為 base，用來控制最終分佈 logits 的合理性與穩定性，而單屬性 prompt 設計也可以據此建模為該屬性與 base 模型的組合，這樣就實現了單屬性與多屬性在策略上的統一性。 我們提出「屬性 token」的概念，對其進行數學上的定義，並基於此歸納出兩條多屬性組合方案的設計準則：1）屬性表達與屬性強度之間的正相關關係 2）屬性增強理念 具體地，我們的方法滿足下列特徵。 其一，隨著屬性強度 Si 的增加，「屬性 token」的機率值會相應增加：其二，我們的方法相比於線性組合方案，屬性增強的幅度會更大：這兩條準則在一定程度上可以衡量某種多屬性組合策略的優越性，也為多屬性組合方案提供了指導。 結果 在實驗過程中，考慮到公式中 1/p 的結果可能出現很大的情況，我們使用 sigmoid(.) 函式將其約束並保持同樣的單調性：藉助上述設計準則，我們同樣證明了這種替換方式的有效性： 1）sigmoid(.) 屬性正相關：2）sigmoid(.) 屬性增強：我們在單/多屬性組合場景下進行實驗驗證，結果都優於 baseline 方法。如下表 1 為情感單屬性控制；表 2 為設計的反向敏感資訊與情感融合的多屬性控制，其中敏感資訊對情感具有弱化作用，我們的方法可以減少這種弱化，因此最終情感值都會高於線性組合方法；表 3 設計為正向敏感資訊與情感融合的多屬性控制，其中敏感資訊對情感具有強化作用，我們的方法可以減少這種強化，因此最終相對情感值都會低於線性組合方法。 表 1 情感轉換控制（單屬性） 表 2 敏感資訊 + 情感控制（多屬性，弱化作用） 表 3 敏感資訊 + 情感控制（多屬性，強化作用） 同時我們在情感屬性控制場景下驗證了屬性表達與屬性強度之間的正相關關係，如圖 2 所示： 圖 2 屬性表達與屬性強度正相關關係 另外，我們也發現組合公式中的互補事件係數 t 對最終組合結果影響較小，因此在實際組合場景中，我們可以只使用公式的前半部分進行屬性控制，而這部分表達與線性組合方式在形式上是相近的，區別在於 1/p 的引入。 圖 3 互補事件係數 t 對屬性表達影響（紅色線條表示 t=0） 總結 我們提出了一種新穎的多屬性組合策略，有效解決了傳統線性組合方式面臨的屬性衝突難題，並從理論上歸納出屬性組合策略的指導準則。該策略是對體系化人工智慧大閉環框架中原子能力組合方式的探索，對於「如何準確衡量原子能力的邊界並規避邊界交叉現象」問題給出了有效答案。 參考文獻：[1]馮俊蘭，體系化人工智慧，北京郵電大學學報，2024[2]Hanqing Zhang, Haolin Song, Shaoyu Li, Ming Zhou, and Dawei Song. 2023. A survey of controllable text generation using transformer-based pre-trained language models. Preprint, arXiv:2201.05337.[3]Jasper Dekoninck, Marc Fischer, Luca Beurer-Kellner, and Martin Vechev. 2024. Controlled text generation via language model arithmetic. In The Twelfth International Conference on Learning Representations.[4]Xin Liu, Muhammad Khalifa, and Lu Wang. 2023. Bolt: Fast energy-based controlled text generation with tunable biases. Preprint, arXiv:2305.12018.[5]Jonathan Pei, Kevin Yang, and Dan Klein. 2023. PREADD: prefix-adaptive decoding for controlled text generation. In Findings of the Association for Computational Linguistics: ACL 2023, Toronto, Canada, July 9-14, 2023, pages 10018–10037. Association for Computational Linguistics.[6]Timo Schick, Sahana Udupa, and Hinrich Schütze. 2021. Self-diagnosis and self-debiasing: A proposal for reducing corpus-based bias in nlp. Preprint, arXiv:2103.00453.[7]Kevin Yang and Dan Klein. 2021. FUDGE: controlled text generation with future discriminators. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pages 3511–3535. Association for Computational Linguistics.
