AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
近幾年在生成式 AI 技術和商業創新飛速發展的背景下，建立高質量且低成本的生成式 AI 應用在業界仍有相當難度，主要原因在於缺乏系統化的除錯和最佳化方法。
近日，UCSD 張怡穎教授的 GenseeAI 團隊推出了首款可自動提升 AI 工作流生成質量並降低生成成本的工具 Cognify。Cognify 可以自動最佳化 AI 工作流，支援 LangChain、DSPy、Python 等語言框架。Cognify 的核心思路是一種創新的分層工作流級最佳化方法。Cognify 可將生成式 AI 應用的生成質量提高多達 48%，並將執行成本降低多達 90%。Cognify 現已開源。
開源地址：https://github.com/GenseeAI/cognify當前的生成式 AI 產品通常都是以生成式 AI 工作流的形式構建和部署。AI 工作流內部可以呼叫各類 AI 模型、工具、資料來源及其他型別的系統。典型的 AI 工作流包括 Agent 工作流和 LLM+RAG 等。與單次呼叫 AI 模型相比，AI 工作流提供了更強大、可定製和整合化的解決方案。當前業界的 AI 工作流通常由工程師編寫。在部署之前，工程師需要手動調整 AI 工作流的結構和提示詞（prompt），併為工作流中的各個步驟選擇合適的模型。然而，由於缺乏系統化的調優方法，AI 工作流的部署經常非常耗時，已部署的工作流也可能面臨質量不佳、不穩定或成本太高等問題。雖然有許多生成式 AI 工作流的開發框架，比如 Coze，Dify，LangChain，DSPy 和 Claude MCP，但是並沒有可以幫助開發者系統除錯和最佳化工具。Cognify 是一款全面、多目標的開源 AI 工作流最佳化器。Cognify 的最佳化過程基於自動選擇 AI 模型、改進工作流結構和增強提示詞。Cognify 實現了工作流的多目標最佳化，包括提高生成質量和低生成成本。對於不同的應用場景，Cognify 都用相同或更小的模型達到了更高的生成質量，推動了質量 - 成本 Pareto 邊界，並且允許使用者選擇不同的質量 - 成本組合（結果如下圖所示）。在此過程中，Cognify 的最佳化實現了「一鍵」全自動化。同時，Cognify 也允許使用者自定義最佳化方法 Cogs（Cognify 把各種最佳化統稱 Cog），備選模型種類，以及最多最佳化次數。Cognify 目前支援 LangChain、LangGraph、DSPy 和基於 Python 開發的工作流。Cognify 的核心理念是對整個工作流進行最佳化，而不是在每個單獨的工作流元件中進行最佳化。由於上游元件的生成結果對下游元件的效能有重大影響，孤立的最佳化各個元件可能導致最終生成質量不佳，而且整體執行成本增加。Cognify 透過實驗各種 Cog 組合，並透過最終生成的質量評估這些組合的效果，從而最佳化整個工作流。在整體工作流最佳化中，一個關鍵挑戰是最佳化成本，包括模型執行成本和耗時。一個簡單的做法是對每個可能的 cog 組合進行網格搜尋，但這會導致指數級增長的最佳化成本。為了解決這個問題，Cognify 採用了兩種策略。首先，Cognify 將工作流視為一個最佳化物件，並將所有可能的 Cog 視為其超引數 (hyperparameter)。Cognify 為工作流超引數設計了一套新的貝葉斯最佳化器（Bayesian Optimizer），用於調優這些工作流超引數。特製的最佳化器能夠有效探索 cog 組合空間。其次，Cognify 將 cog 分為兩層：外迴圈包含更改工作流結構的 cog（例如新增或移除元件或重新排列它們的順序），內迴圈包含不影響工作流結構的 cog（例如提示詞調優和模型選擇）。這種雙層方法減少了貝葉斯最佳化器需要探索的整體搜尋空間。與 Cognify 同時推出的是 CogHub——一個開源 cog 集合。就像 HuggingFace 集合了開源的模型，CogHub 集合了開源的 AI 工作流最佳化方法。CogHub 在被 Cognify 內部呼叫的同時也面向程式設計師或未來的生成式 AI 工具。- 任務分解 (Task Decomposition)（外迴圈）：將一個任務（一次 LLM 呼叫）分解為多個細分的子任務（多次 LLM 呼叫）。
- 任務整合 (Task Ensemble)（外迴圈）：構建並結合多個模組來完成任務。
- 多步推理 (Multi-step Reasoning)（內迴圈）：要求 LLM 逐步推理。
- 少樣本學習 (Few-shot Learning)（內迴圈）：從輸入樣本中新增一些高質量的示例演示。
- 模型選擇 (Model SelectioN)（內迴圈）：評估不同的模型。
以下是一個資料視覺化任務的例子。任務目標是由手機銷售資料生成針對每個廠商每個季度的銷量的箱型圖，並計算每個手機商的銷售平均值，最終用平均值線表示。下圖展示了幾個生成圖的對比， 1) 人工畫的基準圖，2) 直接詢問 OpenAI o1，3) 直接執行 MatPlotAgent 工作流，4) DSPy 最佳化過的工作流，以及 5) 由 Cognify 最佳化過的工作流。Cognify 最佳化過的工作流返回的結果幾乎與基準圖吻合，質量顯著優於其他方案。與此同時，Cognify 最佳化過的工作流的執行成本僅有 o1-preview 的 4%。 圖 D：DSPy 最佳化過的生成式 AI 工作流生成圖 圖 E：Cognify 最佳化過的生成式 AI 工作流生成圖
GenseeAI（gensee.ai）是由 UCSD 張怡穎教授帶領的初創公司。GenseeAI 致力於生成式 AI 工作流最佳化、部署、推理和基礎平臺建立，目前已在多家世界 500 強公司推廣初期產品。張怡穎教授師從圖領獎得主 David Patterson 學門，是計算機系統領域的國際頂尖專家，獲得業界和學術界多項大獎和廣泛認可。GenseeAI 的其他核心團隊來自於美國谷歌和 Snap 等高科技公司，具有開發和運營日活躍使用者上億級別的 AI 產品的經驗。