OpenAI前研究者釋出提示詞工程框架ell，升級版LangChain，支援版本控制和多模態

机器之心發表於2024-09-21
OpenAI框架LangChain

LLM 喜歡讚美，如果你在提示詞中誇獎它是個「才華橫溢的專家（genius expert）」，它就更可能為你生成更好的答案。

圖片

當然，OpenAI 的這位前研究科學家 William H. Guss 分享的這個技巧並不是新聞，之前就有不少研究者發現 AI 喜歡鼓勵和讚美。

圖片

剛不久前，Huss 宣佈釋出了一款自稱是「提示詞工程的未來」工具 ell。具體來說，ell 是一款輕量級的函式式語言模型程式設計軟體庫，其優勢包括自動化的版本控制和跟蹤、豐富的本地開源視覺化工具、原生支援多模態資料。

圖片


專案地址：https://github.com/MadcowD/ell

該專案釋出後反響熱烈，網友們紛紛點贊。比如有一位網友表示一直在期待這樣的工具，這將成為他構建 AI 軟體棧的一個基礎部分。

圖片


該專案上線一週時間就收穫了 2600 多 star。

圖片


ell 的設計思路

ell 是一個輕量級的函式式提示詞工程框架，其設計思路基於以下幾項核心原則。
圖片

提示詞是程式，而不只是字串

提示詞不只是字串，也是傳送給語言模型的程式碼。ell 的一個設計思路是將語言模型看作是名為「語言模型程式（LMP）」的離散子程式。

圖片


提示詞實際上是 AI 模型的一種引數

這個觀點並不新鮮，比如谷歌研究者 Heiko Hotz 就表示過一樣的想法，參閱文章《還在人工煉丹？自動提示工程指南來了，還帶從頭實現》。

Huss 表示，提示詞工程的執行過程涉及到多次迭代，這就類似於機器學習中的最佳化過程。由於這裡將 LMP 視為函式，因此 ell 可為該過程提供豐富的工具。

圖片


ell 支援對提示詞進行自動版本控制和序列化，這需要用到動態和靜態分析以及 gpt-4o-mini 自動生成的 commit 訊息。這個過程類似於機器學習訓練流程中的檢查點管理。但它無需任何特定的 IDE 或編輯器 —— 全都可透過常規的 Python 程式碼實現。

用於監控、版本控制和視覺化的工具

一開始的時候，提示詞工程看起來就像是一種玄學。但其實只要有合適的工具，玄學也能變成科學。

Ell Studio 是一種支援提示詞版本控制、監控和視覺化的本地開源工具。使用此工具，提示詞最佳化的過程可以變得有跡可循，在有必要時也能很好地回溯到之前的版本。
圖片

關注多模態

我們關心的資料通常不止文字，還包括影像、音訊、影片等，但使用 LLM 處理這些資料往往會更麻煩。Huss 希望在使用 LLM 時，我們能像使用文字一樣輕鬆地使用多模態資料。

這也融合進了 ell 的設計理念。ell 支援多種形式的多模態輸入和輸出。

圖片


提示詞工程師寶玉對這個專案給出了很好的總結：

圖片


如果你也正需要一個這樣的提示詞工程工具，那就趕緊：
pip install ell-ai

參考連結：
https://x.com/wgussml/status/1833615864131948756
https://x.com/dotey/status/1833967258592588017

相關文章