人人可做提示工程師！Claude上新：一鍵生成、測試和評估prompt
机器之心發表於2024-07-10
在構建 AI 應用時，prompt 質量對結果有著重大影響。但製作高質量的 prompt 具有挑戰性，需要研究者深入瞭解應用需求，並具備大型語言模型方面的專業知識。為了加快開發速度並改善結果，AI 初創公司 Anthropic 簡化了此流程，可以讓使用者更輕鬆地製作高質量的 prompt。具體來說，研究者為 Anthropic Console 新增了新功能，可以生成、測試和評估 prompt。Anthropic 提示工程師 Alex Albert 表示：這是他們過去幾周投入了大量工作才得到的成果，現在 Claude 在提示工程（Prompt Engineering）方面表現得非常好。在 Claude 中，寫一個好的 prompt 就像描述任務一樣簡單。控制檯提供了一個內建的 prompt 生成器，由 Claude 3.5 Sonnet 提供支援，允許使用者描述任務並讓 Claude 生成高質量的 prompt。生成 prompt。首先點選 Generate Prompt，進入 prompt 生成介面：然後輸入任務描述，Claude 3.5 Sonnet 將把任務描述轉換為高質量的 prompt。例如「 撰寫一個用於審查入站訊息的 prompt…… 」，點選生成 prompt 就可以了。生成測試資料。如果使用者有了 prompt，可能需要一些測試用例來執行它。Claude 可以生成那些測試用例。使用者可以根據需要修改測試用例，並一鍵執行所有測試用例，還可以檢視並調整 Claude 對每個變數生成要求的理解，以實現對 Claude 生成測試用例更細粒度的控制。這些功能讓最佳化 prompt 變得容易，因為使用者可以建立 prompt 的新版本並重新執行測試套件以快速迭代和改進結果。此外，Anthropic 還按照 5 分製為 Claude 響應質量設定了評分。評估模型。如果使用者對 prompt 感到滿意，之後可以在「評估」選項卡中一次針對各種測試用例執行它。使用者可以從 CSV 匯入測試資料，也可以直接使用 Claude 為使用者生成合成測試資料。比較。使用者還可以在測試用例中相互測試多個 prompt，並對更好的響應進行評分，以跟蹤哪個 prompt 表現最佳。AI 博主 @elvis 表示：Anthropic Console 是一項出色的研究，其自動化設計和最佳化 prompt 的過程可以節省大量時間。雖然生成的提示可能並不完美，但給了使用者一個快速迭代的起點。此外，生成測試用例功能也很有幫助，因為開發者可能沒有可供測試的資料。看來，以後寫 prompt 這個活，可以交給 Anthropic 了。瞭解更多內容，請檢視文件：https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview