你要的AI Agent工具都在這裡

程序员半支烟發表於2024-06-29
AI

只有讓LLM（大模型）學會使用工具，才能做出一系列實用的AI Agent，才能發揮出LLM真正的實力。本篇，我們讓AI Agent使用更多的工具，比如：外部搜尋、分析CSV、文生圖、執行程式碼等。

1. 使用工具的必要性

LLM（大模型）如果沒有使用工具的能力，那就相當於一個有著聰明大腦 但四肢僵硬的 漸凍人，什麼事兒也做不了。人類之所以區別於動物，正是因為學會了使用工具。因此，賦予LLM使用工具的能力至關重要。

我們需要 LLM去幫助執行各種任務。而Tool（工具）就是LLM 在執行任務過程中，能夠呼叫的外部能力。比如：需要檢索外部資料時，可以呼叫檢索工具；需要執行一段程式碼時，可以呼叫自定義函式去執行。

2. LangChain的Tool規範

所有的工具肯定要遵守一套規範，才能讓LLM隨意呼叫。為此，LangChain 抽象出一個Tool 層，只要是遵守這套規範的函式就是 Tool 物件，就可以被 LLM呼叫。

2.1. Tool規範

Tool的規範也簡單，只要有三個屬性就行：name、description和function。

  • name：工具的名稱。
  • description：對工具的功能描述，後續這個描述文字會新增到Prompt（提示詞）中，LLM 將根據description來決定是否呼叫該工具。
  • function：此工具實際執行的函式。

只要遵守這個規範就行，使用形式可以有多種，下文的實踐程式碼會介紹到。

2.2. Agent使用工具的流程

讓AI Agent使用工具，需要定義Agent和AgentExecutor。AgentExecutor維護了Tool.name到Tool的Map 結構。

LLM根據Prompt（包含了Tool的描述） 和 使用者的問題，判斷是否需要呼叫工具，確定某個工具後，在根據Tool的名稱 和 呼叫引數，到對映Map 中獲找Tool例項，找到之後呼叫Tool例項的function。

3. 如何使用各種Tool

自定義Tool只需要遵守以上規範就可以，下面以幾個常用的工具做示例。

下文有些工具用到了toolkits。toolkits是LangChain提供的工具包，旨在簡化使用工具的成本，toolkits裡提供了豐富的工具，還在不斷疊加，大部分的工具都可以在裡面找到。

3.1. 外部搜尋

使用外部搜尋工具。本文使用的是serpapi，serpapi整合了Google、百度等多家搜尋引擎，透過api的形式呼叫，非常方便。

官網地址：https://serpapi.com/。可以自行註冊，有一些免費額度。外部搜尋工具定義如下：

# 1. 使用@tool裝飾器，定義搜尋工具
@tool
def search(query: str) -> str:
    """只有在需要了解實時資訊 或 不知道的事情的時候 才會使用這個工具，需要傳入要搜尋的內容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result

3.2. 文生圖

文生圖工具是使用LangChain社群提供的DallEAPIWrapper類，本文使用OpenAI的圖片生成模型Dall-E-3，具體程式碼如下：

# 2. 使用Tool工具類，定義圖片生成工具
dalle_image_generator = Tool(
    name="基於OpenAI Dall-E-3的圖片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包裝器。當你需要根據 描述的文字 生成影像時 使用此工具，需要傳入 對於影像的描述。",
)

這裡的DallEAPIWrapper(model="dall-e-3").run方法就是個函式，實際是去呼叫了OpenAI的介面。

3.3. 程式碼執行器

程式碼執行器工具，可以執行程式碼 或者 根據自然語言生成程式碼。主要使用LangChain提供的PythonREPLTool 和 LangChain提供的toolkits。

比如create_python_agent就簡化了建立Python直譯器工具的過程。程式碼如下：

# 3. 使用toolkit，定義執行Python程式碼工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

3.4. 分析CSV

CSV工具，用來分析csv檔案。依舊是使用toolkits工具包裡的create_csv_agent函式快出建立工具。程式碼如下：

# 4. 使用toolkit，定義分析CSV檔案工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

3.5. 完整程式碼

上面介紹了AI Agent的常用工具，定義好工具之後，在把工具放入到工具集中，最後在定義Agent 和 AgentExecutor就算完成了。短短几十行程式碼，就可以讓LLM使用這麼多工具了。

完整程式碼如下：

import os
from langchain import hub
from langchain_openai import ChatOpenAI
from langchain.agents import create_structured_chat_agent, AgentExecutor, Tool
from langchain.tools import BaseTool, StructuredTool, tool
from langchain_experimental.agents.agent_toolkits import (
    create_python_agent,
    create_csv_agent,
)
from langchain_community.utilities import SerpAPIWrapper
from langchain_experimental.tools import PythonREPLTool
from langchain_community.utilities.dalle_image_generator import DallEAPIWrapper

# 需要先安裝serpapi, pip install serpapi, 還需要到 https://serpapi.com/ 去註冊賬號

# SERPAPI_API_KEY 和 OPENAI 相關金鑰，註冊到環境變數
os.environ["SERPAPI_API_KEY"] = (
    "9dd2b2ee429ed996c75c1daf7412df16336axxxxxxxxxxxxxxx"
)
os.environ["OPENAI_API_KEY"] = "sk-a3rrW46OOxLBv9hdfQPBKFZtY7xxxxxxxxxxxxxxxx"
os.environ["OPENAI_API_BASE"] = "https://api.302.ai/v1"

model = ChatOpenAI(model_name="gpt-3.5-turbo")


# 基於reAct機制的Prompt模板
prompt = hub.pull("hwchase17/structured-chat-agent")



# 各種方式定義工具

# 1. 使用@tool裝飾器，定義搜尋工具
@tool
def search(query: str) -> str:
    """只有在需要了解實時資訊 或 不知道的事情的時候 才會使用這個工具，需要傳入要搜尋的內容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result


# 2. 使用Tool工具類，定義圖片生成工具
dalle_image_generator = Tool(
    name="基於OpenAI Dall-E-3的圖片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包裝器。當你需要根據 描述的文字 生成影像時 使用此工具，需要傳入 對於影像的描述。",
)

# 3. 使用toolkit，定義執行Python程式碼工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

# 4. 使用toolkit，定義分析CSV檔案工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

# 定義工具集合
tool_list = [
    search,
    dalle_image_generator,
    Tool(
        name="Python程式碼工具",
        description="""
        當你需要藉助Python直譯器時，使用這個工具。
        比如當你需要執行python程式碼時，
        或者，當你想根據自然語言的描述生成對應的程式碼時，讓它生成Python程式碼，並返回程式碼執行的結果。
        """,
        func=python_agent_executor.invoke,
    ),
    Tool(
        name="CSV分析工具",
        description="""
        當你需要回答有關course_price.csv檔案的問題時，使用這個工具。
        它接受完整的問題作為輸入，在使用Pandas庫計算後，返回答案。
        """,
        func=csv_agent_executor.invoke,
    ),
]


# 將工具丟給Agent
agent = create_structured_chat_agent(
    llm=model,
    tools=tool_list,
    prompt=prompt
)

# 定義AgentExecutor
agent_executor = AgentExecutor.from_agent_and_tools(
    agent=agent, 
    tools=tool_list, 
    verbose=True, # 列印詳細的 選擇工具的過程 和 reAct的分析過程
    handle_parsing_errors=True
)



# 不會使用工具
agent_executor.invoke({"input": "你是誰？"})

# 使用查詢工具
# agent_executor.invoke({"input": "南京今天的溫度是多少攝氏度？現在外面下雨嗎？"})

# 使用Python程式碼工具
# agent_executor.invoke(
#     {
#         "input": """
#         幫我執行```號裡的python程式碼，
        
#         ```python
            
#             def add(a,b):
#                 return a+b
            
#             print("hello world : ", add(100,200))
#         ```
#         """
#     }
# )

# 使用圖片生成工具
# agent_executor.invoke(
#     {
#         "input": "幫我生成一副圖片，圖片描述如下：一個非常忙碌的中國高中生在準備中國的高考，夜已經很深了，旁邊他的媽媽一邊看書一邊在陪伴他，窗外是模糊的霓虹燈。"
#     }
# )

# 使用CSV分析工具
# agent_executor.invoke({"input": "course_price資料集裡，一共有哪幾個城市？用中文回答"})

一起看下使用工具後，reAct的整個過程。

以上程式碼經過完整除錯，更換下openai和serpapi的金鑰即可直接執行，如果遇到問題可以關注公眾號給我留言。

4. 總結

本文主要聊了AI Agent的工具規範，以及常用工具。AI Agent只有藉助工具才能發揮威力。

=====>>>>>> 關於我 <<<<<<=====

本篇完結！歡迎點贊 關注 收藏！！！

原文連結：https://mp.weixin.qq.com/s/iSJExaJSCe7fXzous17pXg

相關文章