結合LangChain實現網頁資料爬取

霍格沃兹测试开发学社發表於2024-07-18
LangChain網頁

LangChain 非常強大的一點就是封裝了非常多強大的工具可以直接使用。降低了使用者的學習成本。比如資料網頁爬取。

在其官方文件-網頁爬取中，也有非常好的示例。

應用場景

  • 資訊爬取。
  • RAG 資訊檢索。

實踐應用

需求說明

  • 從 ceshiren 網站中獲取每個帖子的名稱以及其對應的url資訊。
  • ceshiren論壇地址：https://ceshiren.com/

實現思路

對應原始碼


# 定義大模型
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")

# 定義提取方法
def extract(content: str, schema: dict):
    from langchain.chains import create_extraction_chain
    return create_extraction_chain(schema=schema, llm=llm).invoke(content)

import pprint
from langchain_text_splitters import RecursiveCharacterTextSplitter
def scrape_with_playwright(urls, schema):
    # 載入資料
    loader = AsyncChromiumLoader(urls)
    docs = loader.load()
    # 資料轉換
    bs_transformer = BeautifulSoupTransformer()
    # 提取其中的span標籤
    docs_transformed = bs_transformer.transform_documents(
        docs, tags_to_extract=["span"]
    )
    # 資料切分
    splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
    chunk_size=1000, chunk_overlap=0)
    splits = splitter.split_documents(docs_transformed)
    # 因為資料量太大，輸入第一片資料使用，傳入使用的架構
    extracted_content = extract(schema=schema, content=splits[0].page_content)
    pprint.pprint(extracted_content)
    return extracted_content

urls = ["https://ceshiren.com/"]
schema = {
    "properties": {
        "title": {"type": "string"},
        "url": {"type": "string"},
    },
    "required": ["title", "url"],
}
extracted_content = scrape_with_playwright(urls, schema=schema)

總結

  1. 瞭解網頁爬取的實現思路以及相關技術。
  2. 透過LangChain實現爬取測試人網頁的標題和url。

相關文章