在構建複雜的 LLM 應用時，單一的模型呼叫往往無法滿足業務需求。本文將詳細介紹如何構建一個可靠的 LLM 鏈式架構，包括基礎設計模式、提示詞工程和錯誤處理機制。
為什麼需要鏈式架構？
在開始深入技術細節之前，讓我們先理解為什麼需要鏈式架構：
-
單一模型呼叫的侷限性
- 輸入輸出格式單一
- 缺乏上下文管理
- 錯誤處理能力有限
-
複雜業務場景的挑戰
- 多步驟處理需求
- 資料清洗和轉換
- 結果驗證和質量控制
-
鏈式架構的優勢
- 模組化設計，便於維護
- 靈活的擴充套件性
- 統一的錯誤處理
- 可複用的元件
基礎鏈式架構設計
1. 核心元件
from typing import Any, Dict, Optional
from abc import ABC, abstractmethod
class BaseProcessor(ABC):
@abstractmethod
def process(self, data: Any) -> Any:
pass
class BaseChain:
def __init__(self):
self.preprocessor: Optional[BaseProcessor] = None
self.prompt_manager: Optional[PromptManager] = None
self.llm: Optional[BaseLLM] = None
self.postprocessor: Optional[BaseProcessor] = None
self.error_handler: Optional[ErrorHandler] = None
def process(self, input_data: Dict[str, Any]) -> Dict[str, Any]:
try:
# 1. 預處理
processed_input = self._preprocess(input_data)
# 2. 生成提示詞
prompt = self._generate_prompt(processed_input)
# 3. LLM 呼叫
response = self._call_llm(prompt)
# 4. 後處理
result = self._postprocess(response)
return result
except Exception as e:
return self.error_handler.handle(e)
2. 元件解耦設計
class PreProcessor(BaseProcessor):
def process(self, data: Dict[str, Any]) -> Dict[str, Any]:
"""資料預處理邏輯"""
# 1. 資料清洗
cleaned_data = self._clean_data(data)
# 2. 格式轉換
formatted_data = self._format_data(cleaned_data)
# 3. 驗證
self._validate_data(formatted_data)
return formatted_data
class PostProcessor(BaseProcessor):
def process(self, data: Dict[str, Any]) -> Dict[str, Any]:
"""結果後處理邏輯"""
# 1. 結果解析
parsed_result = self._parse_result(data)
# 2. 格式化輸出
formatted_result = self._format_output(parsed_result)
# 3. 質量檢查
self._quality_check(formatted_result)
return formatted_result
提示詞工程基礎
1. 提示詞模板管理
class PromptTemplate:
def __init__(self, template: str, input_variables: List[str]):
self.template = template
self.input_variables = input_variables
class PromptManager:
def __init__(self):
self.templates: Dict[str, PromptTemplate] = {}
self.version_control = VersionControl()
def register_template(self, name: str, template: str,
input_variables: List[str]) -> None:
"""註冊提示詞模板"""
self.templates[name] = PromptTemplate(
template=template,
input_variables=input_variables
)
def generate_prompt(self, template_name: str, **kwargs) -> str:
"""生成提示詞"""
template = self.templates.get(template_name)
if not template:
raise ValueError(f"Template {template_name} not found")
# 驗證必要引數
self._validate_inputs(template, kwargs)
# 生成提示詞
return template.template.format(**kwargs)
2. 提示詞最佳化策略
class PromptOptimizer:
def __init__(self):
self.few_shots: List[Dict[str, str]] = []
self.context: Dict[str, Any] = {}
def add_few_shot(self, example: Dict[str, str]) -> None:
"""新增少樣本示例"""
self.few_shots.append(example)
def set_context(self, context: Dict[str, Any]) -> None:
"""設定上下文資訊"""
self.context.update(context)
def optimize_prompt(self, base_prompt: str) -> str:
"""最佳化提示詞"""
# 1. 新增角色設定
prompt = self._add_role_setting(base_prompt)
# 2. 注入上下文
prompt = self._inject_context(prompt)
# 3. 新增少樣本示例
prompt = self._add_few_shots(prompt)
return prompt
錯誤處理機制
1. 錯誤處理基礎架構
class LLMChainError(Exception):
"""基礎鏈錯誤"""
pass
class ErrorHandler:
def __init__(self):
self.retry_strategy = RetryStrategy()
self.fallback_handler = FallbackHandler()
self.monitor = Monitor()
def handle(self, error: Exception) -> Dict[str, Any]:
"""統一錯誤處理"""
try:
# 1. 記錄錯誤
self.monitor.log_error(error)
# 2. 判斷是否可重試
if self.is_retryable(error):
return self.retry_strategy.retry()
# 3. 降級處理
return self.fallback_handler.handle(error)
finally:
# 4. 錯誤通知
self.monitor.notify(error)
2. 重試策略實現
class RetryStrategy:
def __init__(self, max_retries: int = 3,
base_delay: float = 1.0):
self.max_retries = max_retries
self.base_delay = base_delay
self.current_retry = 0
def retry(self) -> bool:
"""實現指數退避重試"""
if self.current_retry >= self.max_retries:
return False
delay = self.base_delay * (2 ** self.current_retry)
time.sleep(delay)
self.current_retry += 1
return True
實戰案例：智慧問答系統
讓我們透過一個實際的智慧問答系統來看看如何應用這些概念：
class QAChain(BaseChain):
def __init__(self):
super().__init__()
self.setup_components()
def setup_components(self):
# 1. 設定前處理器
self.preprocessor = QAPreProcessor()
# 2. 配置提示詞管理器
self.prompt_manager = self._setup_prompt_manager()
# 3. 配置 LLM
self.llm = self._setup_llm()
# 4. 設定後處理器
self.postprocessor = QAPostProcessor()
# 5. 配置錯誤處理
self.error_handler = QAErrorHandler()
def _setup_prompt_manager(self):
manager = PromptManager()
manager.register_template(
"qa_template",
"""
作為一個智慧問答助手，請回答以下問題：
問題：{question}
要求：
1. 回答要簡潔明瞭
2. 如果不確定，請明確說明
3. 如果需要更多資訊，請指出具體需要什麼資訊
""",
["question"]
)
return manager
最佳實踐建議
-
架構設計原則
- 保持模組間的低耦合
- 實現可測試的元件
- 做好日誌和監控
-
常見陷阱預防
- 避免硬編碼提示詞
- 注意錯誤傳播鏈
- 防止重試風暴
-
效能最佳化建議
- 合理使用快取
- 實現請求合併
- 控制併發數量
總結
本文介紹了構建 LLM 鏈式應用的核心元件和最佳實踐。透過合理的架構設計、提示詞管理和錯誤處理，我們可以構建出更加可靠和可維護的 LLM 應用。