Arch 是一個智慧的第 7 層閘道器，旨在使用您的 API 保護、觀察和個性化 LLM 應用程式（代理、助手、副駕駛）
用（快速）LLM 設計，可實現安全處理、強大的可觀察性以及提示與 API 的無縫整合 - 所有這些都在業務邏輯之外。
由 Envoy 代理的核心貢獻者在 Envoy 上構建。
Arch 採用專門構建的 LLM 設計，可處理與提示處理相關的關鍵但未分化的任務，包括檢測和拒絕越獄嘗試、智慧地呼叫“後端” API 來滿足提示中所代表的使用者請求、路由到上游 LLM 並提供上游 LLM 之間的災難恢復，以及以集中方式管理提示和 LLM 互動的可觀察性。
Arch 是基於Envoy Proxy構建的（也是由其核心貢獻者構建的），其理念如下：
提示是細微且不透明的使用者請求，它們需要與傳統 HTTP 請求相同的功能，包括安全處理、智慧路由、強大的可觀察性以及與後端（API）系統的整合以實現個性化——所有這些都在業務邏輯之外。*
核心功能：
- 基於Envoy構建：Arch 與應用伺服器一起執行，並建立在 Envoy 經過驗證的 HTTP 管理和可擴充套件性功能之上，以處理與提示和 LLM 相關的入口和出口流量。
- 函式呼叫，用於快速執行 Agentic 和 RAG 應用程式。採用專門構建的LLM設計，可處理快速、經濟高效且準確的基於提示的任務，例如函式/API 呼叫和從提示中提取引數。
- 提示防護：Arch 集中提示防護欄以防止越獄嘗試並確保安全的使用者互動，而無需編寫任何程式碼。
- 流量管理：Arch 管理 LLM 呼叫，提供智慧重試、自動切換和彈性上游連線以實現持續可用性。
- 基於標準的可觀察性：Arch 使用 W3C Trace Context 標準實現跨應用程式的完整請求跟蹤，確保與可觀察性工具的相容性，並提供監控延遲、令牌使用情況和錯誤率的指標，幫助最佳化 AI 應用程式效能。