隨著大模型的發展，越來越多企業將生成性AI應用投入生產和業務當中，因而企業組織的系統應用也將面臨前所未有的多重挑戰，包括：如何遵循AI安全政策、如何理解使用者行為，以及確保應用的可靠性和效能。AI閘道器旨在幫助企業應對AI呼叫的挑戰及更多問題。AI閘道器充當組織內AI的中心訪問點，透過單一介面無縫整合多個模型提供商。
本文中，我們將討論實施AI閘道器的好處和挑戰，以及企業組織如何從這種架構中受益。
一、AI閘道器的好處
首先我們有必要了解它在AI應用中的重要性。AI閘道器不僅簡化了模型的管理，還可以幫助企業更有效地提升安全性、合規性和運營效率。
透過集中管理AI模型的使用，AI閘道器能夠為組織提供更高的控制力和靈活性，確保應用程式的穩定性和安全性。接下來，我們分析一下AI閘道器在多個關鍵領域的具體優點
1. 提升安全防護
在開發AI應用時，安全性應始終是首要考慮。實施安全檢查的方式有多種，但通常由開發應用的技術團隊承擔責任。將安全防護措施整合到AI閘道器中，可以確保所有應用都遵循組織的安全政策。這些安全措施可以透過多種方式來實現：
-
敏感資料檢測：可以在閘道器中嵌入個人身份資訊(PII)或支付卡資訊(PCI)檢測，確保不向模型洩露敏感資料。
-
防止虛假資訊：許多組織使用基於檢索增強生成（RAG）和向量嵌入來控制虛假資訊；而檢索機制和向量資料庫通常位於應用層，AI閘道器則可以為開發者提供更廣泛的向量嵌入模型選擇。
-
基於大語言模型(LLM)的安全性：LLM可以用來評估提示並拒絕任何潛在不安全的請求。
安全措施可以作為預處理和後處理步驟，以確保模型輸入和輸出的安全性。
2. 輕鬆實現內容監管
內容稽核是企業透過主動審查和管理AI生成內容的過程，以確保生成的內容符合企業特定標準和指導方針（如政治敏感、符合法律法規、企業敏感資料等）。
內容稽核模式可以包括：
-
基於規則的過濾：可以配置規則過濾包含特定關鍵詞或主題的請求；閘道器應提供簡單的介面以編寫和部署稽核規則。
-
反饋與評估：AI閘道器應提供介面以捕獲和記錄反饋，以便進行審查和持續改進。
-
審計：透過集中式閘道器執行所有AI提示和響應，便於跟蹤和審計組織內的AI使用情況。
一個實施良好的AI閘道器應為稽核和監管人員提供所有必要工具，以確保企業組織的資訊保安。
3. 審批流程與合規性保障
很多企業組織已實施AI專案的審查流程，以確保AI專案的落地合規。AI閘道器很好地融入了這一工作流程，任何團隊在使用閘道器之前必須請求訪問。如果閘道器是你們企業AI的主要訪問點，有效保證了所有使用AI的應用都經過企業內部人員適當審查。
工作流程的示例如下：
另外一點事，審批授予閘道器的訪問許可權也可以提前進行，為了方便還沒制定完整產品計劃的使用者提供試驗的通道。
4. 實現便捷的統一介面
4.1 統一API介面
AI閘道器為閘道器背後的任何模型提供單一介面。也就是說開發者可以透過更改單個引數在呼叫Anthropic Claude模型和OpenAI GPT模型之間切換。這種靈活性讓開發人員能夠快速瞭解準確性、延遲和成本的權衡，透過配置應用使用閘道器的不同模型。
4.2 基礎設施管理
使用AI閘道器的部門和個人成員不需在為模型的配置操心，訪問LLM進行試驗探索更加便捷。
5. 構建靈活的架構模型
5.1 模型
由於大語言基礎模型仍在快速改進，而且雲服務提供商經常性更改其API支援的模型版本。透過AI閘道器對接這些模型，可以一次性部署並使其對所有消費應用可用。
5.2 監管
AI的監管環境不確定。AI閘道器保證企業擁有一個主要系統以便隨著監管的演變進行更新，靈活應對挑戰。閘道器的靈活性還允許不同垂直行業根據其監管要求實施規則。例如，醫療公司可以配置規則，以確保遵循HIPAA最低必要規則。
6. 完善的可觀察性與監控
日誌記錄
所有透過閘道器的請求和響應應被捕獲並記錄。一旦資料被記錄，可以建立資料管道將其推送到資料倉儲進行進一步分析。該資料集可用於多種應用，例如：
-
提高AI產品的準確性和效能
-
審計所有請求和響應
-
報告AI的採用情況
-
監控AI產品的成本
閘道器透過作為AI的中央訪問點，簡化了這些資料的收集。
7. 效能最佳化與快取機制
除了傳統的API監控指標外，AI閘道器還應該監控消費應用使用閘道器的指標和閘道器對模型的使用情況。例如：可以監控模型的令牌消耗。
如果閘道器定期接近某一模型的最大每分鐘令牌(TPM)配額，則需要警報，以便企業評估是否需要新增額外的部署。或者，如果某些模型的流量不多，可能是刪除該模型並簡化部署的機會。
8. 精準的負載均衡
可以配置語義快取，以快速返回頻繁提交給AI閘道器的提示的結果。語義快取計算提供的提示與先前提示之間的相似度評分，如果相似度評分高於配置的閾值，則直接返回快取的響應。以下是一個示例，語義快取可以快速返回使用者2的答案，提高效能並降低成本：
| 使用者提示 | 語義快取返回 |
|---|---|
| 使用者1：2024年第一季度的銷售額是多少？ | - |
| 使用者2：給我2024年第一季度的銷售額。 | 使用者1的答案 |
儘管這些提示並不完全相同，但它們提出了相同的問題。語義快取可以快速返回使用者2的答案，從而提高效能並降低成本。
9. 靈活的訪問控制
AI閘道器能夠在多個模型部署之間進行負載均衡。負載均衡的好處包括：
-
提高彈性：如果某一模型部署不可用，閘道器可以路由到活躍的部署。
-
增加令牌容量：大多數雲提供商限制您可用的每分鐘令牌(TPM)。透過建立多個相同模型的部署，然後在這些部署之間進行負載均衡，可以增加系統的TPM。
儘管基本的負載均衡有明顯的好處，AI閘道器還包括更智慧的負載均衡，提供了可能性。
-
基於延遲的路由：如果某一模型響應時間過長，閘道器可以將請求路由到不同的模型部署或完全不同的模型。
-
基於意圖的路由：您可能會發現某些模型在特定任務上表現優於其他模型。閘道器可以輔助意圖路由，首先使用LLM推導使用者提示的意圖，然後將其路由到最適合該意圖的模型。
10. 訪問控制
AI閘道器讓企業能夠設定訪問策略，以授予特定使用者或應用程式對特定模型的訪問許可權。大多數應用程式不需要訪問閘道器所展示的所有模型，因此限制訪問僅限於必要模型是良好的做法。
此外，你還可以根據應用程式設定令牌和請求的速率限制，以確保沒有應用程式使用超過其模型容量的份額。這些限制還可以針對成本進行設定，以防止應用程式積累大量雲賬單。
二、AI閘道器的挑戰
1. 共享模型容量
當構建AI閘道器作為LLM的中央訪問點時，其中一個挑戰是如何讓多個應用程式對同一共享模型池的使用。瞭解每個應用程式的預期令牌和請求使用情況對於確保閘道器具有足夠的容量以滿足需求至關重要。如前面所講的，大多數閘道器允許你給應用程式實施速率限制，這是解決此問題的措施之一。然而，如果有任何程式有不可預測的流量模式，這就可能會造成限制了。
另一種緩解這種問題的選項是給業務關鍵應用配置專用的模型池。企業可以授予特定應用程式對特定模型池的訪問許可權，以確保業務關鍵應用程式的正常執行。
2. 成本管理與治理
如前所述，AI閘道器跟蹤每個消費應用程式的成本。儘管這些資料很有用，但費用通常由負責AI閘道器團隊承擔。這就引出了一個常見挑戰問題，即管理共享服務的雲成本。如果需要向閘道器的消費者收取其LLM支出的部分費用，則需要一些整合工作以將資料返回到你的FinOps系統。
3. 安全措施的對齊與實施
儘管AI閘道器將支援對所有傳入和傳出資料應用安全措施，但確定應實施哪些安全措施可能具有挑戰性。這需要閘道器實施團隊、安全團隊和業務領域專家之間的協作，以達成對檢查和過濾內容的共識。
實施如PII檢測等檢查也可能具有挑戰性。大多數閘道器將支援與外部工具的整合，以幫助進行PII/PCI檢測，從而減輕複雜邏輯的負擔。
三、AI閘道器的最佳實踐
1. 實施
在實施AI閘道器時，建議遵循以下最佳實踐正規化：
-
從小處開始：首先識別和整合幾個關鍵模型和應用程式。這將使您能夠在小範圍內測試和調整閘道器的功能，而不會影響整個組織。
-
迭代開發：根據反饋和使用情況不斷改進和迭代閘道器。收集使用資料和使用者反饋，定期進行更新和調整。
-
跨部門協作：確保安全、合規和開發團隊之間的緊密合作，以便共同確定安全措施、監管要求和業務需求。
2. 效能監控
-
實時監控：利用實時監控工具來跟蹤模型效能和系統負載。定期檢查資料，以確保服務正常執行並快速響應潛在問題。
-
分析和最佳化：透過分析收集的資料來識別效能瓶頸和最佳化機會，定期進行系統評估以提升整體效率。
3. 安全與合規
-
持續稽核：定期對AI閘道器的安全措施和合規性進行稽核，確保其符合最新的政策和標準。
-
使用者教育：對使用AI閘道器的使用者進行安全和合規培訓，提高他們的意識和理解，以確保所有使用者都遵循相應的安全協議。
4. 開源AI閘道器選擇
APIPark是一款開源的企業級AI閘道器，無需編寫程式碼即可快速連線多個大模型，極大簡化了大型語言模型的呼叫過程。同時有效保護敏感資訊，讓企業使用AI更加便捷和安全。
目前，APIPark 已經接入包括 OpenAI、Claude（Anthropic）、Gemini、文心一言、月之暗面以及通義千問等多個大型語言模型。
此外，APIPark 還支援企業建立專屬的API開放平臺。透過審批流程來管理API呼叫許可權，並且提供監控和分析等多種工具，幫助企業管理者追蹤API使用情況，確保API得到安全合規地共享和使用。
此外，APIPark 還支援企業建立自己的API開放平臺，透過審批流程控制API呼叫許可權，並提供監控和分析工具，幫助企業跟蹤API使用情況，確保安全合規地分享和使用AI模型。
四、寫在最後
AI閘道器為企業提供了一個強大的平臺，幫助簡化和集中管理多種AI大模型。藉助AI閘道器，企業不僅可以提高資訊保安性和合規性，還能實現效能最佳化和靈活的訪問控制。透過像APIPark這樣的AI閘道器，企業將能在AI應用的快速發展中保持競爭優勢，推動創新，並高效、安全地利用AI技術。