在 Google Cloud 上輕鬆部署開放大語言模型

HuggingFace發表於2024-04-12

今天,我們想向大家宣佈:“在 Google Cloud 上部署”功能正式上線!

這是 Hugging Face Hub 上的一個新功能,讓開發者可以輕鬆地將數千個基礎模型使用 Vertex AI 或 Google Kubernetes Engine (GKE) 部署到 Google Cloud。

Model Garden (模型庫) 是 Google Cloud Vertex AI 平臺的一個工具,使用者能夠發現、定製和部署來自 Google 及其合作伙伴的各種模型。不論是在 Hugging Face 模型頁面還是在 Vertex AI 模型庫頁面,開發者們都可以輕鬆簡單地將開放模型作為 API 端點部署在自己的 Google Cloud 賬戶內。我們也將啟用 Hugging Face 上最受歡迎的開放模型進行推理,這一切都得益於我們的生產級解決方案 文字生成推理

藉助“在 Google Cloud 上部署”,開發者可以在自己的安全 Google Cloud 環境中直接構建準備就緒的生成式 AI 應用,無需自行管理基礎設施和伺服器。

為 AI 開發者構建

這一全新的體驗是基於我們今年早些時候宣佈的 戰略合作關係 進一步擴充套件的,目的是簡化 Google 客戶訪問和部署開放生成式 AI 模型的過程。開發者和機構面臨的一個主要挑戰是,部署模型需要投入大量時間和資源,且必須確保部署的安全性和可靠性。

“在 Google Cloud 上部署”提供了一個簡單且管理化的解決方案,專為 Hugging Face 模型提供了專門的配置和資源。只需簡單點選幾下,就可以在 Google Cloud 的 Vertex AI 上建立一個準備就緒的端點。

Google 產品經理 Wenming Ye 表示:“Vertex AI 的 Model Garden 與 Hugging Face Hub 的整合,讓在 Vertex AI 和 GKE 上發現和部署開放模型變得無縫銜接,無論您是從 Hub 開始,還是直接在 Google Cloud 控制檯中。我們迫不及待想看到 Google 開發者們將會用 Hugging Face 模型建立出什麼樣的創新。”

從 HF Hub 開啟模型部署

在 Google Cloud 上部署 Hugging Face 模型變得非常簡單。以下是如何部署 Zephyr Gemma 的步驟指導。從今天開始,所有帶有 text-generation-inference 標籤的模型都將受到支援。

model-card

只需開啟“部署”選單,選擇“Google Cloud”即可。這將直接帶您進入 Google Cloud 控制檯,您可以在 Vertex AI 或 GKE 上輕鬆一鍵部署 Zephyr Gemma。

vertex-ai-model-garden

進入 Vertex AI 模型庫之後,您可以選擇 Vertex AI 或 GKE 作為部署環境。如果選擇 Vertex AI,您可以透過點選“部署”一鍵完成部署過程。如果選擇 GKE,您可以根據提供的指南和模板,在新建或現有的 Kubernetes 叢集上部署模型。

從 Vertex AI 模型庫開啟模型部署

Vertex AI 模型庫是 Google 開發者尋找可用於生成式 AI 專案的現成模型的理想場所。從今天開始,Vertex Model Garden 將提供一種全新的體驗,使開發者能夠輕鬆部署 Hugging Face 上可用的最流行的開放大語言模型!

在 Google Vertex AI 模型庫中,您會發現一個新的“從 Hugging Face 部署”選項,允許您直接在 Google Cloud 控制檯內搜尋並部署 Hugging Face 模型。

deploy-from-huggingface.png

點選“從 Hugging Face 部署”後,將顯示一個表單,您可以在其中快速查詢模型 ID。Hugging Face 上數以百計最受歡迎的開放大語言模型已經準備就緒,提供了經過測試的硬體配置。

model-selection.png

找到想要部署的模型後,選擇該模型,Vertex AI 會自動填充所有必要的配置,以便您將模型部署到 Vertex AI 或 GKE 上。透過“在 Hugging Face 上檢視”功能,您甚至可以確認選擇的模型是否正確。如果您使用的是受限模型,請確保提供您的 Hugging Face 訪問令牌,以授權下載模型。

from-deploy.png

就是這樣!從 Vertex AI 模型庫直接將模型如 Zephyr Gemma 部署到您的 Google Cloud 賬戶,只需簡單幾步。

這只是開始

我們很高興能夠與 Google Cloud 合作,讓 AI 更加開放和易於訪問。無論是從 Hugging Face Hub 開始,還是在 Google Cloud 控制檯內,部署開放模型到 Google Cloud 上都變得前所未有的簡單。但我們不會止步於此——敬請期待,我們將開啟更多在 Google Cloud 上利用開放模型構建 AI 的新體驗!

英文原文: https://hf.co/blog/google-cloud-model-garden

原文作者: Philipp Schmid & Jeff Boudier

相關文章