谷歌開源最強端側小模型:2B引數越級跑贏GPT-3.5-Turbo,蘋果15Pro執行飛快

机器之心發表於2024-08-01
谷歌也來卷「小」模型了,一出手就是王炸,勝過了比自己引數多得多的GPT-3.5、Mixtral競品模型。

今年 6 月底,谷歌開源了 9B、27B 版 Gemma 2 模型系列,並且自亮相以來,27B 版本迅速成為了大模型競技場 LMSYS Chatbot Arena 中排名最高的開放模型之一,在真實對話任務中比其兩倍規模以上的模型表現還要好。

圖片

如今,僅僅過去了一個多月,谷歌在追求負責任 AI 的基礎上,更加地考慮該系列模型的安全性和可訪問性,並有了一系列新成果。

圖片

此次,Gemma 2 不僅有了更輕量級「Gemma 2 2B」版本,還構建一個安全內容分類器模型「ShieldGemma」和一個模型可解釋性工具「Gemma Scope」。具體如下:

  • Gemma 2 2B 具有內建安全改進功能,實現了效能與效率的強大平衡;

  • ShieldGemma 基於 Gemma 2 構建,用於過濾 AI 模型的輸入和輸出,確保使用者安全;

  • Gemma Scope 提供對模型內部工作原理的無與倫比的洞察力。

其中,Gemma 2 2B 無疑是「最耀眼的仔」,它在大模型競技場 LMSYS Chatbot Arena 中的結果令人眼前一亮:僅憑 20 億引數就跑出了 1130 分,這一數值要高於 GPT-3.5-Turbo(0613)和 Mixtral-8x7b。

這也意味著,Gemma 2 2B 將成為端側模型的最佳選擇。

圖片
圖片

蘋果機器學習研究(MLR)團隊研究科學家 Awni Hannun 展示了 Gemma 2 2B 跑在 iPhone 15 pro 上的情況,使用了 4bit 量化版本,結果顯示速度是相當快。

圖片谷歌開源最強端側小模型:2B引數越級跑贏GPT-3.5-Turbo,蘋果15Pro執行飛快

影片來源:https://x.com/awnihannun/status/1818709510485389563

此外,對於前段時間很多大模型都翻了車的「9.9 和 9.11 誰大」的問題,Gemma 2 2B 也能輕鬆拿捏。

圖片
圖片

圖源:https://x.com/tuturetom/status/1818823253634564134

與此同時,從谷歌 Gemma 2 2B 的強大效能也可以看到一種趨勢,即「小」模型逐漸擁有了與更大尺寸模型匹敵的底氣和效能優勢。

這種趨勢也引起了一些業內人士的關注,比如知名人工智慧科學家、Lepton AI 創始人賈揚清提出了一種觀點:大語言模型(LLM)的模型大小是否正在走 CNN 的老路呢?

在 ImageNet 時代,我們看到引數大小快速增長,然後我們轉向了更小、更高效的模型。這是在 LLM 時代之前,我們中的許多人可能已經忘記了。

  • 大型模型的曙光:我們以 AlexNet(2012)作為基線開始,然後經歷了大約 3 年的模型大小增長。VGGNet(2014)在效能和尺寸方面都可稱為強大的模型。

  • 縮小模型:GoogLeNet(2015)將模型大小從 GB 級縮小到 MB 級,縮小了 100 倍,同時保持了良好的效能。類似工作如 SqueezeNet(2015)和其他工作也遵循類似的趨勢。

  • 合理的平衡:後來的工作如 ResNet(2015)、ResNeXT(2016)等,都保持了適中的模型大小。請注意,我們實際上很樂意使用更多的算力,但引數高效同樣重要。

  • 裝置端學習?MobileNet(2017)是谷歌的一項特別有趣的工作,佔用空間很小,但效能卻非常出色。上週,我的一個朋友告訴我「哇,我們仍然在使用 MobileNet,因為它在裝置端具有出色的特徵嵌入通用性」。是的,嵌入式嵌入是實實在在很好用。

最後,賈揚清發出靈魂一問,「LLM 會遵循同樣的趨勢嗎?」

圖片

影像出自 Ghimire 等人論文《A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration》。

Gemma 2 2B 越級超越 GPT-3.5 Turbo

Gemma 2 家族新增 Gemma 2 2B 模型,備受大家期待。谷歌使用先進的 TPU v5e 硬體在龐大的 2 萬億個 token 上訓練而成。

這個輕量級模型是從更大的模型中蒸餾而來,產生了非常好的結果。由於其佔用空間小,特別適合裝置應用程式,可能會對移動 AI 和邊緣計算產生重大影響。

事實上,谷歌的 Gemma 2 2B 模型在 Chatbot Arena Elo Score 排名中勝過大型 AI 聊天機器人,展示了小型、更高效的語言模型的潛力。下圖表顯示了 Gemma 2 2B 與 GPT-3.5 和 Llama 2 等知名模型相比的卓越效能,挑戰了「模型越大越好」的觀念。

圖片

Gemma 2 2B 提供了:

  • 效能卓越:在同等規模下提供同類最佳效能,超越同類其他開源模型;

  • 部署靈活且經濟高效:可在各種硬體上高效執行,從邊緣裝置和膝上型電腦到使用雲部署如 Vertex AI 和 Google Kubernetes Engine (GKE) 。為了進一步提高速度,該模型使用了 NVIDIA TensorRT-LLM 庫進行最佳化,並可作為 NVIDIA NIM 使用。此外,Gemma 2 2B 可與 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及即將推出的 MediaPipe 無縫整合,以簡化開發;

  • 開源且易於訪問:可用於研究和商業應用,由於它足夠小,甚至可以在 Google Colab 的 T4 GPU 免費層上執行,使實驗和開發比以往更加簡單。

從今天開始,使用者可以從 Kaggle、Hugging Face、Vertex AI Model Garden 下載模型權重。使用者還可以在 Google AI Studio 中試用其功能。

下載權重地址:https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

Gemma 2 2B 的出現挑戰了人工智慧開發領域的主流觀點,即模型越大,效能自然就越好。Gemma 2 2B 的成功表明,複雜的訓練技術、高效的架構和高質量的資料集可以彌補原始引數數量的不足。這一突破可能對該領域產生深遠的影響,有可能將焦點從爭奪越來越大的模型轉移到改進更小、更高效的模型。

Gemma 2 2B 的開發也凸顯了模型壓縮和蒸餾技術日益增長的重要性。透過有效地將較大模型中的知識提煉成較小的模型,研究人員可以在不犧牲效能的情況下建立更易於訪問的 AI 工具。這種方法不僅降低了計算要求,還解決了訓練和執行大型 AI 模型對環境影響的擔憂。

ShieldGemma:最先進的安全分類器

圖片

技術報告:https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

ShieldGemma 是一套先進的安全分類器,旨在檢測和緩解 AI 模型輸入和輸出中的有害內容,幫助開發者負責任地部署模型。

ShieldGemma 專門針對四個關鍵危害領域進行設計:

  • 仇恨言論

  • 騷擾

  • 色情內容

  • 危險內容

圖片

這些開放分類器是對負責任 AI 工具包(Responsible AI Toolkit)中現有安全分類器套件的補充。

藉助 ShieldGemma,使用者可以建立更加安全、更好的 AI 應用

SOTA 效能:作為安全分類器,ShieldGemma 已經達到行業領先水平;

規模不同:ShieldGemma 提供各種型號以滿足不同的需求。2B 模型非常適合線上分類任務,而 9B 和 27B 版本則為不太關心延遲的離線應用程式提供了更高的效能。

如下表所示,ShieldGemma (SG) 模型(2B、9B 和 27B)的表現均優於所有基線模型,包括 GPT-4。

圖片

Gemma Scope:讓模型更加透明

Gemma Scope 旨在幫助 AI 研究界探索如何構建更易於理解、更可靠的 AI 系統。其為研究人員和開發人員提供了前所未有的透明度,讓他們能夠了解 Gemma 2 模型的決策過程。Gemma Scope 就像一臺強大的顯微鏡,它使用稀疏自編碼器 (SAE) 放大模型的內部工作原理,使其更易於解釋。

圖片

Gemma Scope 技術報告:https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

SAE 可以幫助使用者解析 Gemma 2 處理的那些複雜資訊,將其擴充套件為更易於分析和理解的形式,因而研究人員可以獲得有關 Gemma 2 如何識別模式、處理資訊並最終做出預測的寶貴見解。

以下是 Gemma Scope 具有開創性的原因:

  • 開放的 SAE:超過 400 個免費 SAE,涵蓋 Gemma 2 2B 和 9B 的所有層;

  • 互動式演示:無需在 Neuronpedia 上編寫程式碼即可探索 SAE 功能並分析模型行為;

  • 易於使用的儲存庫:提供了 SAE 和 Gemma 2 互動的程式碼和示例。

參考連結:

https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

相關文章