效能翻倍的Gemma 2， 讓同量級的Llama3怎麼玩？
效能卓越：Gemma 2 27B模型在其同體積類別中提供了最佳效能，甚至可以與體積超過其兩倍的模型競爭。9B Gemma 2模型也在其同等體積類別中表現出色，並超越了Llama 3 8B和其他同類開放模型。 高效率、低成本：27B Gemma 2模型設計用於在單個Google Cloud TPU主機、NVIDIA A100 80GB Tensor Core GPU或NVIDIA H100 Tensor Core GPU上以全精度高效執行推理，在保持高效能的同時大幅降低成本。這使得AI部署更加便捷和經濟實惠。 超高速推理：Gemma 2經過最佳化，能夠在各種硬體上以驚人的速度執行，無論是強大的遊戲筆記本、高階桌上型電腦，還是基於雲的設定。使用者可以在Google AI Studio上嘗試全精度執行Gemma 2，也可以在CPU上使用Gemma.cpp的量化版本解鎖本地效能，或者透過Hugging Face Transformers在家用電腦上使用NVIDIA RTX或GeForce RTX進行嘗試。
以上是 Gemma2 與 Llama3、Grok-1 的得分資料對比。
其實從各項得分資料來看，此次開源的 9B 大模型優勢不是特別明顯。近1個月前智譜AI 開源的國產大模型 GLM-4-9B 更具有優勢。
開放且易於訪問：與原始Gemma模型一樣，Gemma 2允許開發者和研究人員共享和商業化創新成果。 廣泛的框架相容性：Gemma 2相容主要的AI框架，如Hugging Face Transformers，以及透過Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama原生支援的JAX、PyTorch和TensorFlow，使其能夠輕鬆與使用者偏好的工具和工作流程結合。此外，Gemma已透過NVIDIA TensorRT-LLM最佳化，可以在NVIDIA加速的基礎設施上執行，或作為NVIDIA NIM推理微服務執行，未來還將最佳化NVIDIA的NeMo，並且可以使用Keras和Hugging Face進行微調。除此之外，谷歌正在積極升級微調能力。 輕鬆部署：從下個月開始，Google Cloud客戶將能夠在Vertex AI上輕鬆部署和管理Gemma 2。
在最新的部落格中，谷歌宣佈向所有開發者開放了Gemini 1.5 Pro的200萬token上下文視窗訪問許可權。但是，隨著上下文視窗的增加，輸入成本也可能增加。為了幫助開發者減少使用相同token的多prompt任務成本，谷歌貼心地在Gemini API中為Gemini 1.5 Pro和1.5 Flash推出了上下文快取功能。 為解決大型語言模型在處理數學或資料推理時需要生成和執行程式碼來提高準確性，谷歌在Gemini 1.5 Pro和1.5 Flash中啟用了程式碼執行功能。開啟後，模型可以動態生成並執行Python程式碼，並從結果中迭代學習，直到達到所需的最終輸出。執行沙盒不連線網際網路，並標配一些數值庫，開發者只需根據模型的輸出token進行計費。這是谷歌在模型功能中首次引入程式碼執行的步驟，今天即可透過Gemini API和Google AI Studio中的「高階設定」使用。 谷歌希望讓所有開發者都能接觸到AI，無論是透過API金鑰整合Gemini模型，還是使用開放模型Gemma 2。為了幫助開發者動手操作Gemma 2模型，谷歌團隊將在Google AI Studio中提供其用於實驗。
論文地址：https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf 部落格地址：https://blog.google/technology/developers/google-gemma-2/
區域性滑動視窗和全域性注意力。研究團隊在每隔一層中交替使用區域性滑動視窗注意力和全域性注意力。區域性注意力層的滑動視窗大小設定為4096個token，而全域性注意力層的跨度設定為8192個token。 Logit軟封頂。根據Gemini 1.5的方法，研究團隊在每個注意力層和最終層限制logit，使得logit的值保持在−soft_cap和+soft_cap之間。 對於9B和27B模型，研究團隊將注意力對數封頂設定為50.0，最終對數封頂設定為30.0。截至本文發表時，注意力logit軟封頂與常見的FlashAttention實現不相容，因此他們已從使用FlashAttention的庫中移除了此功能。研究團隊對模型生成進行了有無注意力logit軟封頂的消融實驗，發現大多數預訓練和後期評估中，生成質量幾乎不受影響。本文中的所有評估均使用包含注意力logit軟封頂的完整模型架構。然而，某些下游效能可能仍會受到此移除的輕微影響。 使用RMSNorm進行post-norm 和pre-norm。為了穩定訓練，研究團隊使用RMSNorm對每個變換子層、注意力層和前饋層的輸入和輸出進行歸一化。 分組查詢注意力。27B和9B模型均使用GQA，num_groups = 2，基於消融實驗表明在保持下游效能的同時提高了推理速度。
首先，在混合的純文字、純英文合成和人工生成的prompt-響應對上應用監督微調（SFT）。 然後，在這些模型上應用基於獎勵模型（RLHF）的強化學習，獎勵模型訓練基於token的純英文偏好資料，策略則與SFT階段使用相同的prompt。 最後，透過平均每個階段獲得的模型以提高整體效能。最終的資料混合和訓練後方法，包括調優的超引數，都是基於在提高模型有用性的同時最小化與安全性和幻覺相關的模型危害來選擇的。