英偉達開源最強通用模型Nemotron-4 340B
机器之心發表於2024-06-16
英偉達的通用大模型 Nemotron，開源了最新的 3400 億引數版本。本週五，英偉達宣佈推出 Nemotron-4 340B。它包含一系列開放模型，開發人員可以使用這些模型生成合成資料，用於訓練大語言模型（LLM），可用於醫療健康、金融、製造、零售等所有行業的商業應用。高質量的訓練資料在自定義 LLM 的響應效能、準確性和質量中起著至關重要的作用 —— 但強大的資料集經常是昂貴且難以訪問的。透過獨特的開放模型許可，Nemotron-4 340B 為開發人員提供了一種免費、可擴充套件的方式來生成合成資料，從而幫助人們構建強大的 LLM。Nemotron-4 340B 系列包括基礎、Instruct 和 Reward 模型，它們形成了一個 pipeline，用於生成訓練和改進 LLM 的合成資料。這些模型經過最佳化，可與 NVIDIA NeMo 配合使用，後者是一個用於端到端模型訓練的開源框架，包括資料管理、定製和評估。它們還針對開源 NVIDIA TensorRT-LLM 庫的推理進行了最佳化。英偉達表示，Nemotron-4 340B 現已可從 Hugging Face 下載。開發人員很快就能在 ai.nvidia.com 上訪問這些模型，它們將被打包為 NVIDIA NIM 微服務，並帶有可在任何地方部署的標準應用程式程式設計介面。Hugging Face 下載：https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911大語言模型可以幫助開發人員在無法訪問大型、多樣化標記資料集的情況下生成合成訓練資料。Nemotron-4 340B Instruct 模型建立了多樣化的合成資料，模仿了現實世界資料的特徵，有助於提高資料質量，從而提高自定義 LLM 在各個領域的效能和魯棒性。為了提高 AI 生成的資料的質量，開發人員可以使用 Nemotron-4 340B Reward 模型來篩選高質量的響應。Nemotron-4 340B Reward 根據五個屬性對響應進行評分：可用性、正確性、連貫性、複雜性和冗長性。它目前在 AI2 建立的 Hugging Face RewardBench 排行榜上名列第一，用於評估獎勵模型的能力、安全性和缺陷。在這個合成資料 pipeline 中，（1）Nemotron-4 340B Instruct 模型用於生成基於文字的合成輸出。然後，評估模型（2） Nemotron-4 340B Reward 評估生成的文字並提供反饋，從而指導迭代改進並確保合成資料的準確。研究人員還可以使用自己的專有資料，結合已包含的 HelpSteer2 資料集，來定製 Nemotron-4 340B 基礎模型，從而建立自有的 Instruct 模型或獎勵模型。 論文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdfNemotron-4-340B-Base 模型架構是一種標準的僅解碼器 Transformer 架構，具有因果注意力掩碼、旋轉位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超引數如表 1 所示。它有 94 億個嵌入引數和 3316 億個非嵌入引數。下表為 Nemotron-4-340B-Base 模型的一些訓練細節，表中總結了批大小漸變的 3 個階段，包括每次迭代時間和模型 FLOP/s 利用率。為了開發強大的獎勵模型，英偉達收集了一個包含 10k 人類偏好資料的資料集，稱為 HelpSteer2，並公開發布了這個資料集 。資料集地址：https://huggingface.co/datasets/nvidia/HelpSteer2迴歸獎勵模型 Nemotron-4-340B-Reward 建立在 Nemotron-4-340B-Base 模型之上，並用新的獎勵頭替換最後的 softmax 層。這個頭是一個線性投影，它將最後一層的隱藏狀態對映到 HelpSteer 屬性（有用性、正確性、連貫性、複雜性、冗長性）的五維向量中。在推理過程中，這些屬性值可以透過加權和聚合為總體獎勵。這種獎勵模式為訓練 Nemotron-4-340B-Instruct 提供了堅實的基礎。該研究發現這樣的模型在 RewardBench 上表現非常出色：用 NeMo 微調，用 TensorRT-LLM 最佳化推理使用開源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM，開發者可以最佳化他們的指導模型和獎勵模型的效率，從而生成合成資料並對響應進行評分。所有 Nemotron-4 340B 模型都使用 TensorRT-LLM 進行了最佳化，以利用張量並行性，這是一種模型並行性，其中單個權重矩陣在多個 GPU 和伺服器上分割，從而實現大規模的高效推理。Nemotron-4 340B Base 經過 9 萬億個 token 的訓練，可以使用 NeMo 框架進行定製，以適應特定的用例或領域。這種微調過程受益於大量的預訓練資料，併為特定的下游任務提供更準確的輸出。在這當中，NeMo 框架提供了多種定製方法，包括監督微調和引數高效微調方法，如低秩自適應 (LoRA)。為了提升模型質量，開發者可以使用 NeMo Aligner 和由 Nemotron-4 340B Reward 註釋的資料集對其模型進行對齊。對齊是訓練大型語言模型的一個關鍵步驟，其中模型行為透過使用類似 RLHF 演算法進行微調，以確保其輸出安全、準確、符合上下文且與其既定目標一致。 尋求企業級支援和生產環境安全的企業也可以透過雲原生的 NVIDIA AI Enterprise 軟體平臺訪問 NeMo 和 TensorRT-LLM。該平臺為生成式 AI 基礎模型提供了加速和高效的執行時環境。 圖 1 突出顯示了 Nemotron-4 340B 模型家族在選定任務中的準確性。具體來說：Nemotron-4-340B-Base 在 ARC-Challenge、MMLU 和 BigBench Hard 基準等常識推理任務上與 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 等開放訪問基礎模型相媲美。在指令遵循和聊天功能方面，Nemotron-4-340B-Instruct 超越了相應的指令模型。Nemotron-4-340B Reward 在 RewardBench 上實現了最高準確率，甚至超越了 GPT-4o-0513 和 Gemini 1.5 Pro-0514 等專有模型。在 Nemotron-4-340B 推出後，評測平臺立即放出了它的基準成績，可見在 Arena-Hard-Auto 等硬基準測試中它的成績超越了 Llama-3-70bhttps://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/https://x.com/lmsysorg/status/1801682893988892716