NVIDIA推Hopper架構 推動新一代加速計算

　　為推動 AI 資料中心的新一輪發展，NVIDIA 於今日宣佈推出採用NVIDIA Hopper 架構的新一代加速計算平臺。與上一代產品相比，該平臺實現了數量級的效能飛躍。

　　這一全新架構以美國計算機領域的先驅科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構。

　　NVIDIA 同時釋出其首款基於 Hopper 架構的 GPU — NVIDIA H100。該款 GPU 整合了 800 億個電晶體。H100 是全球範圍內最大的效能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴充套件的 NVIDIA NVLink 互連技術等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統、基因組學和複雜數字孿生的發展。

　　NVIDIA 創始人兼 CEO 黃仁勳表示：“資料中心正在轉變成‘AI 工廠’。它們處理大量資料，以實現智慧。NVIDIA H100 是全球 AI 基礎設施的引擎，讓企業能夠利用其實現自身 AI 業務的加速。”

　　 H100 技術突破

　　H100 NVIDIA GPU 為加速大規模 AI 和 HPC 設定了新的標準，帶來了六項突破性創新：

　　● 世界最先進的晶片—— H100 由 800 億個電晶體構建而成，這些電晶體採用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、視訊記憶體頻寬、互連和通訊的速度，並能夠實現近 5TB/s 的外部互聯頻寬。H100 是首款支援 PCIe 5.0 的 GPU，也是首款採用 HBM3 的 GPU，可實現 3TB/s 的視訊記憶體頻寬。20個 H100 GPU 便可承託相當於全球網際網路的流量，使其能夠幫助客戶推出先進的推薦系統以及實時執行資料推理的大型語言模型。

　　● 新的 Transformer 引擎 —— Transformer 現在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網路的速度提升至上一代的六倍。

　　● 第二代安全多例項 GPU —— MIG 技術支援將單個 GPU 分為七個更小且完全獨立的例項，以處理不同型別的作業。與上一代產品相比，在雲環境中 Hopper 架構透過為每個 GPU 例項提供安全的多租戶配置，將 MIG 的部分能力擴充套件了 7 倍。

　　● 機密計算 —— H100 是全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶資料。客戶還可以將機密計算應用於醫療健康和金融服務等隱私敏感型行業的聯邦學習，也可以應用於共享雲基礎設施。

　　● 第 4 代 NVIDIA NVLink —— 為加速大型 AI 模型，NVLink 結合全新的外接 NVLink Switch，可將 NVLink 擴充套件為伺服器間的網際網路絡，最多可以連線多達 256 個 H100 GPU，相較於上一代採用 NVIDIA HDR Quantum InfiniBand網路，頻寬高出9倍。

　　● DPX 指令 —— 新的 DPX 指令可加速動態規劃，適用於包括路徑最佳化和基因組學在內的一系列演算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 演算法與 Smith-Waterman 演算法也在其加速之列，前者可以在動態倉庫環境中為自主機器人車隊尋找最優線路，而後者可用於 DNA 和蛋白質分類與摺疊的序列比對。

　　H100 的多項技術創新相結合，進一步擴大了 NVIDIA在 AI 推理和訓練的領導地位，利用大規模 AI 模型實現了實時沉浸式應用。H100 將支援聊天機器人使用功能超強大的monolithic Transformer 語言模型Megatron 530B，吞吐量比上一代產品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發者能夠訓練龐大的模型，如包含 3950 億個引數的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。

　　 NVIDIA H100 的廣泛採用

　　NVIDIA H100 可部署於各種資料中心，包括內部私有云、雲、混合雲和邊緣資料中心。這款產品預計於今年晚些時候全面發售，屆時企業可從全球各大雲服務提供商和計算機制造商處購買，或者直接從 NVIDIA 官方渠道購買。

　　NVIDIA 的第四代 DGX 系統DGX H100配備 8 塊 H100 GPU，以全新的 FP8 精度提供 32 Petaflop 的 AI 效能，並支援擴充套件，能夠滿足大型語言模型、推薦系統、醫療健康研究和氣候科學的海量計算需求。

　　DGX H100 系統中的每塊 GPU 都透過第四代 NVLink 連線，可提供 900GB/s 的頻寬，與上一代相比，速度提升了 1.5 倍。NVSwitch™ 支援所有八塊 H100 GPU 透過 NVLink 全互聯。新一代 NVIDIA DGX SuperPOD™ 超級計算機可透過外部 NVLink Switch 互聯，最多可連線 32 個 DGX H100 節點。

　　Hopper 已在行業內獲得各大雲服務提供商的廣泛支援，包括阿里雲、AWS、百度智慧雲、Google Cloud、Microsoft Azure、Oracle Cloud、騰訊雲和火山引擎，這些雲服務商均計劃推出基於 H100 的例項。

　　全球領先的系統製造商，包括源訊、BOXX Technologies、思科、戴爾科技、富士通、技嘉、新華三、慧與 (HPE)、浪潮、聯想、寧暢和超微預計推出各種採用 H100 加速器的伺服器。

　　 規模各異的 NVIDIA H100

　　H100 將提供 SXM 和 PCIe 兩種規格，可滿足各種伺服器設計需求。此外，NVIDIA還會推出融合加速器，耦合 H100 GPU 與 NVIDIA ConnectX®-7 400Gb/sInfiniBand和乙太網智慧網路卡。

　　NVIDIA H100 SXM 提供 4 GPU 和 8 GPU 配置的 HGX™ H100 伺服器主機板，可助力企業將應用擴充套件至一臺伺服器和多臺伺服器中的多個 GPU。基於 HGX H100 的伺服器可為 AI 訓練和推理以及資料分析和 HPC 應用提供更高的應用效能。

　　H100 PCIe 透過 NVLink 連線兩塊 GPU，相較於 PCIe 5.0，可提供 7 倍以上的頻寬，為主流企業級伺服器上執行的應用帶來卓越的效能。PCIe規格便於整合到現有的資料中心基礎設施中。

　　H100 CNX是一款全新的融合加速器。這款加速器將 H100 與 ConnectX-7 智慧網路卡相結合，可為 I/O 密集型應用（如企業級資料中心內的多節點 AI 訓練和邊緣 5G 訊號處理）提供強勁效能。

　　NVIDIA Hopper 架構 GPU 還可與NVIDIA Grace CPU透過NVLink-C2C 互聯，與 PCIe 5.0 相比，可將 CPU 和 GPU 之間的通訊速度提高 7 倍以上。這一組合，即Grace Hopper 超級晶片，可用於大規模 HPC 和 AI 應用。

　　 NVIDIA 軟體支援

　　H100 NVIDIA GPU 由功能強大的軟體工具提供支援，可助力開發者和企業構建並加速 AI、HPC 等一系列應用。其中包括用於語音、推薦系統和超大規模推理等工作負載的 NVIDIA AI 軟體套件的重大更新。

　　NVIDIA 還發布了60多個針對 CUDA-X 的一系列庫、工具和技術的更新，以加速量子計算和 6G 研究、網路安全、基因組學和藥物研發等領域的研究進展。

　　 供貨資訊

　　NVIDIA H100 將自第三季度起開始供貨。