亞馬遜雲科技宣佈由英偉達H200 GPU提供支援的 Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)例項現已正式可用。亞馬遜雲科技是首個將英偉達H200 GPU用於生產環境的領先雲提供商。與基於英偉達H100 GPU的Amazon EC2 P5例項相比,Amazon EC2 P5e例項GPU記憶體容量提升1.7倍,GPU記憶體寬頻提升1.5倍。Amazon EC2 P5e非常適用於複雜的大型語言模型(LLM)和多模態基礎模型(FM)的訓練、微調和推理,用於支援最苛刻和計算密集型的生成式AI應用,如問答、程式碼生成、影片和影像生成、語音識別等。
Amazon EC2 P5e例項提供8個英偉達H200 GPU,具有1128GB高頻寬GPU記憶體,同時提供第三代AMD EPYC處理器,2TB系統記憶體和30TB本地NVMe儲存。Amazon EC2 P5e例項還提供 3,200 Gbps的聚合網路頻寬並支援GPUDirect RDMA,從而能夠繞過CPU進行節點間通訊,實現更低的延遲和高效的橫向擴充套件效能。Amazon EC2 P5e例項具有的更高的記憶體頻寬、更大的GPU記憶體容量和對更大的batch sizes的支援,從而顯著提升客戶工作負載的效能、降低成本並簡化運營。
Amazon EC2 P5e例項現已可透過Amazon EC2 Capacity Block for ML工具訪問並在美國東部(俄亥俄州)區域正式可用。
此外,亞馬遜雲科技還宣佈將推出Amazon EC2 P5en例項,透過將英偉達H200 GPU與定製的第四代英特爾Xeon可擴充套件處理器相結合支援PCle Gen5,將提供高達四倍的CPU和GPU之間的頻寬,降低網路延遲,進一步提高工作負載效能。