亞馬遜雲科技推出由自研晶片支援的三款Amazon EC2新例項

• Amazon EC2 Hpc7g 例項採用最新款的 Amazon Graviton3E 處理器，為高效能運算工作負載提供極佳的價效比
• Amazon EC2 C7gn 配備新一代 Amazon Nitro ，具有增強的網路處理能力，是目前 Amazon EC2 網路最佳化型例項中，提供最高網路頻寬和資料包轉發效能的例項
• Amazon EC2 Inf2 例項，採用最新款的 Amazon Inferentia2 機器學習加速推理晶片，在 Amazon EC2 上以最低的延遲與成本，大規模地執行大型的深度學習模型

北京 2022年11月30日 /美通社/ -- 亞馬遜雲科技在 上宣佈，推出三款分別由三種新的自研晶片支援的 例項，為客戶廣泛的工作負載提供更高價效比。Hpc7g例項配備了Amazon自研的最新 Graviton3E處理器，與當前一代C6gn例項相比浮點效能提高了2倍，與當前一代Hpc6a例項相比效能提高了20%，為亞馬遜雲科技上的高效能運算工作負載提供了超高價效比。配備了新一代Amazon Nitro的C7gn例項，與當前一代網路最佳化型例項相比，為每個CPU提供了多達2倍的網路頻寬，同時將每秒資料包轉發效能提升50%，為網路密集型工作負載提供了超高的網路頻寬、資料包轉發效能和價效比。Inf2例項配備了Amazon自研的最新Inferentia2機器學習加速推理晶片，是專門為執行多達1,750億個引數的大型深度學習模型而構建的，與當前一代Inf1例項相比可提供高達4倍的吞吐量，降低多達10倍的延遲，以最低的成本為Amazon EC2上的機器學習推理提供最低延遲。

亞馬遜雲科技擁有十多年晶片設計經驗，在雲中以更低成本實現更高的效能和可擴充套件性。十多年來，亞馬遜雲科技推出了多種定製化的晶片設計，幫助客戶執行要求更高的工作負載，包括更快的處理速度、更高的記憶體容量、更快的儲存輸入/輸出（I/O）和更高的網路頻寬。亞馬遜雲科技自2013年推出Amazon Nitro系統以來，已經開發了多個自研晶片，包括五代Nitro系統、致力於為各種工作負載提升效能和最佳化成本的三代Graviton晶片、用於加速機器學習推理的兩代Inferentia晶片，以及用於加速機器學習訓練的Trainium晶片。亞馬遜雲科技在晶片設計和驗證的敏捷開發週期中使用基於雲的電子設計自動化，這使團隊能夠更快地創新，更快地將晶片提供給客戶。實踐證明，亞馬遜雲科技更現代化、更節能的半導體處理確保了晶片的快速迭代及交付。每推出一款新的晶片，亞馬遜雲科技都進一步提升了這些晶片支援的Amazon EC2例項的效能、效率以及更最佳化的成本，為客戶提供了更多的晶片和例項組合選擇，針對他們獨特的工作負載進行了最佳化。

亞馬遜雲科技Amazon EC2副總裁David Brown表示："從Graviton到Trainium、Inferentia再到Nitro，亞馬遜雲科技每一代自研晶片都為客戶的各種工作負載提供更高的效能、更最佳化的成本和更高的能效。我們不斷推陳出新讓客戶獲得卓越的價效比，這也一直驅動著我們的持續創新。我們今天推出的Amazon EC2例項為高效能運算、網路密集型工作負載和機器學習推理工作負載提供了顯著的效能提升，客戶有了更多的例項選擇來滿足他們的特定需求。"

Hpc7g 例項專為在 Amazon EC2 上大規模執行高效能運算工作負載提供超高價效比

很多領域的組織需要依靠高效能運算來解決複雜的學術、科學和商業問題。當前，眾多客戶如阿斯利康、F1一級方程式賽車、Maxar Technologies等在亞馬遜雲科技上藉助其提供的卓越的安全性、可擴充套件性和彈性，執行傳統的高效能運算工作負載，包括基因組學處理、計算流體動力學和天氣預報模擬等。工程師、研究人員和科學家使用Amazon EC2網路最佳化型例項（如C5n、R5n、M5n和C6gn）執行高效能運算工作負載，這些例項提供了近乎無限的計算能力和伺服器之間的高網路頻寬，實現數千個核心處理和交換資料。雖然這些例項的效能足以滿足目前大多數高效能運算場景，但人工智慧和自動駕駛汽車等新興應用需要高效能運算最佳化例項，可以擴充套件到數萬個甚至更多的核心，進一步解決難度係數持續增加的問題並降低高效能運算工作負載的成本。

Hpc7g例項由新的Amazon Graviton3E晶片提供支援，為客戶在Amazon EC2上的高效能運算工作負載（如計算流體動力學、天氣模擬、基因組學和分子動力學等）提供了超高的價效比。與採用Graviton2處理器的當前一代C6gn例項相比，Hpc7g例項的浮點效能提高了2倍，與當前一代Hpc6a例項相比效能提高了20%，讓客戶能夠在多達數萬個核心的高效能運算叢集中進行復雜的計算。Hpc7g例項還提供高記憶體頻寬和200Gbps的EFA （Elastic Fabric Adapter，彈性結構介面卡）網路頻寬，可以更快的執行並完成高效能運算應用。客戶可以透過開源的叢集管理工具Amazon ParallelCluster使用Hpc7g例項，與其它例項型別一起配置Hpc7g例項，這讓客戶在同一個高能性計算叢集中靈活執行不同的工作負載型別。有關高效能運算（HPC）例項的更多資訊，請訪問 。

C7gn 例項為網路密集型工作負載提供極佳效能，具有更高的網路頻寬、更高的資料包轉發效能和更低的延遲

客戶使用Amazon EC2網路最佳化型例項執行其要求極其嚴苛的網路密集型工作負載，如網路虛擬化裝置（包括防火牆、虛擬路由器和負載均衡器等）和資料加密業務等。客戶需要為這些工作負載擴充套件效能，以處理不斷增加的網路流量來應對業務高峰，或者縮短處理時間為終端使用者提供更好的體驗。當前，為獲得更多的網路吞吐量，客戶採用更大型號的例項，部署遠高於需求的計算資源，導致成本增加。這些客戶為減少資料處理時間，需要更高的資料包轉發效能、更高的網路頻寬以及更快的加密效能。

C7gn例項採用新的、具有網路加速功能的第五代Nitro，在Amazon EC2網路最佳化型例項中具有最高的網路頻寬和資料包處理效能，而且功耗更低。Nitro卡將主機CPU的I/O功能解除安裝到專門的硬體並進行加速，將Amazon EC2例項的所有資源幾乎都提供給客戶的工作負載，從而以更低的CPU利用率實現更穩定的效能。新款Amazon Nitro卡使C7gn例項的每個CPU提供高達2倍的網路頻寬，將每秒資料包處理效能提升50%，與當前一代網路最佳化型Amazon EC2例項相比，進一步降低了EFA網路延遲。與C6gn例項相比，C7gn例項提高了多達25%的計算效能及多達2倍的加密效能。第五代Nitro比第四代Nitro效能功耗比提升40%，進一步降低了客戶工作負載的能量消耗。C7gn例項透過擴充套件網路效能和吞吐量以及減少網路延遲，最佳化了客戶在Amazon EC2上要求最嚴苛的網路密集型工作負載的成本。C7gn例項目前提供預覽版，欲瞭解更多資訊，請訪問 。

Inf2 例項專為部署當今最嚴苛的深度學習模型而設計，支援分散式推理和隨機舍入演算法

為提供更好的應用或者更加定製的個性化體驗，資料科學家和機器學習工程師正在構建更大、更復雜的深度學習模型。例如，越來越普遍的超過1,000億個引數的大型語言模型（LLM），由於它們需要巨量的資料進行訓練，這推動了對計算需求的空前增長。雖然訓練備受大家關注，但在生產中執行機器學習，大部分的複雜性和成本卻在推理上（例如，每花1美元用於訓練，將有多達9美元用於推理），這限制了推理的使用並阻礙了客戶創新。客戶希望在其應用中大規模使用先進的深度學習模型，但卻受限於高額的計算成本。當亞馬遜雲科技在2019年推出Inf1例項時，深度學習模型具有數百萬個引數。此後，深度學習模型的規模和複雜性呈指數級增長，甚至有些深度學習模型的引數增長了500倍，超過了數千億。致力於使用最先進的深度學習技術，開發下一代應用的客戶，希望擁有高價效比、高能效的硬體，實現低延遲、高吞吐量的推理以及靈活的軟體的支援，讓工程團隊能夠快速大規模地部署其業務創新。

Inf2例項，配備了Amazon自研的最新款Inferentia2機器學習加速推理晶片，可以執行高達1,750億個引數的大型深度學習模型（如LLM、影像生成和自動語音檢測），同時在Amazon EC2上提供最低的單次推理成本。Inf2是第一個支援分散式推理的推理最佳化型Amazon EC2例項，該技術將大型模型分佈在多個晶片上，為引數超過1,000億的深度學習模型提供極佳效能。Inf2例項支援隨機舍入，這種以機率方式進行四捨五入的方式與傳統的四捨五入相比，能夠提供更高的效能和更高的精度。Inf2例項支援廣泛的資料型別，包括可提高吞吐量並降低了每次推理功耗的CFP8，和可提升尚未利用到低精度資料型別模組效能的FP32。客戶可以透過用於機器學習推理的統一軟體開發工具包Amazon Neuron開始使用Inf2例項。Amazon Neuron與PyTorch和TensorFlow等流行的機器學習框架整合，幫助客戶僅需少量程式碼改動就能將現有模型部署到Inf2例項。由於大型模型需要多個晶片支援，晶片之間需要實現快速通訊，Inf2例項支援亞馬遜雲科技的例項內部高速互連技術NeuronLink，提供192GB/s的環形連線。與當前一代Inf1例項相比，Inf2例項提供了高達4倍的吞吐量，降低多達10倍的延遲，與基於GPU的例項相比，它的每瓦效能提升高達45%。Inf2例項目前提供預覽版，欲瞭解更多資訊，請訪問 。

Arup（奧雅納）是一家由設計師、工程與可持續發展諮詢師、顧問和專家組成的全球性公司，致力於踐行可持續發展，並利用想象力、技術和嚴謹的態度來建造一個更美好的世界。 "我們使用亞馬遜雲科技的服務來執行高度複雜的模擬，幫助我們的客戶建造下一代高層建築、體育場館、資料中心和關鍵基礎設施，同時對影響大家生活的城市微氣候、全球變暖和氣候變化進行評估並提供洞察。" 奧雅納高階工程師Sina Hassanli博士說，"我們的客戶希望能以更低的成本進行更快、更準確的模擬，以便在開發的早期階段為其設計提供資訊。我們期待藉助更高效能的Amazon EC2 Hpc7g例項，幫助我們的客戶實現更快、更有效的創新。"

Aerospike公司的實時資料平臺旨在幫助組織構建應用程式，以打擊欺詐、支援全球數字支付、為數千萬客戶提供超個性化的使用者體驗等。 "Aerospike 實時資料平臺是一個無共享（shared-nothing）、多執行緒、多模態的資料平臺，旨在透過伺服器叢集高效執行，利用現代硬體和網路技術，為PB級資料以亞毫秒的速度提供可靠地高效能 。"Aerospike 首席產品官 Lenley Hensarling表示， "在我們最近的實時資料庫讀取測試中，我們很高興看到，採用新一代Amazon Nitro的 Amazon EC2 C7gn 例項與 C6gn 例項相比，每秒交易量顯著提升。我們期待著C7gn 例項以及未來更多亞馬遜雲科技基礎設施提升帶給我們的諸多優勢。"

Qualtrics是一家設計和開發體驗管理軟體公司。"Qualtrics的重點是藉助技術創新，縮小客戶、員工、品牌和產品之間的體驗差距。為實現這一目標，我們正在開發複雜的多工、多模態的深度學習模型，包括文字分類、序列標記、話語分析、關鍵短語提取、主題提取、聚類以及端到端對話理解等。"Qualtrics 核心機器學習負責人  Aaron Colak 表示，"隨著我們在更多應用程式中使用這些複雜的模型以及非結構化資料量不斷增長，為給客戶提供最佳體驗，我們需要像Inf2 例項這樣效能更高的推理最佳化解決方案，來滿足我們的需求。我們很高興看到新一代 Inf2 例項的推出，它不僅讓我們實現更高的吞吐量，顯著降低延遲，而且還引入了分散式推理和支援增強的動態形狀輸入等功能。隨著我們部署更大、更復雜的模型，這將能進一步滿足我們對部署的更高要求。"