始於2012年的亞馬遜雲科技re:Invent全球大會,一直是全球雲端計算領域的行業風向標。2021年進入re:Invent的第十個年頭,亞馬遜雲科技的風頭不減,再次以大量的創新驚豔業界,讓人目不暇接。綜觀2021 re:Invent的新技術和產品釋出,可以看到雲端計算髮展的五個顯著趨勢。
【2021 re:Invent觀察之一】自研晶片成就亞馬遜雲科技的算力優勢
在re:Invent上,亞馬遜雲科技重磅推出了三項自研底層技術。
新推出自研通用計算處理器。亞馬遜雲科技宣佈新一代基於Arm的自研CPU處理器Amazon Graviton3。這是亞馬遜雲科技自研設計的第三顆CPU處理器。
由Amazon Graviton3處理器支援的C7g例項與由 Graviton2 處理器支援的當前一代 C6g 例項相比,可將計算密集型工作負載效能提高多達25%。Amazon Graviton3處理器與Graviton2相比,為科學計算、機器學習和媒體編碼工作負載提供高達2倍的浮點運算效能,為加密工作負載速度提升高達2倍,為機器學習工作負載提供高達3倍的效能。
Amazon Graviton3處理器的能效也更高,在相同效能下,與同型別EC2例項對比,可節省高達60%的能源消耗。C7g例項是雲中第一個採用最新DDR5記憶體的例項,與基於Amazon Graviton2的例項相比,它提高了50%的記憶體頻寬,從而提高了科學計算等記憶體密集型應用的效能。
與基於Amazon Graviton2的例項相比,C7g例項的網路頻寬也高出20%。C7g 例項支援 Elastic Fabric Adapter (EFA),允許應用程式直接與網路介面卡通訊,提供更低且更一致的延遲,提高需要大規模並行處理(如高效能運算和視訊編碼)的應用程式的效能。
中橋調研諮詢(Sino-bridges)首席分析師王叢指出:“5G和IoT的加速對於低能耗高效能AI推理算力提出新需求。亞馬遜雲科技剛剛釋出的Amazon Graviton3讓例項效能在上代Amazon Graviton2基礎上進一步提升20%, 能耗效率提高60%。對於中國使用者,不僅加快AI資源和AI創新能力的適配效率,同時,能夠支援持續技術升級,優化AI/ML的長期投資保護。”
新推出自研機器學習訓練晶片。亞馬遜雲科技去年re:Invent 上宣佈研製機器學習訓練晶片Amazon Trainium,在今年的re:Invent上宣佈提供基於Trainium的例項。
由Amazon Trainium晶片支援的Trn1例項為在Amazon EC2中進行深度學習模型訓練提供最佳價效比以及最快的訓練速度,與P4d例項相比,通過Trn1例項訓練深度學習模型的成本降低多達40%。Trn1例項提供800Gbps EFA網路頻寬(比最新基於GPU的EC2例項高兩倍),並與Amazon FSx for Lustre高效能儲存整合,讓客戶可以啟動具有EC2 UltraClusters功能的Trn1例項。通過EC2 UltraClusters,開發人員可以將機器學習訓練擴充套件到一萬多個與 PB 級網路互連的 Trainium 加速器,讓客戶按需訪問超算級效能,即便是最大型和最複雜的模型,訓練時間也可以從幾個月縮短到幾天。
弗若斯特沙利文(Frost & Sullivan)諮詢總監李慶評論說:“對於亞馬遜雲科技釋出的兩款定製晶片,我並不認為其核心目的是為了與傳統晶片廠商進行競爭。按照亞馬遜雲科技一貫以使用者需求為先的準則,兩款晶片的釋出也是自下而上的需求所致,兩大核心使用者需求首先是效能、其次是成本。目前對於計算場景的應用複雜程度已經倒逼晶片處理效能的提升。多重負載,尤其是在機器學習方面,晶片效能直接制約了演算法的應用,而在這方面亞馬遜雲科技有先天的優勢,批量資料處理,以及各類演算法模型的積累都為自研新一代晶片提供了紮實的基礎。與現有的雲服務一起打包軟硬一體的方案推向使用者顯然是可行的。但的確也對使用者提出了更大的挑戰,要重新調整原先軟體的架構適配新型晶片。所以比起對過去傳統業務的調整,更多的使用者應該是在新業務場景下的全新部署。當然相對應的亞馬遜雲科技應該也會陸續釋出相關產品協助使用者實現新舊的遷移或者聯動。”
新推出自研固態硬碟。亞馬遜雲科技還發布了採用全新Amazon Nitro SSD固態硬碟的Im4gn/Is4gen/ I4i例項,可為I/O密集型工作負載提供超高儲存效能。通過自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i例項提供高達 30 TB 的 NVMe 儲存,與上一代I3例項相比,I/O 延遲降低了 60%,延遲可變性降低了 75%,從而最大限度地提高了應用程式效能。Amazon Nitro SSD通過優化儲存堆疊、虛擬化管理程式和硬體與Amazon Nitro 系統緊密整合。與使用商用SSD相比,亞馬遜雲科技同時管理Amazon Nitro SSDs的硬體和韌體,使SSD更新交付速度更快,讓客戶可以從改進的功能中獲益。Im4gn 例項(現已可用)採用 Amazon Graviton2 處理器,與 I3 例項相比,價效比提高多達 40%,每 TB儲存成本降低多達 44%。Is4gen 例項(現已可用)也採用 Amazon Graviton2 處理器,與 I3en 例項相比,每 TB 儲存成本降低多達 15%,計算效能提高多達 48%。
亞馬遜雲科技執行長 Adam Selipsky 表示,“儘管我們已經如此努力地創新,我們依然意識到,如果希望針對所有可能的工作負載徹底變革計算的價效比,我們需要徹底重新思考例項。為了實現這個目的,我們需要深入底層技術,一直到晶片。因此,我們開始自己設計基於Arm的晶片。”
加大底層技術自研,對亞馬遜雲科技在這樣的領先者來說,其意義在於實現“我有人無,人有我優”。縱觀雲端計算業界,基礎設施服務成為所有云服務商的基礎服務,未來制勝的關鍵在於,誰能以更高的效能、更高的效率、更低的成本、更低的能耗提供這些服務。
【2021 re:Invent觀察之二】大雲無疆,無限擴充
作為全球覆蓋超級廣泛的雲,亞馬遜雲科技基礎設施遍及25個地理區域的81個可用區,並計劃新建9個區域和27個可用區,有14個本地擴充套件區域、17個Wavelength區域,有108個Direct Connect光纖直連站點,有310個邊緣站點和13個區域快取站點。
在此基礎上,亞馬遜雲科技宣佈,2022年將在21個國家建設超過30個本地擴充套件區,讓客戶以更低的延遲服務其終端使用者。亞馬遜雲科技2020年開始在美國建立了兩個本地擴充套件區,2021年增加了12個本地擴充套件區。2022年,建立本地擴充套件區的步伐將進一步加大。
不僅如此,亞馬遜雲科技還通過一系列技術,將雲延伸到亞馬遜雲科技的基礎設施之外,包括Amazon Outposts、IoT 服務、Snow 家族服務,一直延伸到 Amazon Ground Station,讓雲擴充套件到了太空的衛星資料。Outposts將亞馬遜雲科技的雲體驗延伸到客戶的本地資料中心,跟雲端無縫連線。IoT服務、Snow家族將雲的能力延伸到地球上各個角落。 Amazon Ground Station是衛星地面站服務,通過衛星地面站接收資料到亞馬遜雲科技區域進行處理。
亞馬遜雲科技推出新的託管服務Amazon Private 5G,則是讓企業方便利用5G專網來連線企業內的聯網感測器和邊緣裝置,並且通過亞馬遜雲科技控制檯統一管理。
亞馬遜雲科技還發布了新服務Amazon Cloud WAN,將亞馬遜雲科技全球網路的優勢帶給企業,讓企業的廣域網跟雲融為一體。
Amazon Cloud WAN讓企業可以在全球的亞馬遜雲科技廣域網路上建立、管理統一的雲網路和監控全球流量。所有的遠端使用者和站點以及資料中心將使用 VPN 或直接連線到地理位置最近的地方,實際上在幾分鐘內亞馬遜雲科技就可以構建一個全球化網路服務。
【2021 re:Invent觀察之三】一切為資料服務,資料創造價值
在re:Invent 全球大會上,亞馬遜機器學習副總裁 Swami Sivasubramanian的主題演講以《如何通過資料與人工智慧進行創新》為題。Swami 指出,“資料是推動洞察的潛在力量,有助於更好地開展業務。”他列舉了飛利浦醫療、納斯達克等多種大資料的例子,”從大資料走向海量非結構化資料,事實上80%的資料是非結構化的。”
亞馬遜雲科技為資料服務提供了完整的、端到端的工具,從資料儲存、到計算、分析、人工智慧創新。利用廣泛而深入的雲服務,憑藉在資料領域的產品創新與前瞻眼光,亞馬遜雲科技將助力企業實施現代化的端到端資料戰略,實現資料驅動的創新。
現代端到端資料戰略有三個要素:
- 資料架構現代化。不同的場景需要使用專門構建的工具,專門的工具需要專業的現代化託管平臺,在這方面,亞馬遜擁有無與倫比的成熟度和經驗。
在已經很豐富的資料服務組合之上,亞馬遜雲科技又釋出多個資料工具。
Amazon DevOps Guru for RDS是一個資料庫效能工具,它利用機器學習,可以在幾分鐘內自動檢測、診斷和解決難以發現的資料庫效能問題。
Amazon RDS Custom 提供了 SQL Server支援,它通過託管式服務節省時間,幫助實現自動化版本維護與補丁升級,將寶貴的資源專注於更重要的業務。
另外一個重要的釋出是Amazon Dynamodb 的新功能Standard-Infrequent Access表類,它可以將不頻繁訪問的表資料進行分類,DynamoDB 的儲存成本降低60%。
Amazon Database Migration Service Fleet Advisor 是一個資料庫遷移工具,它可以幫助客戶選擇最佳可用的計算例項和配置,用以部署機器學習模型,獲得最佳的推理效能和成本,並且將過去數週才能完成的工作縮短到數小時。
- 統一分析資料。通過雲上專門工具實現資料有機整合與統一,助力企業打破資料孤島。
通過在亞馬遜雲科技上執行的資料湖,能夠收集、儲存和分析來自一系列分散系統的資料,助力業務發展。
亞馬遜雲科技為在 Amazon S3 上構建資料湖提供了無與倫比的耐用性、可用性和可擴充套件性,以及強大的安全性和分析工具,使用亞馬遜雲科技最新發布的資料湖構建工具,可以快速構建適合的資料湖,Amazon Athena 提供了一種有用的方法來分析所有資料,獲得見解。
利用 Amazon QuickSight Q,客戶可以快速、輕鬆地獲得答案,所有使用者無需培訓即可訪問 BI。
- 基於資料進行業務創新。幫助資料進行創新的核心是“從客戶角度出發”,企業植根於自身業務的創新訴求是創新的原動力,而人工智慧等技術為創新提供了手段與方法。
本次re:Invent,亞馬遜雲科技業界聞名的機器學習平臺Amazon SageMaker又添六項新功能。
亞馬遜雲科技新推出的Amazon SageMaker Ground Truth Plus,讓使用者無需編寫任何程式碼即可快速交付高質量的訓練資料集。資料是機器學習的燃料。不過,準備資料的過程令人沮喪甚至令人憤怒。有了這項新功能,極大地解決了資料科學家準備資料的痛點問題。
在模型構建與演算法編寫環節,新推出的Amazon SageMaker Studio Notebook 允許使用者訪問廣泛的資料來源,在一個記事本中執行資料工程、分析和機器學習工作流。
新推出的Training Compiler 模型訓練編譯器,讓機器學習模型培訓速度提高50%。Inference Recommender 模型推理推薦程式,可將部署時間從數週減少到數小時。Serverless Inference 無伺服器推理,通過按使用付費的定價降低擁有成本。
【2021 re:Invent觀察之四】千方百計降低門檻,讓更多人用雲端計算進行業務創新
為了幫助客戶最大限度實現資料價值,亞馬遜雲科技千方百計降低資料使用的門檻。無論是開發人員、運維人員、資料科學家、行業使用者,還是即將進入雲端計算行業的初學者,亞馬遜雲科技都在不斷推出新的服務和功能,降低他們的使用門檻。
本次re:Invent上推出的很多新服務和新功能都具有這樣的意圖。前面介紹的QuickSight Q是一個例子。新推出的Amazon SageMaker Canvas又是另一個例子。它讓業務分析師能夠使用點選式介面生成更準確的機器學習預測,從而擴充套件了對機器學習的訪問,無需編碼。
IDC中國助理研究總監盧言霞指出:“在大資料方面,亞馬遜雲科技在資料融合、統一治理等方面幫助使用者管理數字化旅程,並加速將機器學習和人工智慧加入到資料旅程。在機器學習方面,釋出了Amazon SageMaker Canvas,無需程式碼,通過簡單點選即可完成整個機器學習工作流,值得沒有技術背景的分析師,以及聚焦業務分析層面但希望實時資料洞察的分析人群關注。”
新發布的Amazon SageMaker Studio Lab 是一項免費、無需配置的服務,開發者、學者和資料科學家,只要有創新的想法,立即就可以動手實踐機器學習。它也讓客戶將能夠專注於實踐機器學習與資料科學,無需設定或配置任何環境與機器。
為了將機器學習能力交到更多的人手中,亞馬遜雲科技還將通過DeepRacer冠軍盃賽、培訓與認證、機器學習大學、機器學習奈米學位等專案,計劃到 2025 年全球培訓 2900 萬人。
亞馬遜雲科技也宣佈了1000萬美元亞馬遜雲科技人工智慧和機器學習獎學金(Amazon AI & ML Scholarship),用於獎勵全球範圍內弱勢群體和服務設施欠缺地區的學生,幫助他們做好準備,在未來從事機器學習相關工作。
艾瑞諮詢研究副總監王成峰認為,此次re:Invent大會一如既往地體現了亞馬遜雲科技的卓越創新力和以客戶需求為導向的產品研發能力,場景賦能更加多元化、精益化,並致力於數字技術紅利的“普惠化”,面向更多非IT人群的終端應用,令人印象深刻。
【2021 re:Invent觀察之五】低碳環保提上雲開發者的議事日程
在re:Invent上,亞馬遜CTO Werner Vogels釋出了亞馬遜雲科技架構完善(Well Architecture) 的第六個支柱:可持續發展,倡導用環保的最佳實踐來學習、測量、改進雲端計算工作負載。
亞馬遜雲科技架構完善是一個設計和評估雲上架構的參考設計,旨在幫助雲架構師為應用程式和工作負載構建安全、高效能、高效的彈性基礎設施。AWS 架構完善的框架最初只是一個白皮書,現在已經發展成為一整套方法體系,包括特定於域的詳解、動手實驗和 AWS 架構完善工具。
亞馬遜雲科技架構完善的框架為客戶和合作夥伴提供了一致性的方法,供他們評估架構,實施能夠在使用中擴充套件的設計。
此前,亞馬遜雲科技架構完善有卓越運營、安全性、可靠性、效能效率、成本優化五個支柱。現在增加了可持續發展作為第六個支柱。
在亞馬遜雲科技的倡導下,越來越多的構建者在構建雲上應用時,將把低碳環保作為衡量因素,不是一味追求最高效能、最低延時、最高畫質等等,而是在低碳環保跟效能、延時、畫質等因素做一個最佳的平衡。
亞馬遜雲科技還提出了可持續發展的責任共擔模式:亞馬遜雲科技負責雲本身的可持續性,客戶要承擔在雲上應用的可持續性。
亞馬遜雲科技義不容辭地為地球的可持續發展承擔責任。
科學家指出,全世界需要在 2050 年前將全球變暖限制在 1.5 攝氏度以內,時間非常緊迫,必須取得前所未有的進展。為了推動集體的跨部門行動,應對氣候危機,由亞馬遜和Global Optimism共同發起了《氣候宣言》,呼籲簽約各機構採取緊急行動,在 2040 年前實現淨零碳排放,提前十年達成《巴黎協定》目標。亞馬遜以身作則,承諾到 2030 年100% 使用可再生能源為公司運營提供動力。現在,亞馬遜將計劃再次提速,希望到 2025 年實現這一目標。
全球權威調研機構——451 Research 的研究結果,亞馬遜雲科技運營的基礎設施能源效率,是受調查的美國企業資料中心中位數的 36 倍。進一步調查來自法國、德國、愛爾蘭、西班牙和瑞典各行各業的 300 多家公司。研究發現,亞馬遜雲科技的資料中心能源效率比普通歐盟公司高出 5 倍。在亞馬遜雲科技執行商業應用的公司,可以減少近80%的能源消耗。如果將 1 兆瓦的典型工作負載轉移到 亞馬遜雲科技,每年可以減少1000多公噸的碳排放。
現在,亞馬遜雲科技希望利用自身在雲端計算領域的優勢,倡導雲上應用的可持續發展,為應對全球氣候變暖做出貢獻。
對於可持續發展,亞馬遜雲科技效用計算和應用程式高階副總裁Peter DeSantis說過,“最綠色的能源就是你沒有使用的資源。通往綠色雲的道路就在面前,我們得一起朝著這個目標努力。”
亞馬遜雲科技還將推出一個碳足跡工具,幫助客戶在雲端追蹤應用的碳排放足跡,讓雲上的低碳環保變得可衡量,以便更多的開發者和企業加入到低碳環保的行列中來。