今天,我們很高興地宣佈 Databricks 對基於 Amazon Graviton2 的亞馬遜彈性計算雲(Amazon EC2)例項的支援的公開預覽。Graviton 處理器由亞馬遜雲科技進行定製設計和最佳化,為執行在 Amazon EC2 上的雲工作負載提供最佳價效比。當與高效能 DataRicks 查詢引擎 Photon一起使用時,基於 Graviron2 的亞馬遜 EC2 例項可以為您的 data lakehouse 工作負載提供比同類亞馬遜 EC2 例項高3-4倍的價效比。在這篇博文中,我們將介紹 Photon 與 Graviton2的價效比,併為您提供進一步降低亞馬遜雲科技基礎設施成本的其他建議。
亞馬遜雲科技開發者社群為開發者們提供全球的開發技術資源,這裡有技術文件、開發案例、技術專欄、培訓影片、活動與競賽等。幫助中國開發者對接世界最前沿技術,觀點,和專案,並將中國優秀開發者或技術推薦給全球雲社群。如果你還沒有關注/收藏,看到這裡請一定不要匆匆劃過,點這裡讓它成為你的技術寶庫! |
Photon 和 Graviton2 的價效比
為了確定 Photon 和 Graviton2 的價效比,我們在基於 Graviton2 的 R6gd EC2 例項和類似的 I3 EC2 例項上進行了一個簡單測試,執行兩種不同的工作負載(TPC-DS 和帶有批次插入和合並語句的標準 ETL 工作負載)。我們發現,對於 EC2 例項,僅 Photon 引擎就顯著提高了價效比。但基於 Graviton2 的例項上的 Photon 更進一步,與 I3 例項上以前的 Databricks 執行時相比,ETL 工作負載的價效比提高了3.3倍,TPC-DS 工作負載的價效比提高了3.7倍。嘗試基於 Graviton2 例項的客戶報告了類似的結果,並分享了我們的興奮!下面是一位 Databricks 客戶的一句話,他碰巧對基於例項的 Arm 瞭如指掌。
Arm 生產力工程業務副總裁 Mark Galbraith 說:“雲端計算正在推動半導體設計領域的重大創新,透過將我們的設計工作量轉移到基於 Arm 的 Amazon Graviton2 例項上,提供顯著的價效比提升,我們親眼看到了 Arm Neoverse N1 平臺帶來的好處。”。“這一點對於 Graviton 2 上的 Databricks 尤為明顯,我們期待著將 Databricks 的生產使用遷移到 Graviton 2 上,以進一步增強使用者體驗並降低成本。”
Photon 和 Graviton2 的價效比比較
透過 Amazon EC2 Spot 例項和 Amazon EBS gp3 卷支援,進一步節約了成本
除了 Graviton2 和 Photon 之外,還有其他方法可以提高 Amazon Web Services 上 Databricks 工作負載的價效比。這些措施包括:
Amazon EC2 Spot Instances–Spot Instances 可讓您充分利用 EC2 的閒置容量,與按需價格相比,可享受高達 90% 的折扣。根據工作負載的性質,您可以使用 Spot 例項替換 DataRicks 叢集中的按需或保留 EC2 例項,從而節省成本。
Amazon EBS gp3 卷——儲存可能是雲基礎設施成本的一大部分。Databricks 支援 gp3 卷(https://databricks.com/blog/2...)。Amazon Elastic Block Store(Amazon EBS)的 gp3 SSD 卷使您能夠提供獨立於儲存容量的效能,每 GB 的價效比比現有的 gp2 卷高20%。
要了解有關價效比最佳化的更多資訊,請閱讀我們的群集最佳實踐文件。
(https://docs.databricks.com/c...)
從 Graviton 開始
基於 Amazon Gravion2 的公共預覽例項支援目前正在推出,並將在未來幾周在所有受支援的地區提供。要開始並獲得遷移到 Graviton 2 和 Photon 的指導,請閱讀我們的 Graviton 文件
(https://docs.databricks.com/c...)
作者:Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan