作者：Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan
2022 年 4 月 18 日
今天，我們很高興地宣佈 Databricks 對基於 AWS Graviton2 的亞馬遜彈性計算雲（Amazon EC2）例項的支援的公開預覽。Graviton 處理器由 AWS 進行定製設計和優化，為執行在 Amazon EC2 上的雲工作負載提供最佳價效比。當與高效能 DataRicks 查詢引擎 Photon一起使用時，基於 Graviron2 的亞馬遜 EC2 例項可以為您的 data lakehouse 工作負載提供比同類亞馬遜 EC2 例項高 3-4 倍的價效比。在這篇博文中，我們將介紹 Photon 與 Graviton2的價效比，併為您提供進一步降低 AWS 基礎設施成本的其他建議。
Photon 和 Graviton2 的價效比
為了確定 Photon 和 Graviton2 的價效比，我們在基於 Graviton2 的 R6gd EC2 例項和類似的 I3 EC2 例項上進行了一個簡單測試，執行兩種不同的工作負載（TPC-DS 和帶有批量插入和合並語句的標準 ETL 工作負載）。我們發現，對於 EC2 例項，僅 Photon 引擎就顯著提高了價效比。但基於 Graviton2 的例項上的 Photon 更進一步，與 I3 例項上以前的 Databricks 執行時相比，ETL 工作負載的價效比提高了 3.3 倍，TPC-DS 工作負載的價效比提高了 3.7 倍。嘗試基於 Graviton2 例項的客戶報告了類似的結果，並分享了我們的興奮！下面是一位 Databricks 客戶的一句話，他碰巧對基於例項的 Arm 瞭如指掌。
Arm 生產力工程業務副總裁 Mark Galbraith 說：“雲端計算正在推動半導體設計領域的重大創新，通過將我們的設計工作量轉移到基於 Arm 的 AWS Graviton2 例項上，提供顯著的價效比提升，我們親眼看到了 Arm Neoverse N1 平臺帶來的好處。”。“這一點對於 Graviton 2 上的 Databricks 尤為明顯，我們期待著將 Databricks 的生產使用遷移到 Graviton 2 上，以進一步增強使用者體驗並降低成本。”
Photon 和 Graviton2 的價效比比較
通過 Amazon EC2 Spot 例項和 Amazon EBS gp3 卷支援，進一步節約了成本
除了 Graviton2 和 Photon 之外，還有其他方法可以提高 AWS 上 Databricks 工作負載的價效比。這些措施包括：
Amazon EC2 Spot Instances–Spot Instances 可讓您充分利用 EC2 的閒置容量，與按需價格相比，可享受高達 90% 的折扣。根據工作負載的性質，您可以使用 Spot 例項替換 DataRicks 叢集中的按需或保留 EC2 例項，從而節省成本。
Amazon EBS gp3 卷——儲存可能是雲基礎設施成本的一大部分。Databricks 支援 gp3 卷（https://databricks.com/blog/2...）。Amazon Elastic Block Store（Amazon EBS）的 gp3 SSD 卷使您能夠提供獨立於儲存容量的效能，每 GB 的價效比比現有的 gp2 卷高 20%。
要了解有關價效比優化的更多資訊，請閱讀我們的群集最佳實踐文件。
（https://docs.databricks.com/c...）
從Graviton開始
基於 AWS Gravion2 的公共預覽例項支援目前正在推出，並將在未來幾周在所有受支援的地區提供。要開始並獲得遷移到 Graviton 2 和 Photon 的指導，請閱讀我們的 Graviton 文件（https://docs.databricks.com/c...）。
