EMR:一體化Hadoop雲上工作平臺
Hadoop生態體系日臻完善,如何利用Hadoop生態各項技術與阿里雲更好的服務於企業。EMR最新發布的工作流管理、彈性伸縮、異構計算多項功能,更好的助力使用者在阿里雲上利用Hadoop、Spark生態體系解決企業大資料問題。
EMR資料開發工作臺(提升開發工程師開發效率,在作業量大的情況下,效能更加明顯,競標的產品是騰訊大資料開發套件)
EMR資料開發工作臺整合了作業編輯、工作編輯和臨時查詢等功能,能更好的滿足使用者雲上離線資料處理、資料分析和探索挖掘等場景。主要特點在於:
-
支援多樣化的大資料作業,支援shell,Hive,MapReduce,Spark,SparkStreaming等多種離線,實時型別作業,企業資料開發人員可線上編輯,除錯。
-
更低的資料開發門檻,使用者透過拖拽式的大資料開發完成資料的接入,相較於Oozie、Azkaban等開源解決方案,運營人員,資料科學家可以更直觀的進行大資料開發。
-
互動式資料探索,為使用者提供互動式Hive、SparkSQL查詢、分析,快速提取海量資料價值。
叢集彈性伸縮
EMR彈性伸縮能更好的縫合公有云計算資源彈性和Hadoop生態體系開放的兩大優勢,實現計算資源根據叢集繁忙程度彈性伸縮,幫助企業降低Hadoop資源的使用成本。
-
定時擴縮容叢集,使用者設定在制定時間對叢集進行擴容、縮容,滿足日報、週報、月報等需臨時追加計算資源的場景。
-
支援多種ECS例項,受ECS庫存影響,彈性伸縮會由於庫存不足造成執行失敗,為提升伸縮動作執行成功機率,彈性伸縮可同時支援多種ECS例項,且能一次性把儘量多的庫存資源全部買出,保證叢集資源。
EMR Learning
深度學習、AI以成為目前炙手可熱的詞彙,EMR Learning將深度學習和開源大資料技術深度結合,提供一體化的大資料+深度學習服務。利用一個叢集,構建企業資料湖,同時進行機器學習和深度學習。
-
支援ECS CPU+GPU的異構計算,透過Hadoop YARN排程叢集GPU資源
-
支援Horvod,TensorFlow,SparkML等計算框架,一個叢集內進行機器學習和深度學習。
-
可採用PS、MPI等資料通訊模式,解決深度學習的通訊瓶頸
-
支援Docker,Muti-Env多執行環境隔離
瞭解更多大資料家族產品詳情,歡迎點選:
點選觀看大資料家族產品釋出會:
【阿里雲新品釋出】開啟新一代資料智慧開發之路:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2213643/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 觀點:Gartner只是否定Hadoop一體化平臺模式Hadoop模式
- Swift在GAIA平臺雲端一體化的探索SwiftAI
- 如何構建線上線下一體化 AI PaaS 平臺AI
- 如何構建線上線下一體化AI PaaS平臺AI
- 使用 Alluxio 最佳化 EMR 上 Flink JoinUX
- 聚焦邊緣計算場景,打造雲邊端一體化容器雲平臺
- Apifox免費版,一體化優化平臺API優化
- 供給雲SAAS平臺軟體構建一體化的數字運營
- 手自一體化的移動雲測試平臺建設方案
- 能否利用Hadoop搭建完整的雲端計算平臺Hadoop
- Apsara Stack 技術百科|雲+應用一體化混合雲全景智慧化監控平臺
- 面向推理訓練一體化的 MNN 工作臺
- 智慧能源一體化管控平臺
- 正規實體上平臺可以實體的靠譜平臺
- 體育線上平臺 - 體之美
- EMR重磅釋出智慧運維診斷系統(EMR Doctor)——開源大資料平臺運維利器運維大資料
- Flutter + Dart三端一體化動態化平臺實踐FlutterDart
- Hadoop - 企業級大資料管理平臺CDH(介紹和準備工作)Hadoop大資料
- 迷你臺-最好的線上體育分享平臺
- 1.搭建Hadoop實驗平臺Hadoop
- 雲上突圍,揭秘DevOps平臺新玩法dev
- 雲上的移動效能測試平臺
- [譯] Airflow: 一個工作流程管理平臺AI
- SQL on Hadoop在快手大資料平臺的實踐與優化SQLHadoop大資料優化
- 離線實時一體化數倉與湖倉一體—雲原生大資料平臺的持續演進大資料
- 自媒體管理平臺,一鍵管理自媒體平臺賬號
- 大資料平臺Hadoop叢集搭建大資料Hadoop
- 大資料和Hadoop平臺介紹大資料Hadoop
- Hadoop大資料平臺之HBase部署Hadoop大資料
- Hadoop大資料平臺之Kafka部署Hadoop大資料Kafka
- 如何在SAP雲平臺上使用MongoDB服務MongoDB
- SAP雲平臺上的SSO Principal Propagation設定
- 線上教育平臺搭建具體步驟
- SOFAStack 背後的實踐和思考|新一代分散式雲 PaaS 平臺,打造企業上雲新體驗AST分散式
- 雲平臺是什麼?知名雲平臺有哪些?
- 基於 Kubernetes 的企業級大資料平臺,EMR on ACK 技術初探大資料
- 智慧物流 3D 視覺化——構建一體化監管平臺3D視覺化
- 技術揭秘 | 阿里雲EMR StarRocks 線上釋出會預約開啟!阿里