EMR:一體化Hadoop雲上工作平臺
Hadoop生態體系日臻完善,如何利用Hadoop生態各項技術與阿里雲更好的服務於企業。EMR最新發布的工作流管理、彈性伸縮、異構計算多項功能,更好的助力使用者在阿里雲上利用Hadoop、Spark生態體系解決企業大資料問題。
EMR資料開發工作臺(提升開發工程師開發效率,在作業量大的情況下,效能更加明顯,競標的產品是騰訊大資料開發套件)
EMR資料開發工作臺整合了作業編輯、工作編輯和臨時查詢等功能,能更好的滿足使用者雲上離線資料處理、資料分析和探索挖掘等場景。主要特點在於:
-
支援多樣化的大資料作業,支援shell,Hive,MapReduce,Spark,SparkStreaming等多種離線,實時型別作業,企業資料開發人員可線上編輯,除錯。
-
更低的資料開發門檻,使用者透過拖拽式的大資料開發完成資料的接入,相較於Oozie、Azkaban等開源解決方案,運營人員,資料科學家可以更直觀的進行大資料開發。
-
互動式資料探索,為使用者提供互動式Hive、SparkSQL查詢、分析,快速提取海量資料價值。
叢集彈性伸縮
EMR彈性伸縮能更好的縫合公有云計算資源彈性和Hadoop生態體系開放的兩大優勢,實現計算資源根據叢集繁忙程度彈性伸縮,幫助企業降低Hadoop資源的使用成本。
-
定時擴縮容叢集,使用者設定在制定時間對叢集進行擴容、縮容,滿足日報、週報、月報等需臨時追加計算資源的場景。
-
支援多種ECS例項,受ECS庫存影響,彈性伸縮會由於庫存不足造成執行失敗,為提升伸縮動作執行成功機率,彈性伸縮可同時支援多種ECS例項,且能一次性把儘量多的庫存資源全部買出,保證叢集資源。
EMR Learning
深度學習、AI以成為目前炙手可熱的詞彙,EMR Learning將深度學習和開源大資料技術深度結合,提供一體化的大資料+深度學習服務。利用一個叢集,構建企業資料湖,同時進行機器學習和深度學習。
-
支援ECS CPU+GPU的異構計算,透過Hadoop YARN排程叢集GPU資源
-
支援Horvod,TensorFlow,SparkML等計算框架,一個叢集內進行機器學習和深度學習。
-
可採用PS、MPI等資料通訊模式,解決深度學習的通訊瓶頸
-
支援Docker,Muti-Env多執行環境隔離
瞭解更多大資料家族產品詳情,歡迎點選:
點選觀看大資料家族產品釋出會:
【阿里雲新品釋出】開啟新一代資料智慧開發之路:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2213643/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 觀點:Gartner只是否定Hadoop一體化平臺模式Hadoop模式
- 高可用Hadoop平臺-Oozie工作流Hadoop
- 高可用Hadoop平臺-Oozie工作流之Hadoop排程Hadoop
- 聚焦邊緣計算場景,打造雲邊端一體化容器雲平臺
- 供給雲SAAS平臺軟體構建一體化的數字運營
- 手自一體化的移動雲測試平臺建設方案
- .NET之全平臺一體化的體驗
- 使用 Alluxio 最佳化 EMR 上 Flink JoinUX
- Apsara Stack 技術百科|雲+應用一體化混合雲全景智慧化監控平臺
- Apifox免費版,一體化優化平臺API優化
- 智慧能源一體化管控平臺
- 面向推理訓練一體化的 MNN 工作臺
- 正規實體上平臺可以實體的靠譜平臺
- 高可用Hadoop平臺-Hue In HadoopHadoop
- Swift在GAIA平臺雲端一體化的探索SwiftAI
- 雲上的移動效能測試平臺
- EMR重磅釋出智慧運維診斷系統(EMR Doctor)——開源大資料平臺運維利器運維大資料
- Flutter + Dart三端一體化動態化平臺實踐FlutterDart
- 雲平臺服務商一覽
- 高可用Hadoop平臺-探索Hadoop
- 工作總結--ESB工作平臺
- 雲上突圍,揭秘DevOps平臺新玩法dev
- 如何在SAP雲平臺上使用MongoDB服務MongoDB
- 雲平臺是什麼?知名雲平臺有哪些?
- 化工園區數字化綜合管理雲平臺整體解決方案
- 離線實時一體化數倉與湖倉一體—雲原生大資料平臺的持續演進大資料
- 如何構建線上線下一體化AI PaaS平臺AI
- 如何構建線上線下一體化 AI PaaS 平臺AI
- SOFAStack 背後的實踐和思考|新一代分散式雲 PaaS 平臺,打造企業上雲新體驗AST分散式
- 智慧公安情報資訊化作戰平臺開發,情指行一體化平臺建設
- 【雲管平臺】多雲混合雲管理平臺用哪個好?
- [譯] Airflow: 一個工作流程管理平臺AI
- 自媒體管理平臺,一鍵管理自媒體平臺賬號
- 以數字化為引領 天翼雲助力中安公司應急管理雲平臺上線
- 高可用Hadoop平臺-實戰Hadoop
- 高可用Hadoop平臺-啟航Hadoop
- 配置高可用的Hadoop平臺Hadoop
- 高可用Hadoop平臺-答疑篇Hadoop