cloudera learning7:Hadoop資源管理
Linux Control Groups(cgroups):在作業系統級別進行資源分配,可透過Cloudera Static Service Pools配置。
YARN排程器配置:對執行在YARN上的應用進行資源配置,比如M/R,implala。可透過Cloudera 動態資源池進行配置。
以下資源可以透過cgroups配置進行限制:
Memory Hard Limit
– If a process exceeds this limit, the kernel swaps out some of the process’s memory; if it cannot do so, the process will be killed
Memory Soft Limit
– When memory contenFon exists on the host, the OS targets the process to not exceed this limit
CPU Shares
– When CPU contenFon exists on the host, processes with higher CPU shares will be given more CPU time
I/O Weight
– Specify the proportion of I/O access available to the read requests performed by a process
透過YARN進行資源配置:
YARN scheduler決定何時何處給應用分配Containers,Containers被賦予memory,CPU等資源。
YARN支援的scheduler型別:
1.FIFO Scheduler:先進先出排程器,基於時間順序分配資源。
2.Capacity Scheduler:資源分配到資源池,各資源池中採用FIFO分配資源。
3.Fair Scheduler(default,recommend):公平排程器。資源分配到帶有權重的資源池。各資源池之間按權重分配資源。
YARN排程器屬性配置:yarn.resourcemanager.scheduler.class。
YARN Container資源分配:
mapreduce.map.memory.mb :Map task記憶體分配,CM default 1G。
Calculate the resources needed for other processes:
– Reserve 3GB or 20% of total memory for the OS
– Reserve resources for any non-Hadoop applicaFons
– Reserve resources for other any Hadoop components
– HDFS caching (if configured), NodeManager, DataNode
– Impalad, HBase RegionServer, Solr, etc.
Configure the YARN scheduler and application framework settings
– Based on the worker node profile determined above
– Determine the number of containers needed to best support YARN applicaFons based on the type of workload
– Monitor usage and tune estimated values to find optimal settings
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26613085/viewspace-2152741/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Apache Hadoop管理認證培訓(Cloudera)ApacheHadoopCloud
- Cloudera hadoop認證總結CloudHadoop
- 建立本地yum軟體源,為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做準備PackageCloudHadoop
- Hadoop將死?Cloudera CEO怒懟GartnerHadoopCloud
- Hadoop哪家強?Hortonworks、Cloudera、MapR案例集錦HadoopCloud
- hadoop之旅4-centerOS7: hadoop配置yarn資源管理器HadoopROSYarn
- Hadoop 系列(二)—— 叢集資源管理器 YARNHadoopYarn
- Cloudera Certified Administrator for Apache Hadoop(CCAH認證)CloudApacheHadoop
- 透過Docker快速部署啟動Apache Hadoop及ClouderaDockerApacheHadoopCloud
- Hadoop 三劍客之 —— 叢集資源管理器 YARNHadoopYarn
- 不可不知的資源管理排程器Hadoop YarnHadoopYarn
- hadoop 1.X資源管理機制缺陷分析和解決方案Hadoop
- Hadoop多使用者資源管理–Fair Scheduler介紹與配置(Yarn)HadoopAIYarn
- Cloudera和Hortonworks宣佈合併:對Hadoop的一記重創!CloudHadoop
- Webpack資源管理Web
- Cloudera編譯好的各種hadoop,oozie等元件壓縮包URLCloud編譯Hadoop元件
- 學習三:基於Hadoop的Cloudera CDH3平臺安裝HadoopCloud
- 一、hadoop生態圈搭建(資源)Hadoop
- 專案資源管理
- 多專案管理-資源管理(3)專案管理
- 多專案管理-資源管理(2)專案管理
- 多專案管理-資源管理(1)專案管理
- Cloudera的介紹Cloud
- 大資料:CDH和Cloudera Express的介紹大資料CloudExpress
- hadoop(5)--NameNode後設資料管理(2)Hadoop
- 【資源管理器】資源使用者組、資源計劃、資源計劃指令
- webpack 靜態資源管理Web
- nginx連線資源管理Nginx
- 怎樣做好IT資源管理?
- Azure RBAC管理ASM資源ASM
- Oracle 資源管理(resource manager)Oracle
- 【13】以物件管理資源物件
- Oracle資源管理器Oracle
- Windows 98 資源管理(轉)Windows
- 資源又不足?專案資源該如何有效管理?
- 分享Cloudera大資料培訓課程的資訊Cloud大資料
- hadoop(7)–下載資料來源碼解析(上)Hadoop
- 基於hadoop_yarn的資源隔離配置HadoopYarn