hadoop之 node manager起不來, 執行mapreduce 程式hang住
現象: node manager起不來, 執行mapreduce 程式hang住
namenode 程式狀態查詢
[root@hadp-master sbin]# jps
8608 ResourceManager
8257 NameNode
9268 Jps
8453 SecondaryNameNode
datanode 程式狀態查詢 , 發現 nodemanager 沒有起來
[root@hadp-node1 hadoop]# jps
4179 DataNode
4940 Jps
namenode 單獨起 nodemanager
[root@hadp-master sbin]# yarn nodemanager
18/01/26 03:53:54 INFO webapp.WebApps: Web app node started at 8042
18/01/26 03:53:54 INFO client.RMProxy: Connecting to ResourceManager at hadp-master/10.100.25.30:8031
18/01/26 03:53:54 INFO nodemanager.NodeStatusUpdaterImpl: Sending out 0 NM container statuses: []
18/01/26 03:53:54 INFO nodemanager.NodeStatusUpdaterImpl: Registering with RM using containers :[]
18/01/26 03:53:54 ERROR nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from hadp-master doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager. ## 提示 NodeManager 記憶體不足
解決過程:
1、原虛擬機器755m記憶體,調大虛擬機器記憶體至2G
2、修改 yarn-site.xml ,新增如下引數
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>200</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>1600</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1600</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
引數 : yarn.scheduler.minimum-allocation-mb
預設 : 1024 m
官方解釋: The minimum allocation for every container request at the RM, in MBs. Memory requests lower than this will throw a InvalidResourceRequestException.
引數 : yarn.scheduler.maximum-allocation-mb
預設 : 8192 m
官方解釋: The maximum allocation for every container request at the RM, in MBs. Memory requests higher than this will throw a InvalidResourceRequestException.
引數 : yarn.nodemanager.resource.memory-mb
預設 : 8192 m
官方解釋: Amount of physical memory, in MB, that can be allocated for containers.
引數 : yarn.nodemanager.resource.cpu-vcores
預設 : 8
官方解釋: Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31383567/viewspace-2150593/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 查詢有多少JOB正在執行,程式被hang住
- 高可用Hadoop平臺-執行MapReduce程式Hadoop
- flutter專案安裝nfc_manager後專案執行不起來Flutter
- hadoop的mapreduce串聯執行Hadoop
- MacBook 電腦 nginx 執行不起來MacNginx
- MapReduce程式執行流程
- shutdown命令被job程式hang住
- Hadoop1.x MapReduce 程式執行的詳細過程Hadoop
- shutdown命令被job程式hang住(續)
- 中止程式導致系統HANG住
- Hadoop面試題之MapReduceHadoop面試題
- windows下使用Eclipse編譯執行MapReduce程式 Hadoop2.6.0/UbuntuWindowsEclipse編譯HadoopUbuntu
- 求不更學不動之Node.js多執行緒Node.js執行緒
- 執行起來很慢呀。
- MapReduce執行流程
- 如何診斷oracle資料庫執行緩慢或hang住的問題Oracle資料庫
- 在Docker容器中使用Hadoop執行Python MapReduce作業DockerHadoopPython
- Hadoop學習之YARN及MapReduceHadoopYarn
- autocommit=0引起的業務hang住 ---轉自丁奇部落格MIT
- Hadoop MapReduce之wordcount(詞頻統計)Hadoop
- MapReduce如何作為Yarn應用程式執行?Yarn
- MapReduce&&HadoopHadoop
- ros 程式碼中執行nodeROS
- 資料庫hang住,分析處理資料庫
- 使用MapReduce執行WordCount案例
- MapReduce的執行流程概述
- 併發執行hang問題
- Hadoop之MapReduce2架構設計Hadoop架構
- shell:nohup (在系統後臺不掛起地執行命令,退出終端不會影響程式的執行)
- 實戰分析一個執行起來會卡死的Go程式Go
- 關於onPostCreate——Activity徹底執行起來之後的回撥
- oracle僵死會話鎖住buffer,導致資料庫hang住Oracle會話資料庫
- Hadoop學習——MapReduceHadoop
- hadoop_MapReduce yarnHadoopYarn
- Hadoop(十四)MapReduce概述Hadoop
- 導數時資料庫hang住分析資料庫
- 資料庫異常hang住解決資料庫
- 淺析 Node 程式與執行緒執行緒