Storm任務啟動過慢
最近Storm叢集提交任務後,任務的worker需要很長時間才能執行成功,從UI介面可以看到,個別worker一直在嘗試不同機器的solt來啟動,日誌報錯如下:
2017-03-01T18:47:51.785+0800 o.a.s.z.ClientCnxn [INFO] Session establishment complete on server 10.1.3.41/10.1.3.41:2181, sessionid = 0x25a44c27616369d, negotiated timeout = 120000
2017-03-01T18:47:51.785+0800 o.a.s.c.f.s.ConnectionStateManager [INFO] State change: CONNECTED
2017-03-01T18:47:51.817+0800 b.s.d.worker [INFO] Reading Assignments.
2017-03-01T18:47:51.968+0800 b.s.m.TransportFactory [INFO] Storm peer transport plugin:backtype.storm.messaging.netty.Context
2017-03-01T18:47:52.119+0800 b.s.d.worker [INFO] Launching receive-thread for 21e824b9-6ed0-471f-a34d-278d2648ddc0:6719
2017-03-01T18:47:52.131+0800 b.s.m.n.Server [INFO] Create Netty Server Netty-server-localhost-6719, buffer_size: 5242880, maxWorkers: 1
2017-03-01T18:47:52.154+0800 b.s.d.worker [ERROR] Error on initialization of server mk-worker
org.apache.storm.netty.channel.ChannelException: Failed to bind to: 0.0.0.0/0.0.0.0:6719
at org.apache.storm.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) ~[storm-core-0.9.5.jar:0.9.5]
at backtype.storm.messaging.netty.Server.<init>(Server.java:130) ~[storm-core-0.9.5.jar:0.9.5]
at backtype.storm.messaging.netty.Context.bind(Context.java:75) ~[storm-core-0.9.5.jar:0.9.5]
at backtype.storm.messaging.loader$launch_receive_thread_BANG_.doInvoke(loader.clj:68) ~[storm-core-0.9.5.jar:0.9.5]
at clojure.lang.RestFn.invoke(RestFn.java:668) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.worker$launch_receive_thread.invoke(worker.clj:378) ~[storm-core-0.9.5.jar:0.9.5]
at backtype.storm.daemon.worker$fn__6959$exec_fn__1103__auto____6960.invoke(worker.clj:413) ~[storm-core-0.9.5.jar:0.9.5]
at clojure.lang.AFn.applyToHelper(AFn.java:185) [clojure-1.5.1.jar:na]
at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
at clojure.core$apply.invoke(core.clj:617) ~[clojure-1.5.1.jar:na]
at backtype.storm.daemon.worker$fn__6959$mk_worker__7015.doInvoke(worker.clj:391) [storm-core-0.9.5.jar:0.9.5]
at clojure.lang.RestFn.invoke(RestFn.java:512) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.worker$_main.invoke(worker.clj:502) [storm-core-0.9.5.jar:0.9.5]
at clojure.lang.AFn.applyToHelper(AFn.java:172) [clojure-1.5.1.jar:na]
at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.worker.main(Unknown Source) [storm-core-0.9.5.jar:0.9.5]
java.net.BindException: 地址已在使用
at sun.nio.ch.Net.bind0(Native Method) ~[na:1.7.0_67]
at sun.nio.ch.Net.bind(Net.java:444) ~[na:1.7.0_67]
at sun.nio.ch.Net.bind(Net.java:436) ~[na:1.7.0_67]
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214) ~[na:1.7.0_67]
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74) ~[na:1.7.0_67]
at org.apache.storm.netty.channel.socket.nio.NioServerBoss$RegisterTask.run(NioServerBoss.java:193) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.netty.channel.socket.nio.AbstractNioSelector.processTaskQueue(AbstractNioSelector.java:372) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:296) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.netty.channel.socket.nio.NioServerBoss.run(NioServerBoss.java:42) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) ~[storm-core-0.9.5.jar:0.9.5]
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) ~[na:1.7.0_67]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) ~[na:1.7.0_67]
at java.lang.Thread.run(Thread.java:745) ~[na:1.7.0_67]
該worker在使用6719埠時,報java.net.BindException: 地址已在使用。
檢視哪個程式在使用6719埠:
netstat -anp|grep 6719
tcp 0 0 ::ffff:10.1.3.57:6719 ::ffff:10.1.24.102:2181 ESTABLISHED 16816/java
程式16816的資訊:
root 16816 71.3 1.1 12586988 2262020 ? Sl 17:16 62:58 /usr/local/webserver/jdk1.7.0_67/bin/java -Dlogfile.name=worker-6705.log -Dstorm.home=/usr/local/webserver/apache-storm-0.9.5 -Dstorm.conf.file= -Dstorm.options= -Dstorm.log.dir=/data/logs/storm -Dlogback.configurationFile=/usr/local/webserver/apache-storm-0.9.5/logback/cluster.xml -Dworker.port=6705 -cp /data/server/storm/supervisor/stormdist/***/stormjar.jar backtype.storm.daemon.worker logtrack_online@di-667-1484818913 21e824b9-6ed0-471f-a34d-278d2648ddc0
可以看到程式啟動引數中,使用的6705埠。
netstat -anp | grep 6705
tcp 0 0 ::ffff:10.1.3.57:6705 ::ffff:10.1.3.52:2776 ESTABLISHED 16816/java
tcp 0 0 ::ffff:10.1.3.57:6705 ::ffff:10.1.3.51:2349 ESTABLISHED 16816/java
tcp 0 0 ::ffff:10.1.3.57:6705 ::ffff:10.1.3.52:1812 ESTABLISHED 16816/java
tcp 0 0 ::ffff:10.1.3.57:6705 ::ffff:10.1.3.46:57767 ESTABLISHED 16816/java
tcp 1551 0 ::ffff:10.1.3.57:6705 ::ffff:10.1.3.58:7088 ESTABLISHED 16816/java
將該worker殺掉後,6719埠即可正常使用。
相關文章
- 透過http請求啟動jenkins任務HTTPJenkins
- 啟動和停止任務
- EM自動任務導致資料庫緩慢資料庫
- Springboot-之定時任務,啟動執行任務Spring Boot
- Flowable啟動流程例項和查詢任務以及完成任務
- 定時自動啟動任務crontab命令用法
- spark core原始碼分析1 叢集啟動及任務提交過程Spark原始碼
- storm叢集啟動停止指令碼ORM指令碼
- Apache Storm系列 之二( 輕鬆搞定 Storm 安裝與啟動)ApacheORM
- Spring Boot 系統啟動任務定義Spring Boot
- win10 64位計劃任務沒啟動怎麼辦_win10 64位計劃任務如何啟動Win10
- storm 啟動異常 Error when processing eventORMError
- 大資料分享Spark任務和叢集啟動流程大資料Spark
- 使用寶塔計劃任務啟動laravel排程器Laravel
- 從任務通知區啟動螢幕保護程式(轉)
- 從任務通知區啟動螢幕保護程式 (轉)
- 【Storm篇】--Storm中的同步服務DRPCORMRPC
- 生產環境部署springcloud微服務啟動慢的問題排查SpringGCCloud微服務
- [20160828]Linux SendMail服務啟動慢解決LinuxAI
- Win10系統通過計劃任務設定程式自動延遲啟動的圖文教程Win10
- Win10系統透過計劃任務設定程式自動延遲啟動的圖文教程Win10
- 自動備份任務
- 移動APP啟動慢解決實踐APP
- LiteOS-任務篇-原始碼分析-系統啟動函式原始碼函式
- 第一項任務:團隊組建及專案啟動
- 11g 啟用或關閉自動統計任務
- 本地啟動Flower來監控Dify的Celery任務佇列佇列
- Eclipse如何解決啟動慢?Eclipse
- 解決weblogic啟動慢和建立域慢的方法Web
- Mysql 啟動慢查詢日誌 (不用重啟)MySql
- Linux如何透過命令重新啟動服務?Linux
- 致同:三年行動任務過半 國企改革務實發展
- windows10啟動慢怎麼辦_win10開機啟動慢的4個提升方法WindowsWin10
- 【定時任務|開機啟動】Windows Server 2008/2012 計劃任務配置(任務計劃程式)每分鐘執行BATWindowsServerBAT
- 11g啟用或關閉自動統計等任務
- rman使用catalog 啟用計劃任務並自動備份
- 完全理解android Activity啟動模式LauchMode (深入Activity與任務棧)Android模式
- Oracle自動維護任務Oracle