關於MASTER=spark://SparkMaster:7077 ./spark-shell問題

起個洺牸嫃難發表於2017-04-19
ASTSpark

原網頁：http://bbs.csdn.net/topics/390941085



在執行MASTER=spark://SparkMaster:7077 ./spark-shell時候

出現scala了，但是後面緊接著出現了。

14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:28 ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

在錯誤日誌中發現

14/11/25 21:51:40 ERROR remote.EndpointWriter: AssociationError [akka.tcp://sparkMaster@SparkMaster:7077] -> [akka.tcp://spark@SparkMaster:34726]: Error [Association failed with [akka.tcp://spark@SparkMaster:34726]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://spark@SparkMaster:34726]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: SparkMaster/192.168.64.129:34726
]這條語句
也不知道到底怎麼弄。

然後我對比和別人的執行，我的是akka.tcp://sparkMaster@SparkMaster:7070:
而別人是akka.tcp://spark@SparkMaster:7070:配置都一樣，是不是這個原因。


比較有意思的是，如果直接在bin資料夾下啟動spark shell，倒能執行成功。

然後我把MASTER=spark://SparkMaster:7077 ./spark-shell中的SparkMaster直接改成主節點Ip，倒不出現14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]這句話了，還是出現14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.錯誤。




我在spark-env.sh中設定SPARK_MASTER_IP =SparkMaster
然後在hosts中設定xxx.xxx.xx.xx  SparkMaser
hostname中設定SparkMaster.應該是master的ip沒什麼問題。

如果在bin啟動spark shell ，然後跑wordcount程式沒什麼問題的。
就是MASTER=spark://SparkMaster:7077 ./spark-shell時候，成功啟動了shell，緊接著出現了那些異常就自動退出shell了。


挺怪異，我試了一下master=spark://centos.host1:7077 ./spark-shell 沒有問題。樓主把MASTER改成小寫試試，服務重啟在執行試試。

相關文章