zeppelin spark SparkContext問題 Cannot call methods on a stopped SparkContext

feloxx發表於2017-05-18

在使用zeppelin 寫 spark的程式碼的時候

會出現個問題,zeppelin建立的SparkContext物件會一直佔用在叢集中

如果spark叢集沒配置動態資源,這個物件就不會自動釋放,一直佔著資源,即使沒有工作

 

 

在spark管理頁面,手動kill後

如果再去zeppelin中執行spark操作,即會出現如下錯誤

感覺像是調不到SparkContext了

Cannot call methods on a stopped SparkContext.

 

 

若干小時後

 

 

這個問題有點剛了

現階段想不到一個漂亮的套路,只能夠重啟zeppelin的方式去重建SparkContext

但是這樣的話會讓其他的使用者無辜遭殃

所以搞個監控去自動重啟,也不行。

 

 

 

 

天無絕人之路呀

 

後來看到官方的雞爪

https://issues.apache.org/jira/browse/ZEPPELIN-1306

 

在0.7.*版本之後

可以實現對單獨的note支援重啟

 

 

程式開始執行

重新執行成功

相關文章