zeppelin spark SparkContext問題 Cannot call methods on a stopped SparkContext
在使用zeppelin 寫 spark的程式碼的時候
會出現個問題,zeppelin建立的SparkContext物件會一直佔用在叢集中
如果spark叢集沒配置動態資源,這個物件就不會自動釋放,一直佔著資源,即使沒有工作
在spark管理頁面,手動kill後
如果再去zeppelin中執行spark操作,即會出現如下錯誤
感覺像是調不到SparkContext了
Cannot call methods on a stopped SparkContext.
若干小時後
這個問題有點剛了
現階段想不到一個漂亮的套路,只能夠重啟zeppelin的方式去重建SparkContext
但是這樣的話會讓其他的使用者無辜遭殃
所以搞個監控去自動重啟,也不行。
天無絕人之路呀
後來看到官方的雞爪
https://issues.apache.org/jira/browse/ZEPPELIN-1306
在0.7.*版本之後
可以實現對單獨的note支援重啟
程式開始執行
重新執行成功
相關文章
- Spark-2.4.0原始碼:sparkContextSpark原始碼Context
- SparkStreaming報錯: Only one SparkContext may be running in this JVM (see SPARK-2243)SparkContextJVM
- Spark & ZeppelinSpark
- 【scala】問題cannot resolve symbol sparkSymbolSpark
- Java訪問Elasticsearch報錯Request cannot be executed; I/O reactor status: STOPPEDJavaElasticsearchReact
- ElasticSearch:Request cannot be executed; I/O reactor status: STOPPEDElasticsearchReact
- Spark 問題集Spark
- Spark —— Spark OOM Error問題排查定位SparkOOMError
- 遇到的cannot find module 'xxx' 問題
- virt-manager cannot open display問題
- Spark學習——問題排查Spark
- vue中methods中的方法閉包快取問題Vue快取
- 【Spark篇】---Spark解決資料傾斜問題Spark
- Jquery DataTables解決 Cannot reinitialise DataTable 問題jQuery
- cannot read prpperty ‘start‘ of undefined(問題記錄)Undefined
- 移動端問題解決 —— Starting a Gradle Daemon, 1 incompatible and 5 stopped Daemons could not be reused ...Gradle
- TypeError: Descriptors cannot not be created directly問題的解決Error
- 關於/usr/bin/ld: cannot find -lXX的問題
- Spark任務OOM問題如何解決?SparkOOM
- methods
- java.lang.IllegalStateException: Cannot call sendError() after the response has been committed解讀JavaExceptionErrorMIT
- MySQL authentication plugin 'caching_sha2_password' cannot be loaded 問題MySqlPlugin
- 【問題處理】ORA-00376 file xx cannot be read at this time
- Hadoop/Spark相關面試問題總結HadoopSpark面試
- Spark SQL中出現 CROSS JOIN 問題解決SparkSQLROS
- Spark 環境問題記錄和解決方法Spark
- 提交Spark作業遇到的NoSuchMethodError問題總結SparkError
- AI開源專案 - ZeppelinAI
- (轉載)關於usr/bin/ld: cannot find -lxxx問題總結
- Error: DPI-1047: Cannot locate a 64-bit Oracle Client library: "問題ErrorOracleclient
- 解決JUnit單元測試時出現的Java.lang.Exception: No runnable methods問題JavaException
- [ 安裝 ] Zeppelin安裝步驟!
- k8s 環境下Cannot assign requested address問題解決K8S
- LightDB Canopy 常見報錯問題分析(二)DETAIL: Distributed relations cannot haveAI
- 大資料開發-Spark-拷問靈魂的5個問題大資料Spark
- spark問題hadoop歷史伺服器hadoop102:19888訪問不了SparkHadoop伺服器
- Spark面試題Spark面試題
- 記錄一次spark連線mysql遇到的問題SparkMySql
- 解決:ThinkPHP 下載專案提示“Call to undefined function captcha_src()”問題PHPUndefinedFunctionAPT