zeppelin spark SparkContext問題 Cannot call methods on a stopped SparkContext
在使用zeppelin 寫 spark的程式碼的時候
會出現個問題,zeppelin建立的SparkContext物件會一直佔用在叢集中
如果spark叢集沒配置動態資源,這個物件就不會自動釋放,一直佔著資源,即使沒有工作
在spark管理頁面,手動kill後
如果再去zeppelin中執行spark操作,即會出現如下錯誤
感覺像是調不到SparkContext了
Cannot call methods on a stopped SparkContext.
若干小時後
這個問題有點剛了
現階段想不到一個漂亮的套路,只能夠重啟zeppelin的方式去重建SparkContext
但是這樣的話會讓其他的使用者無辜遭殃
所以搞個監控去自動重啟,也不行。
天無絕人之路呀
後來看到官方的雞爪
https://issues.apache.org/jira/browse/ZEPPELIN-1306
在0.7.*版本之後
可以實現對單獨的note支援重啟
程式開始執行
重新執行成功
相關文章
- Spark-2.4.0原始碼:sparkContextSpark原始碼Context
- Spark 原始碼解析之SparkContextSpark原始碼Context
- 提交spark程式到yarn出現ERROR SparkContext: Error initializing SparkContext.SparkYarnErrorContext
- Spark原始碼-SparkContext原始碼解析Spark原始碼Context
- SparkStreaming報錯: Only one SparkContext may be running in this JVM (see SPARK-2243)SparkContextJVM
- Spark & ZeppelinSpark
- 【scala】問題cannot resolve symbol sparkSymbolSpark
- Java訪問Elasticsearch報錯Request cannot be executed; I/O reactor status: STOPPEDJavaElasticsearchReact
- ElasticSearch:Request cannot be executed; I/O reactor status: STOPPEDElasticsearchReact
- Spark —— Spark OOM Error問題排查定位SparkOOMError
- vue中methods中的方法閉包快取問題Vue快取
- Spark學習——問題排查Spark
- 500 OOPS: cannot change directory問題OOP
- 【Spark篇】---Spark解決資料傾斜問題Spark
- Jquery DataTables解決 Cannot reinitialise DataTable 問題jQuery
- Cannot access a disposed object.問題根源所在.....Object
- 關於MASTER=spark://SparkMaster:7077 ./spark-shell問題ASTSpark
- TypeError: Descriptors cannot not be created directly問題的解決Error
- methods
- Zeppelin原始碼原始碼
- cannot read prpperty ‘start‘ of undefined(問題記錄)Undefined
- Cannot connect on socket(25)_NetBackup 問題解決
- android studio Cannot reload AVD list問題Android
- Spark Standalone模式 Master程式掛掉問題Spark模式AST
- Spark 環境問題記錄和解決方法Spark
- Spark SQL中出現 CROSS JOIN 問題解決SparkSQLROS
- Hadoop/Spark相關面試問題總結HadoopSpark面試
- java.lang.IllegalStateException: Cannot call sendError() after the response has been committed解讀JavaExceptionErrorMIT
- 移動端問題解決 —— Starting a Gradle Daemon, 1 incompatible and 5 stopped Daemons could not be reused ...Gradle
- (問題解決)Cannot set LC_CTYPE to default locale: No such file or directory
- Spark面試題Spark面試題
- 提交Spark作業遇到的NoSuchMethodError問題總結SparkError
- 解決JUnit單元測試時出現的Java.lang.Exception: No runnable methods問題JavaException
- 記錄CDH Spark2的spark2-submit的一個No such file or directory問題SparkMIT
- Apache Spark技術實戰之6 -- spark-submit常見問題及其解決ApacheSparkMIT
- MySQL authentication plugin 'caching_sha2_password' cannot be loaded 問題MySqlPlugin
- Java問題解決:The project cannot be built until build path errors are resolvedJavaProjectUIError
- AI開源專案 - ZeppelinAI