cdh版spark on yarn與idea直連操作sql遇到的一些問題
spark on yarn與idea直連操作sql遇到的一些問題
先上程式碼
SparkConf conf = new SparkConf().setAppName("programdept").setMaster("yarn-client")
.set("yarn.resourcemanager.hostname", "10.100.200.11")
// .set("spark.executor.instances","1")
// .set("spark.executor.memory","3500M")
.setJars(new String[]{"D:\\code\\sparkonyarn\\out\\artifacts\\sparkonyarn.jar"})
.set("spark.yarn.preserve.staging.files","false")
.set("spark.executor.extraClassPath"," /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/*");
JavaSparkContext sparkContext = new JavaSparkContext(conf);
HiveContext hiveContext = new HiveContext(sparkContext.sc());
// hiveContext.clearCache();
hiveContext.sql("use oracle_table");
DataFrame sql = hiveContext.sql("select count(1) from com_organization")
sparkContext.close();
}
其實就是一個很簡單的需求,通過hive與spark整合從而來查詢hive表中的資料
-
首先你要把配置檔案放入idea中
-
你的程式碼設定為spark on yarn模式,參考上方程式碼
-
設定好你的包
-
執行一直失敗,參考日誌
-
缺少某些包,接著把yarn site中設定相應的包
-
還差hive的包,通過上方的方式匯入不行,就直接在程式碼中新增
set(“spark.executor.extraClassPath”," /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/* -
最終執行成功,在出現此種錯的時候去翻看其他人的解決方法,而沒有細分析自己的日誌,導致做了很多無用功,自己出現問題自己先找好自己的
相關文章
- 記錄一次spark連線mysql遇到的問題SparkMySql
- Spark:Yarn-client與Yarn-clusterSparkYarnclient
- spark 與 yarn 結合SparkYarn
- SAP BW: 系統連線遇到的一些問題
- Apache Kyuubi 助力 CDH 解鎖 Spark SQLApacheSparkSQL
- 記錄CDH Spark2的spark2-submit的一個No such file or directory問題SparkMIT
- git 操作遇到問題Git
- Python操作SAP時候遇到的一些常見問題Python
- 面試中遇到的一些問題面試
- 小程式遇到的一些問題
- 提交Spark作業遇到的NoSuchMethodError問題總結SparkError
- Spark on Yarn 和Spark on MesosSparkYarn
- 12 Spark on YARNSparkYarn
- hive on spark on yarnHiveSparkYarn
- Docker遇到的一些問題和感想Docker
- 關於操作駁回遇到的問題
- CDH版Hadoop-zookeeper-hbase-spark安裝文件HadoopSpark
- 一些SQL問題SQL
- Spark之HiveSupport連線(spark-shell和IDEA)SparkHiveIdea
- docker開荒hyperf遇到的一些問題Docker
- vue工作中遇到的一些小問題Vue
- Android studio遇到的一些小問題Android
- ElasticSearch安裝中遇到的一些問題Elasticsearch
- npm與yarn的一些筆記NPMYarn筆記
- Spark on Yarn 實踐SparkYarn
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- Spark UI (基於Yarn) 分析與定製SparkUIYarn
- 匯入catalog database的操作與遇到的相容問題,但有個問題弄不明白Database
- C#操作時區轉換時遇到的一些問題和解決方法分享C#
- maven專案遇到的一些問題記錄Maven
- 專案中遇到的一些問題小結
- 遊戲接入支付寶遇到的一些問題遊戲
- hexo部落格搭建時遇到的一些問題Hexo
- CDH 5.13.0安裝Spark 2.2Spark
- laravel開發中遇到的問題與bug修復的一些總結Laravel
- 搭建spark on yarn 叢集SparkYarn
- Spark on Yarn 環境搭建SparkYarn
- 今天遇到的問題與解決方法