spark with hive
//需要spark-hive project package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.hive.conf.HiveConfUtil import org.apache.spark.sql.SparkSession //注:需要將hive-site.xml放到當前工程的classpath下面 object SparkWithHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("hive").setMaster("local") val context = new SparkContext(conf) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() import builder.implicits //test庫下面的test表 ssql.show()可以列印表的資訊 val ssql = builder.sql("select a.id,b.name,b.age+10 bigage from test.test a,test.test1 b where a.id = b.id") //這裡轉換為rdd進行操作,轉換為三元的tuple, List((1,hgs,26), (2,wd,24), (3,zz,25), (4,cm,24)) val list = ssql.rdd.map(x=>(x(0),x(1),x(2))).collect() println(list.toList) context.stop() } }
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2221049/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- hive on spark配置HiveSpark
- Spark整合hiveSparkHive
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- hive、spark優化HiveSpark優化
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- spark寫入hive資料SparkHive
- Spark操作Hive分割槽表SparkHive
- hive on spark記憶體模型HiveSpark記憶體模型
- Hive和Spark分割槽策略HiveSpark
- Flume+Spark+Hive+Spark SQL離線分析系統SparkHiveSQL
- Apache Spark和Hive有用的功能ApacheSparkHive
- hive on spark執行速度慢HiveSpark
- spark相關介紹-提取hive表(一)SparkHive
- hive on spark:return code 30041 Failed to create Spark client for Spark session原因分析及解決方案探尋HiveSparkAIclientSession
- zookeeper:spark-project專案的hive和mysql配置SparkProjectHiveMySql
- Spark SQL:Hive資料來源複雜綜合案例實戰SparkSQLHive
- spark讀取hive異常,java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunningSparkHiveJavaErrorApacheAPISession
- Spark儲存Parquet資料到Hive,對map、array、struct欄位型別的處理SparkHiveStruct型別
- Hive --------- hive 的優化Hive優化
- [Hive]Hive排序優化Hive排序優化
- 免費課程 | 大資料系列免費視訊教程(Linux、Hadoop、Spark、Kylin、Hive等)大資料LinuxHadoopSparkHive
- 【Hive】hive資料遷移Hive
- Spark SQL解析查詢parquet格式Hive表獲取分割槽欄位和查詢條件SparkSQLHive
- HIVEHive
- Spark之spark shellSpark
- 【Hive一】Hive安裝及配置Hive
- Flume和Hive整合之hive sinkHive
- Spark on Yarn 和Spark on MesosSparkYarn
- Spark系列 - (3) Spark SQLSparkSQL
- Hive學習之Hive的安裝Hive
- Hive -------- hive常見查詢練習Hive
- HIVE基本語法以及HIVE分割槽Hive
- [Hive]Hive實現抽樣查詢Hive
- flink實戰--讀寫Hive(Flink on Hive)Hive
- hive匯出到csv hive匯出到excelHiveExcel
- 基於Hive進行數倉建設的資源後設資料資訊統計:Spark篇HiveSpark
- Spark學習進度-Spark環境搭建&Spark shellSpark