spark with hive
//需要spark-hive project package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.hive.conf.HiveConfUtil import org.apache.spark.sql.SparkSession //注:需要將hive-site.xml放到當前工程的classpath下面 object SparkWithHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("hive").setMaster("local") val context = new SparkContext(conf) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() import builder.implicits //test庫下面的test表 ssql.show()可以列印表的資訊 val ssql = builder.sql("select a.id,b.name,b.age+10 bigage from test.test a,test.test1 b where a.id = b.id") //這裡轉換為rdd進行操作,轉換為三元的tuple, List((1,hgs,26), (2,wd,24), (3,zz,25), (4,cm,24)) val list = ssql.rdd.map(x=>(x(0),x(1),x(2))).collect() println(list.toList) context.stop() } }
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2221049/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- hive on spark配置HiveSpark
- Spark整合hiveSparkHive
- hive on spark on yarnHiveSparkYarn
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- hive、spark優化HiveSpark優化
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- spark寫入hive資料SparkHive
- Hive和Spark分割槽策略HiveSpark
- Spark操作Hive分割槽表SparkHive
- hive on spark記憶體模型HiveSpark記憶體模型
- Flume+Spark+Hive+Spark SQL離線分析系統SparkHiveSQL
- Apache Spark和Hive有用的功能ApacheSparkHive
- hive on spark執行速度慢HiveSpark
- 【Spark篇】---SparkSQL on Hive的配置和使用SparkSQLHive
- spark相關介紹-提取hive表(一)SparkHive
- hive on spark:return code 30041 Failed to create Spark client for Spark session原因分析及解決方案探尋HiveSparkAIclientSession
- zookeeper:spark-project專案的hive和mysql配置SparkProjectHiveMySql
- Hadoop2.7.3+Hive2.1.1+Spark2.1.0環境搭建HadoopHiveSpark
- Spark SQL:Hive資料來源複雜綜合案例實戰SparkSQLHive
- 一文讀懂Hadoop、HBase、Hive、Spark分散式系統架構HadoopHiveSpark分散式架構
- HIVE隨手記——Hive命令(?$HIVE_HOME/bin/hive)Hive
- spark讀取hive異常,java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunningSparkHiveJavaErrorApacheAPISession
- 解決Spark讀取Hive分割槽表出現Input path does not exist的問題SparkHive
- Spark儲存Parquet資料到Hive,對map、array、struct欄位型別的處理SparkHiveStruct型別
- [Hive]Hive排序優化Hive排序優化
- Hive --------- hive 的優化Hive優化
- Hive之 hive架構Hive架構
- [hive] hive cli 命令列Hive命令列
- 【Hive】hive資料遷移Hive
- Hive篇--搭建Hive叢集Hive
- Hive篇---Hive使用優化Hive優化
- 一文教你看懂大資料的技術生態圈 Hadoop,hive,spark大資料HadoopHiveSpark
- Hive學習之六 《Hive進階— —hive jdbc》 詳解HiveJDBC
- 【Hive一】Hive安裝及配置Hive
- Spark SQL解析查詢parquet格式Hive表獲取分割槽欄位和查詢條件SparkSQLHive
- Spark之spark shellSpark
- 【Spark篇】---Spark初始Spark