spark寫入hive資料
package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLContext import org.apache.spark.sql.SaveMode import org.apache.spark.sql.types.StructField import org.apache.spark.sql.types.StructType import org.apache.spark.sql.types.IntegerType import org.apache.spark.sql.types.StringType import org.apache.spark.sql.Row object WriteDatatoHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local") val context = new SparkContext(conf) val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2)) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() //import builder.implicits._ import builder.implicits._ val personShcema = StructType( List( //下面為一個列的描述,分別為 列名,資料型別,是否為空 StructField("name",StringType,true), StructField("age",IntegerType,true) ) ) val personDF = builder.createDataFrame(rdd, personShcema) personDF.createOrReplaceTempView("personm") //這個可以儲存資料與hiveSQL相容 builder.table("personm").write.insertInto("test.person") //builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false) //.mode(SaveMode.Append).saveAsTable("test.person") context.stop() } } case class person(name:String,age:Int)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2640728/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- spark with hiveSparkHive
- hive on spark配置HiveSpark
- Spark整合hiveSparkHive
- 使用 ES-Hadoop 將 Spark Streaming 流資料寫入 ESHadoopSpark
- HIVE資料匯入基礎Hive
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- hive、spark優化HiveSpark優化
- Spark資料分析概念入門Spark
- spark 批次寫入redis控制SparkRedis
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- Spark SQL:Hive資料來源複雜綜合案例實戰SparkSQLHive
- [大資料之Spark]——快速入門大資料Spark
- 【Hive】hive資料遷移Hive
- spark structed streaming 寫入hudi表SparkStruct
- Spark操作Hive分割槽表SparkHive
- hive on spark記憶體模型HiveSpark記憶體模型
- Hive和Spark分割槽策略HiveSpark
- Sqoop將MySQL資料匯入到hive中OOPMySqlHive
- 從入門到放棄之大資料Hive大資料Hive
- 將資料匯入kudu表(建立臨時hive表,從hive匯入kudu)步驟Hive
- 實戰|使用Spark Streaming寫入HudiSpark
- Spark 如何寫入HBase/Redis/MySQL/KafkaSparkRedisMySqlKafka
- Flume+Spark+Hive+Spark SQL離線分析系統SparkHiveSQL
- 大資料開發-Spark-初識Spark-Graph && 快速入門大資料Spark
- Apache Spark和Hive有用的功能ApacheSparkHive
- hive on spark執行速度慢HiveSpark
- Hive資料匯入HBase引起資料膨脹引發的思考Hive
- 通過ES-Hadoop實現Hive讀寫Elasticsearch資料HadoopHiveElasticsearch
- MongoDB寫入資料策略MongoDB
- [hive]hive資料模型中四種表Hive模型
- 淺析圖資料庫 Nebula Graph 資料匯入工具——Spark Writer資料庫Spark
- hive從入門到放棄(三)——DML資料操作Hive
- sqoop用法之mysql與hive資料匯入匯出OOPMySqlHive
- Nebula Exchange 工具 Hive 資料匯入的踩坑之旅Hive
- 大資料4.2 -- hive資料庫大資料Hive資料庫
- 如何將 EXCEL 資料寫入資料庫Excel資料庫
- 基於Hive進行數倉建設的資源後設資料資訊統計:Spark篇HiveSpark