spark寫入hive資料
package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLContext import org.apache.spark.sql.SaveMode import org.apache.spark.sql.types.StructField import org.apache.spark.sql.types.StructType import org.apache.spark.sql.types.IntegerType import org.apache.spark.sql.types.StringType import org.apache.spark.sql.Row object WriteDatatoHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local") val context = new SparkContext(conf) val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2)) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() //import builder.implicits._ import builder.implicits._ val personShcema = StructType( List( //下面為一個列的描述,分別為 列名,資料型別,是否為空 StructField("name",StringType,true), StructField("age",IntegerType,true) ) ) val personDF = builder.createDataFrame(rdd, personShcema) personDF.createOrReplaceTempView("personm") //這個可以儲存資料與hiveSQL相容 builder.table("personm").write.insertInto("test.person") //builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false) //.mode(SaveMode.Append).saveAsTable("test.person") context.stop() } } case class person(name:String,age:Int)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2640728/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- spark with hiveSparkHive
- hive on spark配置HiveSpark
- Spark整合hiveSparkHive
- hive on spark on yarnHiveSparkYarn
- HIVE資料匯入基礎Hive
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive學習筆記 4 Hive的資料匯入Hive筆記
- hive、spark優化HiveSpark優化
- Spark SQL:Hive資料來源複雜綜合案例實戰SparkSQLHive
- hive資料倉儲匯入資料的方法Hive
- Spark資料分析概念入門Spark
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- 使用 ES-Hadoop 將 Spark Streaming 流資料寫入 ESHadoopSpark
- 【Hive】hive資料遷移Hive
- [大資料之Spark]——快速入門大資料Spark
- 從入門到放棄之大資料Hive大資料Hive
- Hive和Spark分割槽策略HiveSpark
- Spark操作Hive分割槽表SparkHive
- hive on spark記憶體模型HiveSpark記憶體模型
- 將資料匯入kudu表(建立臨時hive表,從hive匯入kudu)步驟Hive
- Spark SQL 1.3.0 DataFrame介紹、使用及提供了些完整的資料寫入SparkSQL
- 資料科學中的 Spark 入門資料科學Spark
- Oracle資料匯入到Hive資料庫的操作方法OracleHive資料庫
- HIVE 資料同步Hive
- Spark 如何寫入HBase/Redis/MySQL/KafkaSparkRedisMySqlKafka
- spark structed streaming 寫入hudi表SparkStruct
- Flume+Spark+Hive+Spark SQL離線分析系統SparkHiveSQL
- Sqoop將MySQL資料匯入到hive中OOPMySqlHive
- Hive資料匯入HBase引起資料膨脹引發的思考Hive
- Apache Spark和Hive有用的功能ApacheSparkHive
- hive on spark執行速度慢HiveSpark
- 大資料開發-Spark-初識Spark-Graph && 快速入門大資料Spark
- PHP資料寫入MySql資料庫PHPMySql資料庫
- MongoDB寫入資料策略MongoDB
- [hive]hive資料模型中四種表Hive模型
- 實戰|使用Spark Streaming寫入HudiSpark
- Nebula Exchange 工具 Hive 資料匯入的踩坑之旅Hive