透過spark將資料儲存到elasticsearch
maven依賴 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <version>6.6.0</version> </dependency> package hgs.spark.es import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.elasticsearch.spark._ import org.apache.spark.sql.SQLContext object ViaSparkLoadDataToES { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("toEs").setMaster("local") conf.set("es.resource", "mtest/IT") conf.set("es.nodes", "bigdata00,bigdata01") conf.set("es.port", "9200") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) import sqlContext.implicits._ val rdd = context.textFile( "d:\\person",1) //val jsonrddDF = sqlContext.read.json(rdd) rdd.saveJsonToEs("mtest/IT") context.stop() } }
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2637249/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- ASP.NET將Session儲存到資料庫中ASP.NETSession資料庫
- 將圖片檔案儲存到Oracle的儲存過程Oracle儲存過程
- 在.net中透過自定義LoggerProvider將日誌儲存到資料庫方法(以mysql為例)IDE資料庫MySql
- Spark讀取elasticsearch資料指南SparkElasticsearch
- Session儲存到指定資料庫中Session資料庫
- execl資料儲存到陣列中陣列
- 將一個實體資料儲存到不同的資料表中<EntityFramework6.0>Framework
- 將MYSQL資料顯示在QT的tablewidget中/將QT中的資料儲存到MYSQL資料庫中MySqlQT資料庫
- javascript如何將檔案儲存到本地JavaScript
- redis使用日誌(二) 資料儲存到redisRedis
- 蘋果Mac如何將螢幕截圖儲存到桌面以外的特定資料夾?蘋果Mac
- Spark SQL 教程: 透過示例瞭解 Spark SQLSparkSQL
- 雲小課|MRS資料分析-透過Spark Streaming作業消費Kafka資料SparkKafka
- 透過 Canal 將 MySQL 資料實時同步到 EasysearchMySql
- 透過 C# 將資料寫入到Excel表格C#Excel
- Java 將PDF轉為HTML時儲存到流JavaHTML
- 將審計記錄儲存到xml檔案XML
- spark-streaming-kafka透過KafkaUtils.createDirectStream的方式處理資料SparkKafka
- Flume將 kafka 中的資料轉存到 HDFS 中Kafka
- 大資料小視角1:從行儲存到RCFile大資料
- 如何透過C++ 將資料寫入 Excel 工作表C++Excel
- 使用 JDAudioCrawler 將下載的音訊儲存到本地儲存音訊
- 使用freemarker將echarts圖片儲存到word中Echarts
- Java程式執行時,資料都儲存到什麼地方?Java
- sql server資料庫如何儲存陣列,int[]float[]double[]陣列儲存到資料庫方法SQLServer資料庫陣列
- 將oracle中資料轉存到excel中OracleExcel
- 高效資料傳輸:Java透過繫結快速將資料匯出至ExcelJavaExcel
- 厲害了!12秒將百萬資料透過EasyExcel匯入MySQL資料庫中ExcelMySql資料庫
- sublimeText3 中配置sass環境,並將編譯後檔案儲存到指定資料夾編譯
- 使用Java將圖片生成sequence file並儲存到HBaseJava
- Android將圖片儲存到相簿並及時看到Android
- 用java的api將資料從HDFS上存到HBASE中JavaAPI
- 透過等待看資料庫資料庫
- 透過shell抓取html資料HTML
- spark 2.1.0 standalone模式配置&&打包jar包透過spark-submit提交Spark模式JARMIT
- spark與elasticsearch整合SparkElasticsearch
- elasticsearch: 指定索引資料的儲存目錄Elasticsearch索引
- ETL資料整合丨透過ETLCloud工具,將Oracle資料實時同步至Doris中CloudOracle