透過spark將資料儲存到elasticsearch
maven依賴 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <version>6.6.0</version> </dependency> package hgs.spark.es import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.elasticsearch.spark._ import org.apache.spark.sql.SQLContext object ViaSparkLoadDataToES { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("toEs").setMaster("local") conf.set("es.resource", "mtest/IT") conf.set("es.nodes", "bigdata00,bigdata01") conf.set("es.port", "9200") val context = new SparkContext(conf) val sqlContext = new SQLContext(context) import sqlContext.implicits._ val rdd = context.textFile( "d:\\person",1) //val jsonrddDF = sqlContext.read.json(rdd) rdd.saveJsonToEs("mtest/IT") context.stop() } }
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2637249/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 在.net中透過自定義LoggerProvider將日誌儲存到資料庫方法(以mysql為例)IDE資料庫MySql
- Spark讀取elasticsearch資料指南SparkElasticsearch
- 將MYSQL資料顯示在QT的tablewidget中/將QT中的資料儲存到MYSQL資料庫中MySqlQT資料庫
- 雲小課|MRS資料分析-透過Spark Streaming作業消費Kafka資料SparkKafka
- Spark SQL 教程: 透過示例瞭解 Spark SQLSparkSQL
- 蘋果Mac如何將螢幕截圖儲存到桌面以外的特定資料夾?蘋果Mac
- spark-streaming-kafka透過KafkaUtils.createDirectStream的方式處理資料SparkKafka
- Java 將PDF轉為HTML時儲存到流JavaHTML
- 使用freemarker將echarts圖片儲存到word中Echarts
- 使用 JDAudioCrawler 將下載的音訊儲存到本地儲存音訊
- 透過 C# 將資料寫入到Excel表格C#Excel
- 透過 Canal 將 MySQL 資料實時同步到 EasysearchMySql
- Flume將 kafka 中的資料轉存到 HDFS 中Kafka
- 大資料小視角1:從行儲存到RCFile大資料
- 如何透過C++ 將資料寫入 Excel 工作表C++Excel
- sql server資料庫如何儲存陣列,int[]float[]double[]陣列儲存到資料庫方法SQLServer資料庫陣列
- 使用Java將圖片生成sequence file並儲存到HBaseJava
- 高效資料傳輸:Java透過繫結快速將資料匯出至ExcelJavaExcel
- 厲害了!12秒將百萬資料透過EasyExcel匯入MySQL資料庫中ExcelMySql資料庫
- 爬蟲雙色球所有的歷史資料並儲存到SQLite爬蟲SQLite
- [BUG反饋]後臺選單資料儲存到session問題Session
- spark 2.1.0 standalone模式配置&&打包jar包透過spark-submit提交Spark模式JARMIT
- elasticsearch: 指定索引資料的儲存目錄Elasticsearch索引
- python 將一個資料夾內的不同型別檔案分別儲存到兩個不同的資料夾(json,png)Python型別JSON
- ETL資料整合丨透過ETLCloud工具,將Oracle資料實時同步至Doris中CloudOracle
- flink 透過繼承RichSinkFunction實現自定義sink,將資料錄入資料庫繼承Function資料庫
- 透過等待看資料庫資料庫
- 通過 POI 將資料庫中的資料上傳至 OSS 物件儲存資料庫物件
- golang讀取檔案的json資料流,並解析到struct,儲存到資料庫GolangJSONStruct資料庫
- IoTDB透過MQTT儲存 windowsMQQTWindows
- Matplotlib中將繪圖儲存到Numpy陣列的2種方法繪圖陣列
- Serverless 使用阿里雲OOS將http檔案轉存到物件儲存Server阿里HTTP物件
- 短視訊app開發,長按將視訊儲存到相簿APP
- gin框架,讀取檔案的json資料流,並解析到struct,儲存到資料庫框架JSONStruct資料庫
- html轉image 儲存到zipHTML
- 關於spark雙引號--用spark清洗資料踩過的坑(spark和Python儲存csv的區別);以及調pg庫還是api獲取資料的策略SparkPythonAPI
- 直播網站原始碼,上傳圖片到專案目錄並將相對路徑儲存到資料庫網站原始碼資料庫
- oracle使用儲存過程將表資料以excel格式匯出Oracle儲存過程Excel