elasticsearch-spark的用法

ZepheryWen 發表於 2022-05-22
ElasticSearch Spark

Hadoop允許Elasticsearch在Spark中以兩種方式使用:通過自2.1以來的原生RDD支援,或者通過自2.0以來的Map/Reduce橋接器。從5.0版本開始,elasticsearch-hadoop就支援Spark 2.0。目前spark支援的資料來源有:
(1)檔案系統:LocalFS、HDFS、Hive、text、parquet、orc、json、csv
(2)資料RDBMS:mysql、oracle、mssql
(3)NOSQL資料庫:HBase、ES、Redis
(4)訊息物件:Redis

elasticsearch相對hdfs來說,容易搭建、並且有視覺化kibana支援,非常方便spark的初學入門,本文主要講解用elasticsearch-spark的入門。

Spark - Apache Spark

一、原生RDD支援

1.1 基礎配置

相關庫引入:

        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-spark-30_2.13</artifactId>
            <version>8.1.3</version>
        </dependency>

SparkConf配置,更多詳細的請點選這裡或者原始碼ConfigurationOptions

public static SparkConf getSparkConf() {
    SparkConf sparkConf = new SparkConf().setAppName("elasticsearch-spark-demo");
    sparkConf.set("es.nodes", "host")
            .set("es.port", "xxxxxx")
            .set("es.nodes.wan.only", "true")
            .set("es.net.http.auth.user", "elxxxxastic")
            .set("es.net.http.auth.pass", "xxxx")
            .setMaster("local[*]");
    return sparkConf;
}

1.2 讀取es資料

這裡用的是kibana提供的sample data裡面的索引kibana_sample_data_ecommerce,也可以替換成自己的索引。

public static void main(String[] args) {
    SparkConf conf = getSparkConf();
    try (JavaSparkContext jsc = new JavaSparkContext(conf)) {

        JavaPairRDD<String, Map<String, Object>> esRDD =
                JavaEsSpark.esRDD(jsc, "kibana_sample_data_ecommerce");
        esRDD.collect().forEach(System.out::println);
    }
}

esRDD同時也支援query語句esRDD(final JavaSparkContext jsc, final String resource, final String query),一般對es的查詢都需要根據時間篩選一下,不過相對於es的官方sdk,並沒有那麼友好的api,只能直接使用原生的dsl語句。

1.3 寫資料

支援序列化物件、json,並且能夠使用佔位符動態索引寫入資料(使用較少),不過多介紹了。

public static void jsonWrite(){
    String json1 = "{\"reason\" : \"business\",\"airport\" : \"SFO\"}";
    String json2 = "{\"participants\" : 5,\"airport\" : \"OTP\"}";
    JavaRDD<String> stringRDD = jsc.parallelize(ImmutableList.of(json1, json2));
    JavaEsSpark.saveJsonToEs(stringRDD, "spark-json");
}

比較常用的讀寫也就這些,更多可以看下官網相關介紹。

二、Spark Streaming

spark的實時處理,es5.0的時候開始支援,Spark Streaming中的DStream程式設計介面是RDD,我們需要對RDD進行處理,處理起來較為費勁且不美觀。

在spark streaming中,如果我們需要修改流程式的程式碼,在修改程式碼重新提交任務時,是不能從checkpoint中恢復資料的(程式就跑不起來),是因為spark不認識修改後的程式了。

public class EsSparkStreaming extends EsBaseConfig {
    public static void main(String[] args) throws StreamingQueryException, TimeoutException {
        SparkConf conf = getSparkConf();
        JavaSparkContext jsc = new JavaSparkContext(conf);
        JavaStreamingContext jssc = new JavaStreamingContext(jsc, Seconds.apply(1));

        Map<String, ?> numbers = ImmutableMap.of("one", 1, "two", 2);
        Map<String, ?> airports = ImmutableMap.of("OTP", "Otopeni", "SFO", "San Fran");

        JavaRDD<Map<String, ?>> javaRDD = jsc.parallelize(ImmutableList.of(numbers, airports));
        Queue<JavaRDD<Map<String, ?>>> microbatches = new LinkedList<>();
        microbatches.add(javaRDD);
        JavaDStream<Map<String, ?>> javaDStream = jssc.queueStream(microbatches);

        JavaEsSparkStreaming.saveToEs(javaDStream, "spark-streaming");

        jssc.start();
    }
}

這裡沒有執行awaitTermination,執行程式碼後沒有卡住,即可在es上檢視

image-20220522204822320

三、Spark SQL

elasticsearch-hadoop也提供了spark sql的外掛,換言之,elasticsearch變成了Spark SQL的原生資料來源,可以通過Spark SQL顯示呼叫,下面的例子將kibana_sample_data_ecommerce索引讀取,然後轉化成dataset,在用sql來統計出當前貨幣。

public class EsToMysqlDemo extends EsBaseConfig {
    public static void main(String[] args) {
        SparkConf conf = getSparkConf();
        try (JavaSparkContext jsc = new JavaSparkContext(conf)) {
            SparkSession sparkSession = SparkSession.builder()
                    .config(conf)
                    .getOrCreate();
            JavaRDD<Map<String, Object>> esRDD = JavaEsSpark.esRDD(jsc, "kibana_sample_data_ecommerce").values();
            JavaRDD<Row> map = esRDD.map(v -> {
                String currency = v.get("currency").toString();
                String customerFullName = v.get("customer_full_name").toString();
                String productsSku = v.getOrDefault("products", "").toString();

                return RowFactory.create(currency, customerFullName, productsSku);
            });
            Dataset<Row> dataset = sparkSession.createDataFrame(map, StructType.fromDDL("currency string,customer_full_name string,products string"));
            dataset.show(2);

            Dataset<Row> count = dataset.select("currency").groupBy("currency").count();
            count.show(2);


        }
    }
}

第一個show展示了當前的dataset,第二個show展示group by之後的結果。

image-20220522204908187

四、Spark Structure Streaming

Structured Streaming使用DataFrame、DataSet的程式設計介面,處理資料時可以使用Spark SQL中提供的方法,資料的轉換和輸出會變得更加簡單。

在structured streaming中,對於指定的程式碼修改操作,是不影響修改後從checkpoint中恢復資料的。具體可參見文件。下面這個例子是從控制檯中讀取資料,然後根據","切割,把第一個賦值給name,然後寫入到es的spark-structured-streaming索引中去,啟動程式前需要在控制檯執行下命令:nc -lk 9999。

@Data
public static class PersonBean {
    private String name;
    private String surname;
}

public static void main(String[] args) throws StreamingQueryException {
    SparkConf sparkConf = getSparkConf();
    SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();


    Dataset<Row> lines = spark.readStream().format("socket").option("host", "localhost").option("port", 9999).load();

    Dataset<PersonBean> people = lines.as(Encoders.STRING())
            .map((MapFunction<String, PersonBean>) value -> {
                String[] split = value.split(",");
                PersonBean personBean = new PersonBean();
                personBean.setName(split[0]);
                return personBean;
            }, Encoders.bean(PersonBean.class));

    StreamingQuery es = people.writeStream().option("checkpointLocation", "./location")
            .format("es").start("spark-structured-streaming");
    es.awaitTermination();
}

checkpointLocation是用來設定檢查點,裡面會儲存一些commits、offsets、sinks、metadata的資訊。

image-20220522204637235

執行完nc -lk 9999後,在控制檯隨便輸入,即可在es中檢視響應的結果。

image-20220522204930968

相關原始碼:

spark-java-demo

參考:

1.Apache Spark support

2.elasticsearch-hadoop

3.使用SparkSQL操作Elasticsearch - Spark入門教程

4.Spark——Spark Streaming 對比 Structured Streaming

相關文章