RocketMQ Streams 1.1.0: 輕量級流處理再出發

ApacheRocketMQ發表於2023-02-07

本文作者:倪澤,Apache RocketMQ committer、RSQLDB/RocketMQ Streams Maintainer

01 背景

RocketMQ Streams是一款基於RocketMQ為基礎的輕量級流計算引擎,具有資源消耗少、部署簡單、功能全面的特點,目前已經在社群開源。RocketMQ Streams在阿里雲內部被使用在對資源比較敏感,同時又強烈需要流計算的場景,比如在自建機房的雲安全場景下。

自RocketMQ Streams開源以來,吸引了大量使用者調研和試用。但是也存在一些問題,在RocketMQ Streams 1.1.0中,主要針對以下問題做出了改進和最佳化。

1、面向使用者API不夠友好,不能使用泛型,不支援自定義序列化/反序列化;

2、程式碼冗餘,在RocketMQ Streams中存在將流處理拓撲序列化反序列化模組,RocketMQ Streams作為輕量級流處理SDK,構建好流處理節點之後應該可以直接處理資料,不存在將流處理拓撲圖本地儲存或者網路傳輸需求。

3、流處理過程不容易理解,含有大量快取、重新整理邏輯;

4、存在大量支援SQL的程式碼,這部分和SDK方式執行流處理任務的邏輯無關;

在RocketMQ Streams 1.1.0中,對上述問題做出了改進,期望能帶來更好的使用體驗。同時,重新設計了流處理拓撲構建過程、去掉冗餘程式碼,使得程式碼更容易被理解。

從今天起,將推出系列文章介紹RocketMQ Streams 1.1.0版本,本次文章主要介紹RocketMQ Streams 1.1.0的API如何使用,如何利用RocketMQ Streams快速構建流處理應用。

02 典型使用示例

本地執行下列示例的步驟:

1、部署RocketMQ 5.0;

2、使用mqAdmin建立topic;

3、構建示例工程,新增依賴,啟動示例。RocketMQ Streams 座標:

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-streams</artifactId>
    <version>1.1.0</version>
</dependency>

4、向topic中寫入相應資料,並觀察結果。

更詳細文件請參考:https://github.com/apache/rocketmq-streams

WordCount

public class WordCount {
    public static void main(String[] args) {
        StreamBuilder builder = new StreamBuilder("wordCount");


        builder.source("sourceTopic", total -> {
                    String value = new String(total, StandardCharsets.UTF_8);
                    return new Pair<>(null, value);
                })
                .flatMap((ValueMapperAction<String, List<String>>) value -> {
                    String[] splits = value.toLowerCase().split("\W+");
                    return Arrays.asList(splits);
                })
                .keyBy(value -> value)
                .count()
                .toRStream()
                .print();


        TopologyBuilder topologyBuilder = builder.build();


        Properties properties = new Properties();
        properties.put(MixAll.NAMESRV_ADDR_PROPERTY, "127.0.0.1:9876");


        RocketMQStream rocketMQStream = new RocketMQStream(topologyBuilder, properties);


        final CountDownLatch latch = new CountDownLatch(1);


        Runtime.getRuntime().addShutdownHook(new Thread("wordcount-shutdown-hook") {
            @Override
            public void run() {
                rocketMQStream.stop();
                latch.countDown();
            }
        });


        try {
            rocketMQStream.start();
            latch.await();
        } catch (final Throwable e) {
            System.exit(1);
        }
        System.exit(0);
    }
}

WordCount示例要點:

1、JobId wordCount唯一標識流處理任務;

2、自定義的反序列化;

3、一對多轉化;

4、lambda形式從資料中指定Key;

5、支援有狀態計算;

視窗聚合

public class WindowCount {
    public static void main(String[] args) {
        StreamBuilder builder = new StreamBuilder("windowCountUser");


        AggregateAction<String, User, Num> aggregateAction = (key, value, accumulator) -> new Num(value.getName(), 100);


        builder.source("user", source -> {
                    User user1 = JSON.parseObject(source, User.class);
                    return new Pair<>(null, user1);
                })
                .selectTimestamp(User::getTimestamp)
                .filter(value -> value.getAge() > 0)
                .keyBy(value -> "key")
                .window(WindowBuilder.tumblingWindow(Time.seconds(15)))
                .aggregate(aggregateAction)
                .toRStream()
                .print();


        TopologyBuilder topologyBuilder = builder.build();


        Properties properties = new Properties();
        properties.putIfAbsent(MixAll.NAMESRV_ADDR_PROPERTY, "127.0.0.1:9876");
        properties.put(Constant.TIME_TYPE, TimeType.EVENT_TIME);
        properties.put(Constant.ALLOW_LATENESS_MILLISECOND, 2000);


        RocketMQStream rocketMQStream = new RocketMQStream(topologyBuilder, properties);


        rocketMQStream.start();
    }
}

視窗聚合示例要點:

1、支援指定時間欄位;

2、支援滑動、滾動、會話多種型別window;

3、支援自定義UDAF型別聚合;

4、支援自定義時間型別和資料最大遲到時間;

雙流JOIN

public class JoinWindow {
    public static void main(String[] args) {
        StreamBuilder builder = new StreamBuilder("joinWindow");


        //左流
        RStream<User> user = builder.source("user", total -> {
            User user1 = JSON.parseObject(total, User.class);
            return new Pair<>(null, user1);
        });


        //右流
        RStream<Num> num = builder.source("num", source -> {
            Num user12 = JSON.parseObject(source, Num.class);
            return new Pair<>(null, user12);
        });


        //自定義join後的運算
        ValueJoinAction<User, Num, Union> action = new ValueJoinAction<User, Num, Union>() {
            @Override
            public Union apply(User value1, Num value2) {
                ...
            }
        };


        user.join(num)
                .where(User::getName)
                .equalTo(Num::getName)
                .window(WindowBuilder.tumblingWindow(Time.seconds(30)))
                .apply(action)
                .print();


        TopologyBuilder topologyBuilder = builder.build();


        Properties properties = new Properties();
        properties.put(MixAll.NAMESRV_ADDR_PROPERTY, "127.0.0.1:9876");


        RocketMQStream rocketMQStream = new RocketMQStream(topologyBuilder, properties);


        rocketMQStream.start();
    }
}

雙流聚合示例要點:

1、支援window join和非window join,對於非window join,只需要在上述及連表示式中去掉window即可;

2、支援多種視窗型別的window join;

3、支援對join後資料自定義操作;

03 參與貢獻

RocketMQ Streams是Apache RocketMQ的子專案,已經在社群開源,參與RocketMQ Streams相關工作,請參考以下資源:

1、試用RocketMQ Streams,並閱讀相關文件以瞭解更多資訊;

maven倉庫座標:

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-streams</artifactId>
    <version>1.1.0</version>
</dependency>

RocketMQ Streams文件:

https://rocketmq.apache.org/zh/docs/streams/30RocketMQ Streams Overview

2、參與貢獻:如果你有任何功能請求或錯誤報告,請隨時提交 Pull Request 來分享你的反饋和想法;

社群倉庫:

https://github.com/apache/rocketmq-streams

3、聯絡我們:可以在 GitHub上建立 Issue,向 RocketMQ 郵件列表傳送電子郵件,或在 RocketMQ Streams SIG 交流群與專家共同探討,RocketMQ Streams SIG加入方式:新增“小火箭”微信,回覆RocketMQ Streams。

郵件列表:

https://lists.apache.org/list.html?dev@rocketmq.apache.org

相關文章