liiklus：基於事件的Reactive(RSocket/gRPC)系統

banq發表於2018-11-06
事件ReactRPC

Liiklus [li：klus]（愛沙尼亞語中的“流量”） - 基於gRPC的閘道器，用於基於事件的系統，如果你認為Kafka實現事件系統過於底層，可以使用該系統：
  • 水平可擴充套件的gRPC流媒體閘道器
  • 支援與gRPC一樣多的客戶端語言（Java，Go，C ++，Python等）
  • 響應reactive第一
  • 每個分割槽有背壓感知源
  • 至少一次/最多一次交付保證
  • 可插拔事件儲存（Kafka，Pulsar，Kinesis等......）
  • 可插拔位置儲存（DynamoDB，Cassandra，Redis等...）
  • WIP：冷事件儲存支援（S3，Minio，SQL，鍵/值等...）

目前誰在使用？

開始使用：

$ docker run \
    -e kafka_bootstrapServers=some.kafka.host:9092 \
    -e storage_positions_type=MEMORY \ # only for testing, DO NOT use in production
    -p 6565:6565 \
    bsideup/liiklus:$LATEST_VERSION


現在可以使用LiiklusService.proto生成您的客戶端。
客戶端必須實現以下演算法：
  1. 訂閱作業：
    stub.subscribe(SubscribeRequest(    topic="your-topic",    group="your-consumer-group",    [autoOffsetReset="earliest|latest"]))
  2. 接受：對Subscribe使用相同頻道的每個發出的回覆：
    stub.receive(ReceiveRequest(    assignment=reply.getAssignment()))
  3. 確認
    stub.ack(AckRequest(    assignment=reply.getAssignment(),    offset=record.getOffset()))

注1：如果在處理之前確認記錄是最多一次，在處理後確認記錄是至少一次
注意2：建議每隔n個記錄確認一次，或者每隔n秒確認一次，以減少位置儲存庫的負載

使用Project Reactor和reactive-grpc的示例程式碼：

var stub = ReactorLiiklusServiceGrpc.newReactorStub(channel);
stub
    .subscribe(
        SubscribeRequest.newBuilder()
            .setTopic("user-events")
            .setGroup("analytics")
            .setAutoOffsetReset(AutoOffsetReset.EARLIEST)
            .build()
    )
    .flatMap(reply -> stub
        .receive(ReceiveRequest.newBuilder().setAssignment(reply.getAssignment()).build())
        .window(1000) // ACK every 1000th records
        .concatMap(
            batch -> batch
                .map(ReceiveReply::getRecord)
                // TODO process instead of Mono.delay(), i.e. by indexing to ElasticSearch
                .concatMap(record -> Mono.delay(Duration.ofMillis(100)))
                .sample(Duration.ofSeconds(5)) // ACK every 5 seconds
                .onBackpressureLatest()
                .delayUntil(record -> stub.ack(
                    AckRequest.newBuilder()
                        .setAssignment(reply.getAssignment())
                        .setOffset(record.getOffset())
                        .build()
                )),
            1
        )
    )
    .blockLast()


 

相關文章