「Kafka應用」PHP實現生產者與消費者

ligkwww發表於2021-01-20
KafkaPHP

前言

PHP中使用Kafka需要RdKafka擴充套件，而RdKafka依賴於librdkafka，所以這兩個我們都需要安裝，具體安裝方法自行百度，本篇不做說明了。

生產者（測試）

建立消費者需要步驟：

  • 生產者配置引數
  • 建立生產者例項
  • 建立主題例項(依賴生產者)
  • 生產主題訊息
  • 推送訊息

具體程式碼如下：

        $conf = new \RdKafka\Conf();
        // 繫結服務節點
        $conf->set('metadata.broker.list', '127.0.0.1:32772');

        // 建立生產者
        $kafka = new \RdKafka\Producer($conf);

        // 建立主題例項
        $topic = $kafka->newTopic('p1r1');
        // 生產主題資料，此時訊息在緩衝區中，並沒有真正被推送
        $topic->produce(RD_KAFKA_PARTITION_UA, 0, 'Message');
        // 阻塞時間(毫秒)， 0為非阻塞
        $kafka->poll(0); 

        // 推送訊息，如果不呼叫此函式，訊息不會被髮送且會丟失
        $result = $kafka->flush(5000);

        if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) {
            throw new \RuntimeException('Was unable to flush, messages might be lost!');
        }

消費者

建立一個消費者需要幾個步驟：

  • 消費者配置引數
  • 應用配置引數建立消費者例項
  • 訂閱對應主題
  • 拉取資料
  • 提交位移

具體程式碼如下：

        $conf = new \RdKafka\Conf();
        // 繫結消費者組
        $conf->set('group.id', 'ceshi');
        // 繫結服務節點，多個用,分隔
        $conf->set('metadata.broker.list', '127.0.0.1:32787');
        // 設定自動提交為false
        $conf->set('enable.auto.commit', 'false');
        // 設定當前消費者拉取資料時的偏移量， 可選引數：
        // earliest: 如果消費者組是新建立的，從頭開始消費，否則從消費者組當前消費位移開始。
        // latest:如果消費者組是新建立的，從最新偏移量開始，否則從消費者組當前消費位移開始。
        $conf->set('auto.offset.reset', 'earliest');

        // 建立消費者例項
        $consumer = new \RdKafka\KafkaConsumer($conf);
        // 消費者訂閱主題，陣列形式
        $consumer->subscribe(['topic1','topic2']);
        while (true) {
            // 消費資料，阻塞5秒(5秒內有資料就消費，沒有資料等待5秒進入下一輪迴圈)
            $message = $consumer->consume(5000);
            switch ($message->err) {
                case RD_KAFKA_RESP_ERR_NO_ERROR:
                    // 業務邏輯
                    var_dump($message);

                    // 提交位移
                    $consumer->commit($message);
                    break;
                case RD_KAFKA_RESP_ERR__PARTITION_EOF:
                    echo "No more messages; will wait for more\n";
                    break;
                case RD_KAFKA_RESP_ERR__TIMED_OUT:
                    echo "Timed out\n";
                    break;
                default:
                    throw new \Exception($message->errstr(), $message->err);
                    break;
            }
        }
        // 關閉消費者(一般用在指令碼中，不需要關閉)
        $conumser->close();

只消費指定分割槽中的資料：

    // 對消費者指定分割槽，注意此方式不能與subscribe一同使用
    $consumer->assign([
        new RdKafka\TopicPartition("topic", 0),
        new RdKafka\TopicPartition("topic", 1),
    ]);
本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章