一、kafka 介紹 && kafka-client

abc_十號發表於2020-06-04

一、kafka 介紹

1.1、kafka 介紹

Kafka 是一個分散式訊息引擎與流處理平臺,經常用做企業的訊息匯流排、實時資料管道,有的還把它當做儲存系統來使用。
早期 Kafka 的定位是一個高吞吐的分散式訊息系統,目前則演變成了一個成熟的分散式訊息引擎,以及流處理平臺。

Kafka 主要起到削峰填谷(緩衝)、系統解構以及冗餘的作用,主要特點有:

  • 高吞吐、低延時:這是 Kafka 顯著的特點,Kafka 能夠達到百萬級的訊息吞吐量,延遲可達毫秒級;
  • 持久化儲存:Kafka 的訊息最終持久化儲存在磁碟之上,提供了順序讀寫以保證效能,並且通過 Kafka 的副本機制提高了資料可靠性。
  • 分散式可擴充套件:Kafka 的資料是分散式儲存在不同 broker 節點的,以 topic 組織資料並且按 partition 進行分散式儲存,整體的擴充套件性都非常好。
  • 高容錯性:叢集中任意一個 broker 節點當機,Kafka 仍能對外提供服務。

使用訊息佇列的好處:
解耦、冗餘(每個分割槽都有副本)、提高擴充套件性、靈活性 & 峰值處理能力、可恢復性(有副本)、順序保證、緩衝、非同步通訊

1.2、kafka術語

  • 生產者(Producer):

    • 向 broker 釋出訊息的應用程式。
    • 生產者也負責選擇釋出到Topic上的哪一個分割槽。最簡單的方式從分割槽列表中輪流選擇。也可以根據某種演算法依照權重選擇分割槽。
  • 消費者(Consumer):

    • 從訊息佇列中獲取訊息的客戶端應用程式。

    • 一個 topic 可以讓若干個消費者進行消費,若干個消費者組成一個 Consumer Group 即消費組,一條訊息只能被消費組中一個 Consumer 消費。

    • 假如所有的消費者都在一個組中,那麼這就變成了 queue 模型。 假如所有的消費者都在不同的組中,那麼就完全變成了釋出-訂閱模型。

    • 更通用的,我們可以建立一些消費者組作為邏輯上的訂閱者。每個組包含數目不等的消費者,一個組內多個消費者可以用來擴充套件效能和容錯。如下圖所示:

    • 消費者
    • 2個 kafka 叢集託管4個分割槽(P0-P3),2個消費者組,消費組 A 有2個消費者例項,消費組 B 有4個。

    • kafka 中消費者組有兩個概念:佇列:消費者組(consumer group)允許消費者組成員瓜分處理。釋出訂閱:允許你廣播訊息給多個消費者組(不同名)。

    • 傳統的訊息有兩種模式:佇列和釋出訂閱。

    • 在佇列模式中,消費者池從伺服器讀取訊息(每個訊息只被其中一個讀取),優點是允許多個消費者瓜分處理資料,這樣可以擴充套件處理。;

    • 釋出訂閱模式:訊息廣播給所有的消費者。允許你廣播資料到多個消費者,由於每個訂閱者都訂閱了訊息,所以沒辦法縮放處理。

  • broker:

    • Kafka 例項,多個 broker 組成一個 Kafka 叢集,Kafka 以叢集方式執行,叢集中每個伺服器稱為 broker。
    • 通常一臺機器部署一個 Kafka 例項,一個例項掛了不影響其他例項
  • 主題(Topic):

    • 一組訊息的歸納(代表不同的業務,如超市辦會員,付款)。
    • 服務端訊息的邏輯儲存單元。一個 topic 通常包含若干個 Partition 分割槽。
  • 分割槽(Partition):

    • 一個 Topic 中的訊息資料按照多個分割槽組織,分割槽是 Kafka 訊息佇列組織的最小單位,一個分割槽可以看作是一個佇列。
    • 分散式儲存在各個 broker 中, 實現釋出與訂閱的負載均衡。
    • 若干個分割槽可以被若干個 Consumer 同時消費,達到消費者高吞吐量。
    • 單個 partition 有序,整體無序,整體有序就將資料都放到一個 partition 中,但是效率極低。
    • 每個分割槽有一個 leader,零或多個 follower。Leader 處理此分割槽的所有的讀寫請求,而follower被動的複製資料。如果leader當機,其它的一個follower會被推舉為新的leader。
    • 一臺伺服器可能同時是一個分割槽的 leader,另一個分割槽的 follower。 這樣可以平衡負載,避免所有的請求都只讓一臺或者某幾臺伺服器處理。
  • message:

    • 訊息,或稱日誌訊息,是 Kafka 服務端實際儲存的資料,每一條訊息都由一個 key、一個 value 以及訊息時間戳 timestamp 組成
  • offset:

    • 偏移量,分割槽中的訊息位置,由 Kafka 自身維護,Consumer 消費時也要儲存一份 offset 以維護消費過的訊息位置。

1.3、四個核心 API

  • Producer API 釋出訊息到1個或多個 topic(主題)中。
  • Consumer API 來訂閱一個或多個topic,並處理產生的訊息。
  • Streams API 充當一個流處理器,從1個或多個 topic 消費輸入流,並生產一個輸出流到1個或多個輸出 topic,有效地將輸入流轉換到輸出流。
  • Connector API 可構建或執行可重用的生產者或消費者,將 topic 連線到現有的應用程式或資料系統。例如,連線到關聯式資料庫的聯結器可以捕獲表的每個變更。

二、kafka 客戶端

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>${kafka.version}</version>
</dependency>

2.1、 KafkaProduce

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
 * @author xiandongxie  2020-06-04
 */
public class KafkaProducerTest {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "nn1.hadoop:9092,nn2.hadoop:9092,s1.hadoop:9092");
        // 判別請求是否為完整的條件(判斷是不是成功傳送了)。指定了“all”將會阻塞訊息,這種設定效能最低,但是是最可靠的
        props.put("acks", "all");
        // 如果請求失敗,生產者會自動重試,我們指定是0次,如果啟用重試,則會有重複訊息的可能性
        props.put("retries", 0);
        // 生產者快取每個分割槽未傳送的訊息。快取的大小是通過 batch.size 配置指定的。值較大的話將會產生更大的批。並需要更多的記憶體(每個“活躍”的分割槽都有1個緩衝區)
        props.put("batch.size", 16384);
        // 預設緩衝可立即傳送,即便緩衝空間還沒有滿,但是,如果想減少請求的數量,可以設定 linger.ms 大於0。
        // 這將指示生產者傳送請求之前等待一段時間,希望更多的訊息填補到未滿的批中。這類似於TCP的演算法,例如,可能100條訊息在一個請求傳送,因為我們設定了linger(逗留)時間為1毫秒,然後,如果我們沒有填滿緩衝區,這個設定將增加1毫秒的延遲請求以等待更多的訊息。需要注意的是,在高負載下,相近的時間一般也會組成批,即使是 linger.ms=0。在不處於高負載的情況下,如果設定比0大,以少量的延遲代價換取更少的,更有效的請求。
        props.put("linger.ms", 1);
        // 控制生產者可用的快取總量,如果訊息傳送速度比其傳輸到伺服器的快,將會耗盡這個快取空間。當快取空間耗盡,其他傳送呼叫將被阻塞,阻塞時間的閾值通過 max.block.ms 設定,之後它將丟擲一個TimeoutException。
        props.put("buffer.memory", 33554432);
        // key.serializer 和 value.serializer,將使用者提供的 key 和 value 物件 ProducerRecord 轉換成位元組,可以使用附帶的ByteArraySerializaer或StringSerializer處理簡單的string或byte型別。
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 100; i < 500; i++)
            // send()方法是非同步的,新增訊息到緩衝區等待傳送,並立即返回。生產者將單個的訊息批量在一起傳送來提高效率
            producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));

        producer.close();

    }
}

2.2、KafkaConsumer

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
 * 【自動提交偏移量】的簡單的kafka消費者API
 *
 * @author xiandongxie
 */
public class KafkaConsumerTest {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "nn1.hadoop:9092,nn2.hadoop:9092,s1.hadoop:9092");
        // 消費者組名稱
        props.put("group.id", "test");
        // 設定 enable.auto.commit,偏移量由 auto.commit.interval.ms 控制自動提交的頻率。
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        // 指定訂閱 topic 名稱
        consumer.subscribe(Arrays.asList("my-topic"));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }

    }
}

相關文章