Kafka v2.3 快速入門與實踐

Rickie發表於2022-03-19
訊息佇列應用場景:應用解耦、非同步訊息、流量削峰等問題,實現高效能、高可用、可伸縮和最終一致性架構。
Kafka是由LinkedIn開發的一個分散式的訊息系統,可獨立部署在單臺伺服器上,也可部署在多臺伺服器上構成叢集。它提供了釋出與訂閱功能。使用者可以傳送資料到Kafka叢集中,也可以從Kafka叢集中讀取資料。Kafka使用Scala編寫,它以可水平擴充套件和高吞吐率而被廣泛使用。
Kafka v2.3 快速入門與實踐
目前越來越多的開源分散式處理系統如Storm,Spark,Flink都支援與Kafka整合。現在我們的資料實時處理平臺也使用到了Kafka。現在它已被多家不同型別的公司作為多種型別的資料管道和訊息系統使用。
 
如下是Kafka訊息中介軟體的架構圖:
Kafka v2.3 快速入門與實踐
本技術專欄從實戰出發,透過零基礎入門-環境搭建-專案案例實戰,讓初學者快速掌握Kafka相關技術要點並投入實際專案開發,其中包括Kafka安裝和配置、Kafka基本元件的實現機制、Zookeeper和控制器Controller、Kafka訊息生產者和訊息者的程式碼實現、以及和Spring Boot的整合開發、Kafka 視覺化客戶端工具Kafka Tool 2(Offset Explorer)和Kafka Eagle、Kafka Connect 聯結器和Debezium等等。
 
專欄主要包含如下內容:
  • 快速瞭解訊息佇列和Kafka基本概念、使用場景、以及效能好的原因
  • Kafka v2.3.1 安裝、配置、啟動和基本操作
  • 安裝和配置Kafka叢集開源的視覺化監控工具-Kafka Eagle
  • Kafka broker 開啟 JMX監控
  • Kafka基本元件的實現機制,為什麼要將Topic進行分割槽?如何保證高可靠性?
  • Kafka的後設資料儲存Zookeeper以及控制器Controller
  • Kafka v2.3.1透過客戶端API實現簡單生產者和消費者
  • Kafka生產者Producer使用非同步模式傳送訊息
  • Kafka生產者Producer使用多執行緒傳送訊息
  • Kafka訊息傳送的主要步驟、配置引數、以及如何保證訊息有序?
  • Kafka v2.3.1透過spring-kafka實現生產者和消費者
  • Kafka v2.3和Spring Boot v2.2.1使用@KafkaListener實現單條或批次接收訊息
  • 深入瞭解spring-kafka中核心技術概念-訊息監聽器、監聽器容器併發數、@KafkaListener註解等等
  • spring-kafka 操作Topic以及視覺化監控工具Kafka Eagle的使用
  • Kafka v2.3和Spring Boot v2.2.1整合專案示例原始碼
  • Kafka視覺化客戶端工具Kafka Tool 2的基本使用
  • Kafka 在生產者Producer中實現並使用自定義分割槽器Partitioner
  • 圖文並茂演示如何透過Kafka Connect聯結器建立資料管道
  • 圖文並茂演示Kafka Connect在分散式模式下將資料匯入/匯出Kafka Topic
  • Debezium和Kafka Connect實現MySQL資料高效實時同步Kafka Topic
  • Kafka Stream快速入門和例項專案WordCount詳細演示

 

相關文章