# 一、背景

- 公司業務分 2個Kafka，我們組一個，其他組公用一個
- 我們組有2個業務在 Java並行流中發訊息到 其他組的Kafka，一個是 批次管理介面(app介面公用底層方法，不是批次的，沒有用 並行流)，另一個是 消費我們組Kafka訊息然後傳送。
- 使用 spring-boot-maven-plugin 打包，釋出到生產環境以後，偶爾會接到 傳送訊息到其他組Kafka報錯告警，Invalid value org.apache.kafka.common.serialization.StringSerializer for configuration key.serializer: Class org.apache.kafka.common.serialization.StringSerializer could not be found.

# 二、臨時方案

1. 查了 測試、開發 環境 最近1個月的日誌，沒有出現過這個錯誤
2. 網上搜尋的結果，應該是 類載入器的問題
3. 本地 IDEA開發工具 啟動程式、打包jar執行，訪問 app介面，都沒有重現
4. 生產環境第一次以後就正常，並且沒有重現的情況下，不敢修改上線，只能先加異常處理

# 三、原因分析

- 類載入器不一樣
- 使用 spring-boot-maven-plugin 打包出來是 fat jar，其中 BOOT-INF/lib/ 存放依賴jar，BOOT-INF/classes/ 存放專案的 classes，使用spring自定義的 ClassLoader 載入
- 業務處理使用了parallelStream包括髮kafka訊息，底層使用ForkJoin執行緒池，因為是JDK的類，使用BootClassLoader載入，BootClassLoader 載入不到 spring自定義目錄 BOOT-INF的類

# 四、最終方案

1. 方案一：不使用 並行
介面這邊批次不會特別大，並且是 操作Redis，就改回 普通stream

2. 方案二：自定義執行緒池
消費Kafka那邊，原來加 parallelStream() 就是因為 每條訊息要做 幾個業務處理，序列的話，效能不夠(Kafka分割槽數公司不允許加太多了，現在9個)

注意：***建議使用 自定義ForkJoinPool + submit() + join()。不能用 execute()，因為它是 非同步執行的，也就是說，這條訊息 可能和 後面的訊息同時處理，產生併發問題。***

```java
// 自定義ForkJoinPool，預設的使用 BootClassLoader載入，有問題
ForkJoinPool bizPool = new ForkJoinPool(6, new ForkJoinWorkerThreadFactory() {
    @Override
    public ForkJoinWorkerThread newThread(ForkJoinPool pool) {
        return new ForkJoinWorkerThread(pool) {
        };
    }
}, null, false);
```

```java
for (String msg : msgs) {
    bizPool.submit(() -> list.parallelStream().forEach(item -> {
        // do something, then send to kafka
    })).join();
}
```

本文釋出於 [https://www.890808.xyz/spring-boot-kafka-send-error-with-fork-join/](https://www.890808.xyz/spring-boot-kafka-send-error-with-fork-join/) ，其他平臺需要稽核更新慢一些。

![javalover123](https://img.890808.xyz/file/javalover123/2023/04/688b88cfd4ed9f6fcd56828b849ce47c.jpg)

五、參考連結

[kafka消費者報錯：Class org.apache.kafka.common.serialization.StringDeserializer could not be found._Jaming R的部落格-CSDN部落格](https://blog.csdn.net/yixiaoqi2010/article/details/88987929)

[Kafka Producer - org.apache.kafka.common.serialization.StringSerializer could not be found - Stack Overflow](https://stackoverflow.com/questions/37363119/kafka-producer-org-apache-kafka-common-serialization-stringserializer-could-no)

[Fix StringSerializer could not be found when it not in ContextClassLoader by eshizhan · Pull Request #10938 · apache/kafka (github.com)](https://github.com/apache/kafka/pull/10938/files/a1d3e7ee2aa0d04b4a55e765eed7fdedf10dca23)

spring boot使用Java並行流傳送kafka訊息報錯

相關文章