老弟問我，RocketMQ 中的 ProcessQueue 怎麼理解？
大家好，我是君哥。
今天來分享 RocketMQ 中一個非常重要又不太好理解的知識點-ProcessQueue。
一句話概括，ProcessQueue 就是 MessageQueue 的消費快照。看下面這張圖：
1 ProcessQueue 構建
RocketMQ 客戶端啟動時，會開啟一個 rebalance 執行緒，程式碼如下:
//MQClientInstance.java
public void start() throws MQClientException {
synchronized (this) {
switch (this.serviceState) {
case CREATE_JUST:
//...
// Start rebalance service
this.rebalanceService.start();
//...
}
}
}
這個執行緒會不停的做重平衡操作，對 ProcessQueue 進行維護。在重平衡執行緒類 RebalanceImpl 定義了一個變數 processQueueTable，資料結構如下：
可以看到，在 processQueueTable 這個資料結構上維護了 MessageQueue 和 ProcessQueue 的對映。
下面看一下維護 processQueueTable 的程式碼：
private boolean updateProcessQueueTableInRebalance(final String topic, final Set<MessageQueue> mqSet,
final boolean isOrder) {
boolean changed = false;
Iterator<Entry<MessageQueue, ProcessQueue>> it = this.processQueueTable.entrySet().iterator();
while (it.hasNext()) {
Entry<MessageQueue, ProcessQueue> next = it.next();
MessageQueue mq = next.getKey();
ProcessQueue pq = next.getValue();
if (mq.getTopic().equals(topic)) {
if (!mqSet.contains(mq)) {
//從processQueueTable上移除
} else if (pq.isPullExpired()) {
switch (this.consumeType()) {
case CONSUME_ACTIVELY://拉模式
break;
case CONSUME_PASSIVELY://推模式
//從processQueueTable上移除
break;
default:
break;
}
}
}
}
//建立ProcessQueue並放到processQueueTable
List<PullRequest> pullRequestList = new ArrayList<PullRequest>();
for (MessageQueue mq : mqSet) {
if (!this.processQueueTable.containsKey(mq)) {
//...
ProcessQueue pq = new ProcessQueue();
long nextOffset = -1L;
try {
nextOffset = this.computePullFromWhereWithException(mq);
} catch (Exception e) {
log.info("doRebalance, {}, compute offset failed, {}", consumerGroup, mq);
continue;
}
if (nextOffset >= 0) {
ProcessQueue pre = this.processQueueTable.putIfAbsent(mq, pq);
if (pre != null) {
log.info("doRebalance, {}, mq already exists, {}", consumerGroup, mq);
} else {
//封裝好processQueueTable後再建立一個PullRequest進行訊息拉取
log.info("doRebalance, {}, add a new mq, {}", consumerGroup, mq);
PullRequest pullRequest = new PullRequest();
pullRequest.setConsumerGroup(consumerGroup);
pullRequest.setNextOffset(nextOffset);
pullRequest.setMessageQueue(mq);
pullRequest.setProcessQueue(pq);
pullRequestList.add(pullRequest);
changed = true;
}
} else {
log.warn("doRebalance, {}, add new mq failed, {}", consumerGroup, mq);
}
}
}
this.dispatchPullRequest(pullRequestList);
return changed;
}
2 拉取訊息
上一節中構建 ProcessQueue 後，會再建立一個 PullRequest，這個 PullRequest 封裝了 MessageQueue 和 ProcessQueue，建立成功後被放到了 PullMessageService 中的 pullRequestQueue 變數：
//PullMessageService.java
private final LinkedBlockingQueue<PullRequest> pullRequestQueue = new LinkedBlockingQueue<PullRequest>();
public void executePullRequestImmediately(final PullRequest pullRequest) {
try {
this.pullRequestQueue.put(pullRequest);
} catch (InterruptedException e) {
log.error("executePullRequestImmediately pullRequestQueue.put", e);
}
}
這裡以 RocketMQ 的推模式為例，Consumer 拉取到訊息後，會進行如下處理：
對拉取到的訊息根據 TAG 再次 進行過濾； 更新 PullRequest 下次拉取的偏移量 nextOffset； 把拉取的訊息封裝到 ProcessQueue 的 msgTreeMap（ 放到 msgTreeMap 之前首先要獲取到寫鎖 treeMapLock ）； 封裝 ConsumeRequest 進行訊息消費; 封裝訊息拉取請求再次進行拉取。
程式碼如下：
//DefaultMQPushConsumerImpl.java
public void onSuccess(PullResult pullResult) {
if (pullResult != null) {
//1. 對拉取到的訊息根據 TAG 再次進行過濾
pullResult = DefaultMQPushConsumerImpl.this.pullAPIWrapper.processPullResult(pullRequest.getMessageQueue(), pullResult,
subscriptionData);
switch (pullResult.getPullStatus()) {
case FOUND:
//2. 更新 PullRequest 下次拉取的偏移量 nextOffset
pullRequest.setNextOffset(pullResult.getNextBeginOffset());
if (pullResult.getMsgFoundList() == null || pullResult.getMsgFoundList().isEmpty()) {
DefaultMQPushConsumerImpl.this.executePullRequestImmediately(pullRequest);
} else {
//3. 把拉取的訊息封裝到 ProcessQueue 的 msgTreeMap
boolean dispatchToConsume = processQueue.putMessage(pullResult.getMsgFoundList());
//4. 封裝 ConsumeRequest 進行訊息消費
DefaultMQPushConsumerImpl.this.consumeMessageService.submitConsumeRequest(
pullResult.getMsgFoundList(),
processQueue,
pullRequest.getMessageQueue(),
dispatchToConsume);
//5. 封裝訊息拉取請求
if (DefaultMQPushConsumerImpl.this.defaultMQPushConsumer.getPullInterval() > 0) {
DefaultMQPushConsumerImpl.this.executePullRequestLater(pullRequest,
DefaultMQPushConsumerImpl.this.defaultMQPushConsumer.getPullInterval());
} else {
DefaultMQPushConsumerImpl.this.executePullRequestImmediately(pullRequest);
}
}
break;
//...
}
}
}
3 消費訊息
在上一節提到過，拉取到訊息後，會把訊息封裝成一個 ConsumeRequest,這個執行緒類會呼叫消費者定義的 MessageListener 進行消費處理。看一下原始碼：
//ConsumeMessageConcurrentlyService.ConsumeRequest
public void run() {
if (this.processQueue.isDropped()) {
log.info("the message queue not be able to consume, because it's dropped. group={} {}", ConsumeMessageConcurrentlyService.this.consumerGroup, this.messageQueue);
return;
}
MessageListenerConcurrently listener = ConsumeMessageConcurrentlyService.this.messageListener;
ConsumeConcurrentlyContext context = new ConsumeConcurrentlyContext(messageQueue);
ConsumeConcurrentlyStatus status = null;
try {
status = listener.consumeMessage(Collections.unmodifiableList(msgs), context);
}//...
if (!processQueue.isDropped()) {
ConsumeMessageConcurrentlyService.this.processConsumeResult(status, context, this);
}
}
訊息消費成功後，會呼叫 processConsumeResult 方法進行結果處理。對於廣播模式，傳送失敗後不會做重試，相當於把訊息丟棄，而對於叢集模式，消費失敗的訊息會傳送到 Broker 端等待消費者重新拉取進行重試。
消費結果處理完後，消費成功的訊息會從 ProcessQueue 的 msgTreeMap 中移除（需要獲取到寫鎖 treeMapLock），同時從 msgTreeMap 中獲取最小的 Offset 來更新對應 MessageQueue 的偏移量。這個邏輯可以參考下面程式碼：
public void processConsumeResult(
final ConsumeConcurrentlyStatus status,
final ConsumeConcurrentlyContext context,
final ConsumeRequest consumeRequest
) {
int ackIndex = context.getAckIndex();
switch (status) {
case CONSUME_SUCCESS:
if (ackIndex >= consumeRequest.getMsgs().size()) {
ackIndex = consumeRequest.getMsgs().size() - 1;
}
int ok = ackIndex + 1;
break;
//...
}
switch (this.defaultMQPushConsumer.getMessageModel()) {
case BROADCASTING:
//...
break;
case CLUSTERING:
List<MessageExt> msgBackFailed = new ArrayList<MessageExt>(consumeRequest.getMsgs().size());
for (int i = ackIndex + 1; i < consumeRequest.getMsgs().size(); i++) {
MessageExt msg = consumeRequest.getMsgs().get(i);
//消費失敗的，傳送回Broker
boolean result = this.sendMessageBack(msg, context);
//...
}
break;
default:
break;
}
//從msgTreeMap中移除並返回msgTreeMap第一條訊息的offset
long offset = consumeRequest.getProcessQueue().removeMessage(consumeRequest.getMsgs());
if (offset >= 0 && !consumeRequest.getProcessQueue().isDropped()) {
this.defaultMQPushConsumerImpl.getOffsetStore().updateOffset(consumeRequest.getMessageQueue(), offset, true);
}
}
4 消費者限流
4.1 快取訊息數量
如果消費者快取的訊息數量大於 RocketMQ 配置的閾值（預設 1000），就會觸發延遲拉取，而消費者快取的訊息數量就來自 ProcessQueue，看下面程式碼：
long cachedMessageCount = processQueue.getMsgCount().get();
if (cachedMessageCount > this.defaultMQPushConsumer.getPullThresholdForQueue()) {
this.executePullRequestLater(pullRequest, PULL_TIME_DELAY_MILLS_WHEN_FLOW_CONTROL);
return;
}
4.2 快取的訊息大小
如果消費者快取的訊息大小大於 RocketMQ 配置的閾值（預設 100M），就會觸發延遲拉取，而消費者快取的訊息大小就來自 ProcessQueue，看下面程式碼：
long cachedMessageSizeInMiB = processQueue.getMsgSize().get() / (1024 * 1024);
if (cachedMessageSizeInMiB > this.defaultMQPushConsumer.getPullThresholdSizeForQueue()) {
this.executePullRequestLater(pullRequest, PULL_TIME_DELAY_MILLS_WHEN_FLOW_CONTROL);
return;
}
4.3 訊息間隔
對於普通訊息，如果消費偏移量間隔大於配置的閾值（預設 2000），就會觸發延遲拉取，而訊息間隔就來自 ProcessQueue，看下面程式碼：
if (!this.consumeOrderly) {
if (processQueue.getMaxSpan() > this.defaultMQPushConsumer.getConsumeConcurrentlyMaxSpan()) {
this.executePullRequestLater(pullRequest, PULL_TIME_DELAY_MILLS_WHEN_FLOW_CONTROL);
return;
}
}
4.4 獲取鎖失敗
對於順序訊息，如果獲取鎖失敗，也會觸發延遲拉取，而判斷獲取鎖是否成功，也是在 ProcessQueue，看下面程式碼：
if (processQueue.isLocked()) {
//...
} else {
this.executePullRequestLater(pullRequest, pullTimeDelayMillsWhenException);
}
5 總結
ProcessQueue 是 MessageQueue 的消費快照，可以協助消費者進行訊息拉取、訊息消費、更新偏移量、限流。最後，看一下 ProcessQueue 的資料結構：
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/70024922/viewspace-2940023/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- 請問測試中 Gauge 的 [Concept] 怎麼翻譯，怎麼理解。
- PYTORCH中的學習率怎麼理解PyTorch
- RocketMQ的訊息是怎麼丟失的MQ
- Dubbo對Spring Cloud說：來老弟，我要擁抱你SpringCloud
- 雲原生訊息佇列RocketMQ：為什麼我們選擇 RocketMQ佇列MQ
- RocketMQ實戰疑問和原理解答(實時更新)MQ
- RocketMQ為什麼這麼快？我從原始碼中扒出了10大原因！MQ原始碼
- 【RocketMq】商用RocketMq和開源RocketMq的相容問題解決方案MQ
- 同事問我MySQL怎麼遞迴查詢，我懵逼了MySql遞迴
- 學妹問我：我遇到了OutOfMemoryError異常怎麼辦？Error
- 都問我萬能碼做得怎麼樣
- 不要再問我Java程式是怎麼執行的了！Java
- JS每日一題:vue中keepalive怎麼理解？JS每日一題Vue
- [提問交流]我的公共函式呼叫不出來怎麼解函式
- RocketMq中MessageQueue的分配MQ
- 你是怎麼理解ES6中 Decorator 的？使用場景？
- 你是怎麼理解ES6中 Promise的？使用場景？Promise
- 你是怎麼理解ES6中Module的？使用場景？
- 你是怎麼理解ES6中Proxy的？使用場景?
- 你是怎麼理解ES6中 Generator的？使用場景？
- 冴羽答讀者問：你是怎麼理解知行合一的？
- 怎麼理解php的中介軟體PHP
- 怎麼通俗易懂的理解OSPF？
- 怎麼在 Fedora 中建立我的第一個 RPM 包？
- 談談我對js中閉包的理解JS
- 找物件的過程中，我竟然理解了什麼是機器學習！物件機器學習
- 雲端計算面試常見問題，怎麼理解shell？面試
- 深入理解 RocketMQ -事務訊息MQ
- RocketMQ中NameServer的啟動MQServer
- 老弟想自己做個微信，被我一個問題勸退了。。
- 面試問我，建立多少個執行緒合適？我該怎麼說面試執行緒
- JWT？我一直都是這麼理解的......JWT
- 掘金 AMA：我是掘金小冊《Redis 深度歷險》、《深入理解 RPC》的作者 -- 老錢，你有什麼問題想問我嗎？RedisRPC
- 掘金 AMA：我是掘金小冊《Redis 深度歷險》、《深入理解 RPC》的作者 — 老錢，你有什麼問題想問我嗎？RedisRPC
- 怎麼更新BI報表資料？問我就對了
- 怎麼理解docker的本質是程式Docker
- 來了老弟，最簡單的Promise原理Promise
- 防火牆是什麼？怎麼理解？防火牆