rocketmq事務訊息入門介紹

匠心零度發表於2018-07-30

說明

週五的時候發了篇:Rocketmq4.3支援事務啦!!!,趁著週末的時候把相關內容看了下,下面的主要內容就是關於RocketMQ事務相關內容介紹了。

說明: 今天這篇僅僅是入門介紹,並沒有涉及到很多細節,先把大概流程說明白,後續再具體細節進行開篇說明。

主題

  • 引出分散式事務相關內容。
  • RocketMQ事務訊息。
  • RocketMQ事務訊息如何使用。
  • RocketMQ事務訊息是怎麼實現的。
  • 為什麼需要事務訊息會查機制。
  • RocketMQ是怎麼進行事務訊息會查的。
  • RocketMQ對於分散式事務解決還有那些侷限性?以及說明。

引出分散式事務相關內容

這裡主要是想說明下,是什麼背景下面產生了此類問題。

首先我們來說說事務,說道事務,首先讓我想到的就是我大學的時候,老師經常舉例轉賬的事情,例子是這樣的:

銀行轉賬!張三轉100塊到李四的賬戶,這其實需要兩條SQL語句:

  • 給張三的賬戶減去100元
  • 給李四的賬戶加上100元

如果在第一條SQL語句執行成功後,在執行第二條SQL語句之前,程式被中斷了(可能是丟擲了某個異常,也可能是其他什麼原因),那麼李四的賬戶沒有加上100元,而張三卻減去了100元。這肯定是不行的!

你現在可能已經知道什麼是事務了吧!事務中的多個操作,要麼完全成功,要麼完全失敗!不可能存在成功一半的情況!也就是說給張三的賬戶減去100元如果成功了,那麼給李四的賬戶加上100元的操作也必須是成功的;否則給張三減去100元,以及給李四加上100元都是失敗的!

如果在單個服務裡面,我們使用spring的話,我們使用一個註解就解決了這個問題(@Transactional註解就解決了,基本上就沒有下文什麼事情了。)

隨著各各公司服務越來越複雜,資料量越來越多,慢慢的公司就引入了微服務以及分庫分表等技術,這些技術的確非常的有用,但是在解決事務方面帶來了一下問題。

強調下:分散式事務,我們一般都是強調的最終一致性,而不是強一致性!!!

主要概括為3類:

  • 基於單個JVM,資料庫分庫分表了(跨多個資料庫)。
  • 基於多JVM,服務拆分了(不跨資料庫)。
  • 基於多JVM,服務拆分了 並且資料庫分庫分表了。

正是為了解決上面的3類問題,才引入了分散式事務相關的技術來解決這些問題。

分散式事務解決方案有很多,本篇下面需要說的RocketMQ事務訊息僅僅是其中的一種解決方案。

RocketMQ事務訊息

這裡主要是參考RocketMQ官方文件裡面的內容,參考地址:

http://rocketmq.apache.org/rocketmq/the-design-of-transactional-message/

Half(Prepare) Message

指的是暫不能投遞的訊息,傳送方已經將訊息成功傳送到了 MQ 服務端,但是服務端未收到生產者對該訊息的二次確認,此時該訊息被標記成“暫不能投遞”狀態,處於該種狀態下的訊息即半訊息。

訊息回查

由於網路閃斷、生產者應用重啟等原因,導致某條事務訊息的二次確認丟失,MQ 服務端通過掃描發現某條訊息長期處於“半訊息”時,需要主動向訊息生產者詢問該訊息的最終狀態(Commit 或是 Rollback),該過程即訊息回查。

執行流程圖

截圖

  1. 傳送方向 MQ 服務端傳送訊息。
  2. MQ Server 將訊息持久化成功之後,向傳送方 ACK 確認訊息已經傳送成功,此時訊息為半訊息。
  3. 傳送方開始執行本地事務邏輯。
  4. 傳送方根據本地事務執行結果向 MQ Server 提交二次確認(Commit 或是 Rollback),MQ Server 收到 Commit 狀態則將半訊息標記為可投遞,訂閱方最終將收到該訊息;MQ Server 收到 Rollback 狀態則刪除半訊息,訂閱方將不會接受該訊息。
  5. 在斷網或者是應用重啟的特殊情況下,上述步驟4提交的二次確認最終未到達 MQ Server,經過固定時間後 MQ Server 將對該訊息發起訊息回查。
  6. 傳送方收到訊息回查後,需要檢查對應訊息的本地事務執行的最終結果。
  7. 傳送方根據檢查得到的本地事務的最終狀態再次提交二次確認,MQ Server 仍按照步驟4對半訊息進行操作。

事務訊息傳送對應步驟1、2、3、4,事務訊息回查對應步驟5、6、7。

RocketMQ事務訊息如何使用

1、引入 rocketmq-client

rocketmq事務訊息入門介紹

目前還沒有,等幾天就會有了,或者自己下載原始碼進行打包到自己的私有倉庫也是一樣的,經過和4.2.0的引入差不多,就是換成4.3.0即可。

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.3.0</version>
</dependency>
複製程式碼

2、編寫Producer

主要參考RocketMQ4.3.0裡面的例子,地址為:

https://github.com/apache/rocketmq/tree/release-4.3.0/example/src/main/java/org/apache/rocketmq/example/transaction

rocketmq事務訊息入門介紹

備註:和普通訊息傳送DefaultMQProducer有所不同,這裡使用的是TransactionMQProducer

rocketmq事務訊息入門介紹

關鍵點: 自己實現TransactionListener介面,並實現executeLocalTransaction方法(執行本地事務的,一般就是操作DB相關內容)和checkLocalTransaction方法(用來提供給broker進行會查本地事務訊息的,把本地事務執行的結果儲存到redis或者DB中都可以,為會查做資料準備)。

還是以:給張三的賬戶減去100元, 給李四的賬戶加上100元為例。這個時候我們傳送就相當於做的是張三的賬戶減去100元的操作,並且操作DB成功了,下面就是另外對李四的賬戶加上100元的操作了,這個時候就是相當於定義剛剛傳送事務訊息的topic,消費端和我們普通的消費端沒有什麼區別。

思考:假如這個時候我們消費端失敗了怎麼辦呢?(這個問題後續有討論,消費失敗有2種,第一種是超時了,我們重試即可,第二種是真的處理失敗了?該怎麼辦呢?)

RocketMQ事務訊息是怎麼實現的

第一感覺和定時訊息做法非常類似,但是比定時訊息要複雜。定時訊息內容在:RocketMQ(九):訊息傳送(續)裡面提到過。

本質: 定時訊息先把定時訊息的topic修改為SCHEDULE_TOPIC_XXXX,之後一系列處理……,我們這個事務訊息也是一樣,先傳送Half(Prepare) Message訊息的時候,其實topic內容也繼續了修改(RMQ_SYS_TRANS_HALF_TOPIC),所有consumer是不可見的(如果提交就用真實topic,如果需要回滾那麼就那臨時的topic內容刪除即可。)

Half(Prepare) Message修改topic斷點如下:

rocketmq事務訊息入門介紹

本篇僅僅是一個入門介紹,裡面具體細節後續章節會進行分析。

思考: 如果把傳送普通訊息和本地執行邏輯放在一個事務裡面,如果執行事務成功就傳送普通訊息,如果失敗就回滾好像也是可以,那麼這種事務訊息相對其有什麼優勢或者好處呢??? 思考下。

為什麼需要事務訊息會查機制

其實這個內容在,RocketMQ事務訊息介紹裡面也說明了,由於網路閃斷、生產者應用重啟等原因,導致某條事務訊息的二次確認丟失,MQ 服務端通過掃描發現某條訊息長期處於“半訊息”時,需要主動向訊息生產者詢問該訊息的最終狀態(Commit 或是 Rollback),該過程即訊息回查。那麼RocketMQ到底怎麼做的呢?下面馬上就會介紹。

RocketMQ是怎麼進行事務訊息會查的

每60s會對Half(Prepare) Message的topic主題為RMQ_SYS_TRANS_HALF_TOPIC的訊息進行check。

rocketmq事務訊息入門介紹

rocketmq事務訊息入門介紹

broker會呼叫自己實現TransactionListener介面的checkLocalTransaction方法

rocketmq事務訊息入門介紹

備註: 就是RocketMQ已經實現這個機制,今天這篇僅僅是入門介紹,並沒有涉及到很多細節,先把大概流程說明白,後續再具體細節進行開篇說明。

RocketMQ對於分散式事務解決還有那些侷限性?以及說明

在RocketMQ事務訊息如何使用的時候我們提到,**如果消費失敗怎麼辦?**消費失敗有2種,第一種是超時了,我們重試即可,第二種是真的處理失敗了?仔細思考下,這塊還是蠻複雜的,假如需要有7-8個業務模組呢,其中執行到第6個業務模組就失敗呢? **這種重試好幾次還是失敗,我們該如何處理呢???**是回滾前面5個操作嗎?好複雜好複雜,為什麼RocketMQ不提供自動回滾呢? 希望大家思考下,如果失敗率比較大,那麼就是系統問題需要優化程式碼業務……

據零度瞭解,很多這塊是通過人工介入以及T+1對賬的以及補償機制等。

結束語

本人水平有限,難免會有一些理解偏差的地方,如果發現,歡迎各位積極指出,感謝!!!


如果讀完覺得有收穫的話,歡迎點贊、關注、加公眾號【匠心零度】,查閱更多精彩歷史!!!

img

相關文章