「開源人說」第一期重磅上線!一起來看《十萬億條訊息背後的故事》

阿里雲開發者發表於2022-05-26
簡介:阿里每天近萬億級別的訊息是如何完成實時訊息傳遞的?幾十萬臺伺服器,成千上萬個應用順暢協作和訊息實時傳遞都離不開分散式訊息中介軟體RocketMQ。長久以來,RocketMQ 易於部署、高效能、高可用的架構,支撐了數十年來集團內外海量的業務場景。 2016年,阿里巴巴宣佈將開源分散式訊息中介軟體RocketMQ捐贈給Apache,並一舉成為Apache 頂級專案(TLP)。一個由中國開發者發起的專案,站在了一個世界的舞臺上,受到全球的企業和開發者關注。RocketMQ深受開發者歡迎,多次斬獲行業大獎,究竟是怎樣的一群人讓這一專案不斷迸發出蓬勃的生命力?

視訊連線:https://developer.aliyun.com/live/249109

這是一個從誕生第一天起就在GitHub上開發的開源專案,也是中國第一個非Hadoop生態的Apache頂級專案。它統一了阿里集團內部所有業務線的訊息中介軟體,伴隨著中國網際網路發展數次迭代。

《十萬億條訊息背後的故事》記錄了從誕生、開源到發展至今,那些RocketMQ背後鮮為人知的創始故事。通過「開源人說」的娓娓道來,讓我們一起來了解分散式訊息中介軟體Apache RocketMQ背後的人與事!

雙11,RocketMQ 抖一抖,上層業務“抖三抖”

早在2007年,阿里巴巴中介軟體團隊就自主研發了 訊息中介軟體Notify。作為RocketMQ的前身,在很長一段時間裡,Notify 作為主要的訊息中介軟體支撐著淘寶天貓業務。

Apache RocketMQ的創始人王小瑞於2011年加入到淘寶中介軟體。當時面臨最大挑戰是,每年“雙11”Notify都會出問題,使得訊息會延遲半天甚至一天以上,商家看不到買家已經購買了商品,這對於商家服務以及客戶體驗的影響非常大。在縝密研判後,發現問題核心就是如何能夠實現高速讀寫,王小瑞所在的團隊認為想要解決這一問題,就需要基於一個全新儲存架構來解決這個問題。於是,RocketMQ誕生了。

 title=

RocketMQ誕生,一開始就是開源共建,3個月就出了第一個版本

王小瑞(Apache RocketMQ 創始人&作者)說:“阿里的文化特別開放,我是在食堂跟小邪(現阿里雲基礎產品事業部負責人)吃飯的時候,說我們希望這個產品名字叫RocketMQ,希望它可以一開始就是開源的。小邪當時就給予了支援。”淘寶的文化也是馬上做,做精彩。如果你有想法,那你趕緊去做。所以我當時其實做夢的過程中都在想這些問題該怎麼解決。老闆沒有定一個嚴格的時間點,說你必須在什麼時間寫完,但我的想法是,我已經想清楚了整個架構,需要把它快速實現出來。”

從第一天開始,RocketMQ就在Github完整展現,也就是說RocketMQ的第一行程式碼對使用者就是開放的。在非常多國內外開發者的共同參與下。RocketMQ快速迭代,大概用了3個月時間就完成第一個版本。

2015年,中日韓開源論壇上,RocketMQ作為中國開源軟體的代表,榮獲CJK OSS大獎。

 title=

2016年“雙11”當天,達到萬億級訊息量,峰值TPS幾千萬,創造了國內乃至世界上最大的訊息流轉記錄。

 title=

RocketMQ 捐贈,僅用一年,成為Apache頂級開源專案

在阿里巴巴建立之初,正是基於開源軟體將整個電商平臺的原型快速搭建起來。阿里巴巴感恩開源社群帶來的巨大貢獻與價值,也希望將自身經驗分享出來、回饋社群,讓更多的人受益。

2016年,阿里巴巴將分散式訊息中介軟體RocketMQ捐贈給了Apache開源軟體基金會。僅用10個月時間就從Apache畢業,併成為Apache頂級專案(TLP)。這也標誌著中國擁有了第一個非Hadoop生態的頂級專案。

 title=

(2017年9月25日, 從孵化到畢業10個月左右的時間,Apache官方正式宣佈阿里巴巴捐贈給Apache社群的RocketMQ從社群正式畢業,成為了Apache頂級的專案。)

Apache RocketMQ 社群運營負責人王榮剛說:“我們終於完成了一個階段性的小目標,一個由中國開發者發起的專案,站在了一個世界的舞臺上,受到全球的企業和開發者的關注,那種感覺還是非常自豪的。”

2021年,RocketMQ 5.0正式釋出

2021年,在經歷社群眾多開發者的不斷努力,RocketMQ 5.0 出現在行業視野中,並引發廣泛討論。新版本核心包括兩大新亮點。首先,訊息核心場景全面擴充套件,RocketMQ 5.0 不再侷限於訊息解耦場景,將全新佈局事件驅動和訊息流式處理場景;其次,技術架構不斷演進,逐漸形成一站式融合處理的技術架構和趨勢。

2022年,批量訊息索引、邏輯佇列釋出RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成從業務訊息平臺向『訊息、事件、流』一體化融合處理平臺的升級。開發者可以實現一份訊息儲存,支援流式計算、非同步投遞、整合驅動等多個場景。實現技術問題一站式解決,大大降低技術複雜度和運維成本,簡化企業應用架構。

阿里巴巴開源委員會副主席丁宇表示:“未來,我們會加大RocketMQ的開源投入,構建更加繁榮的社群生態,希望與更多的開發者、貢獻者一起,追求極致、開放共享,實現技術普惠。”

正是因為有這樣一群熱愛開源並願意為它一直奮鬥的開源人們,讓中國的開源事業未來可期!


《開源人說》為阿里雲開發者社群與InfoQ 聯合出品的一檔精品開源視訊欄目。欄目圍繞阿里四大開源領域:雲原生、作業系統、資料庫、大資料&AI,介紹優秀的開源軟體:RocketMQ、Dubbo、Anolis OS(龍蜥作業系統)、Flink、PolarDB、OceanBase等背後的故事,記錄傳播阿里技術追求極致和開放共享的精神。

https://developer.aliyun.com/topic/opensourcefolkstalk

版權宣告:本文內容由阿里雲實名註冊使用者自發貢獻,版權歸原作者所有,阿里雲開發者社群不擁有其著作權,亦不承擔相應法律責任。具體規則請檢視《阿里雲開發者社群使用者服務協議》和《阿里雲開發者社群智慧財產權保護指引》。如果您發現本社群中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社群將立刻刪除涉嫌侵權內容。

相關文章