1、前言
上個星期完成了surging 的0.9.0.1 更新工作,此版本通過nuget下載引擎元件,下載後,無需通過程式碼build整合,引擎會通過Sidecar模式自動掃描裝配異構元件來構建服務引擎,而這篇將介紹淺談surging服務引擎中的rabbitmq元件和容器化部署
2、Sidecar模式
比如現在比較火的Service Mesh, 談到Service Mesh,就不得不瞭解下Sidecar模式,Sidecar設計模式被越來越多的關注和採用,此模式之所以稱作Sidecar,是因為它類似於三輪摩托車上的挎鬥。 在此模式中,挎鬥附加到應用程式中,為應用程式提供支援性功能。挎鬥與應用程式具有相同的生命週期:與應用程式一起建立,一起停用。 挎鬥模式有時也稱為搭檔模式,這是一種分解模式。而surging 採用了Sidecar模式用來附加元件,而使用Sidecar模式有以下功能
- 共享儲存空間
引擎元件部署到共享的檔案目錄裡,服務引擎從共享的檔案目錄掃描引擎元件檔案。
- 共享元件和業務的配置檔案
針對於元件的配置檔案部署到共享的檔案目錄裡,服務引擎從共享的檔案目錄載入檔案。
- 獨立的業務服務
針對於業務可以把依賴的元件打包部署到共享的檔案目錄裡,服務引擎從共享的檔案目錄掃描載入,從而部署成獨立的業務服務
- 內建多種協議
針對於獨立部署的業務服務,內建了多種協議,提供給服務和外部程式進行呼叫
模式特點
-
隔離:讓元件都能夠關注核心問題。比如eventbus、Logger、 netty 在實現功能的同時無需關注其它元件的實現而發生的衝突;
-
單一責任原則:每個元件都應該職責分開,而根據這一原則,職責應該是對應一個類、模組或者介面,從而能夠獨立進行處理。
-
內聚性/可重用性:針對元件的特性,方法可以進行重用,從而滿足元件可持續擴充套件。
3、基於Event Bus 的Rabbitmq元件
surging服務引擎擴充套件了基於eventbus 的rabbitmq ,元件可以選擇繫結 Normal,Retry(Dead letter),Fail ,如下圖所示。
而針對於該元件有哪些應用場景呢?
- 商品秒殺和搶購
搶購/秒殺是如今很常見的一個應用場景,在高併發的流量訪問下可以將使用者放入到搶購佇列中,購買成功則銷燬訊息。
- 最終資料的一致性
在大型業務中,系統一般由多個獨立的服務組成,在分散式呼叫時候把訊息放入到rabbitmq 佇列中,再通過訊息的冪等性來解決資料的最終一致性
- 訂單失效處理
在購買商品/服務生成訂單業務中,會設定支付時間,如果一直未支付,會直接關閉訂單,而這個場景可以通過死信佇列的來解決
示例程式碼
可以通過繼承BaseIntegrationEventHandler或者IIntegrationEventHandler,再通過QueueConsumer特性進行標識,具體程式碼如下
[QueueConsumer("UserLoginDateChangeHandler",QueueConsumerMode.Normal)] public class UserLoginDateChangeHandler : BaseIntegrationEventHandler<UserEvent> { private readonly IUserService _userService; public UserLoginDateChangeHandler() { _userService = ServiceLocator.GetService<IUserService>("User"); } public override async Task Handle(UserEvent @event) { Console.WriteLine($"消費1。"); await _userService.Update(@event.UserId, new UserModel() { Age = @event.Age, Name = @event.Name, UserId = @event.UserId }); Console.WriteLine($"消費1失敗。"); throw new Exception(); } public override Task Handled(EventContext context) { Console.WriteLine($"呼叫{context.Count}次。型別:{context.Type}"); var model = context.Content as UserEvent; return Task.CompletedTask; } }
可以通過以下選項去更改配置
1 "EventBus": { 2 "EventBusConnection": "${EventBusConnection}|localhost", 3 "EventBusUserName": "${EventBusUserName}|guest",//使用者名稱 4 "EventBusPassword": "${EventBusPassword}|guest",//密碼 5 "VirtualHost": "${VirtualHost}|/", 6 "MessageTTL": "${MessageTTL}|30000",//訊息過期時間,比如過期時間是30分鐘就是1800000 7 "RetryCount": "${RetryCount}|1",//重試次數,這裡設定的延遲佇列,只能設定為1 8 "FailCount": "${FailCount}|3",//處理失敗流程重試次數,如果出現異常,會進行重試 9 "prefetchCount": "${PrefetchCount}|0",//設定均勻分配消費者訊息的個數 10 "BrokerName": "${BrokerName}|surging_demo",//exchange 名稱 11 "Port": "${EventBusPort}|5672"//埠 12 }
生成繫結的佇列如下圖
通過rabbitmq管理工具,可以通過properties來檢視重試次數count 等一些資訊,如下圖所示
4、如何部署
surging 服務引擎構建映象部署在docker中,可以按照業務需求自定義化引擎,也可以從 docker hub中pull映象,可以按照如下流程從docker hub 拉取部署映象
如何pull映象
可以通過命令:
docker pull serviceengine/surging
可以指定具體的tag來拉取,比如需要拉取v0.9.0.2,執行以下命令
docker pull serviceengine/surging:v0.9.0.2
如何配置
1.映象可以用環境變數設定相關引數,而通過以下的預設配置檔案知曉如何通過環境變數配置引數,配置的規則:${環境變數名}|預設值
{ "Surging": { "Ip": "${Surging_Server_IP}|0.0.0.0", "WatchInterval": 30, "Port": "${Surging_Server_Port}|99", "MappingIp": "${Mapping_ip}", "MappingPort": "${Mapping_Port}", "Token": "true", "MaxConcurrentRequests": 20, "ExecutionTimeoutInMilliseconds": 30000, "Protocol": "${Protocol}|None", //Http、Tcp、None "RootPath": "${RootPath}|D:\userapp", "Ports": { "HttpPort": "${HttpPort}|280", "WSPort": "${WSPort}|96" }, "RequestCacheEnabled": false, "Packages": [ { "TypeName": "EnginePartModule", "Using": "${UseEngineParts}|DotNettyModule;NLogModule;MessagePackModule;ConsulModule;HttpProtocolModule;WSProtocolModule;EventBusRabbitMQModule;" } ] }, //如果引用多個同型別的元件,需要配置Packages,如果是自定義按需引用,無需配置Packages "Consul": { "ConnectionString": "${Register_Conn}|127.0.0.1:8500", // "127.0.0.1:8500", "SessionTimeout": "${Register_SessionTimeout}|50", "RoutePath": "${Register_RoutePath}", "ReloadOnChange": true }, "EventBus_Kafka": { "Servers": "${EventBusConnection}|localhost:9092", "MaxQueueBuffering": "${MaxQueueBuffering}|10", "MaxSocketBlocking": "${MaxSocketBlocking}|10", "EnableAutoCommit": "${EnableAutoCommit}|false", "LogConnectionClose": "${LogConnectionClose}|false", "OffsetReset": "${OffsetReset}|earliest", "GroupID": "${EventBusGroupID}|surgingdemo" }, "EventBus": { "EventBusConnection": "${EventBusConnection}|localhost", "EventBusUserName": "${EventBusUserName}|guest", "EventBusPassword": "${EventBusPassword}|guest", "VirtualHost": "${VirtualHost}|/", "MessageTTL": "${MessageTTL}|30000", "RetryCount": "${RetryCount}|1", "FailCount": "${FailCount}|3", "BrokerName": "${BrokerName}|surging_demo", "Port": "${EventBusPort}|5672" }, "Zookeeper": { "ConnectionString": "${Zookeeper_ConnectionString}|127.0.0.1:2181", "SessionTimeout": 50, "ReloadOnChange": true }, "Logging": { "Debug": { "LogLevel": { "Default": "Information" } }, "Console": { "IncludeScopes": true, "LogLevel": { "Default": "${LogLevel}|Debug" } }, "LogLevel": { "Default": "${LogLevel}|Debug" } } }
2.可以通過設定環境變數surgingpath和cachepath來指定自定義檔案配置,比如,掛載/home/fanly 目錄,通過以下命令引數 -v /home/fanly:/home/fanly 來設定,再通過設定以下命令引數用來設定自定義檔案配置
--env surgingpath=/home/fanly/configs/surgingSettings.json
--env cachepath=/home/fanly/configs/cacheSettings.json
如何啟動內建引擎元件
引擎可以載入多個同一型別的引擎元件,可以通過以下配置啟用哪一種引擎元件,如果是自定義的服務引擎,不需要配置以下配置,只需要按照需求引用元件
"Packages": [ { "TypeName": "EnginePartModule", "Using": "${UseEngineParts}|DotNettyModule;NLogModule;MessagePackModule;ConsulModule;HttpProtocolModule;WSProtocolModule;EventBusRabbitMQModule;" } ]
如何啟動引擎
比如 pull 的映象是serviceengine/surging:v0.9.0.2 ,可以按照以下命令進行啟動
docker run --name surging --env surgingpath=/home/fanly/configs/surgingSettings.json --env cachepath=/home/fanly/configs/cacheSettings.json -v /home/fanly:/home/fanly serviceengine/surging:v0.9.0.2
7.總結
如有問題請到這裡提問 ,可以加入surging互相交流QQ群:542283494,引擎元件擴充套件溝通群:615562965