後端多環境治理的實踐(二)

大佬健發表於2021-08-16

上一篇文章後端多環境治理的實踐(一)我們介紹了什麼是後端多環境治理,而且用springcloud實現了微服務呼叫的多環境治理。

實現了之後,我們微服務的流量排程如下圖:

圖片

但是mq的消費怎麼辦,mq的消費是沒有辦法做自定義的負載均衡,消費邏輯是由mq來決定的,經過mq之後,流量排程就會失效。

image.png

default版本的score和v1版本的score會隨機消費mq訊息。

一、公司的解決方案

先說一下,公司用的是rocketmq。

而且公司有專門的mq團隊,他們對mq做了各種的魔改,其中一個魔改就是所有的mq訊息者不會直接連線mq,而且經過一個mq_proxy再連線到mq。

image.png

所以公司的mq的消費可以自定義自己的路由規則。

具體實現如下:

image.png

  1. 基準訊息和feature訊息複用topic。生產者會根據context,在訊息的header裡新增env屬性。

  2. 當feature consumer啟動時,會在proxy根據version註冊對應的filter

  3. 當feature consumer拉取訊息,proxy會根據註冊的filter,將對應version的訊息過濾出來加到本地快取裡

  4. feature consumer拉取訊息,會從proxy的本地快取裡poll訊息

大家知道一下原理就好,對於一般的公司來說,不太有能力去修改mq原始碼,也不太可能有專門的基建團隊去打造一個mq_proxy中介軟體出來。

二、我的解決方案

我沒有能力魔改m,也沒能力造一個mq_proxy。

但是隻要理解了解決方案,就能實現多環境的mq消費,只是實現的方式會low一點。

要實現mq的多環境流量排程,只要做四件事:

1、**每個微服務註冊啟動的時候,要帶上一個標記,標記自己當前的版本,訊息傳送時要把這個標記放到mq_message的header裡面。

2、每個微服務啟動的時候,要向某個地方註冊一下,標記現在存在一個某個版本的消費者

3、所有的mq消費要經過統一的代理。

4、消費代理者執行如下邏輯:“如果訊息的版本與本地版本相同,則本地消費,如果訊息的版本與本地版本不相同,則判斷是否存在對應版本的消費者,如果存在則轉發給對應版本的消費者,如果不存在則本地消費”。
image.png

三、具體程式碼實踐

下面以rabbitmq為例子去實現多環境mq消費

最終實現效果如下:

image.png

oder-base發出的訊息,user-base消費。

order-v1發出的訊息,user-v1消費。

oder-v2發出的訊息,user-base消費。

1、**每個微服務註冊啟動的時候,要帶上一個標記,標記自己當前的版本,訊息傳送時要把這個標記放到mqmessage的header裡面。

上一期我們已經給每個例項標記了一個版本號,只要把這個版本號丟到mq的header裡面,就能給這個message標記他的version。

圖片

2、每個微服務啟動的時候,要向某個地方註冊一下,標記現在存在一個某個版本的消費者

這裡實現的方法有很多,可以用zookeeper、redis,這裡我利用rabbitmq的自動刪除佇列的特性,如果某個佇列是自動刪除佇列,而且曾經有消費者連線過他,當沒有消費者消費該queue時,該queue會自動刪除。

所以只要我們的featrue消費者啟動的時候,向rabbitmq註冊某個featrue特有的queue,根據這個特性,只要我們看某條queue是否存在,就知道是否有featrue消費者存在了。

3、所有的mq消費要經過統一的代理。

公司是通過統一的proxy做的,而我則可以通過sdk的方式,自定義原生的mq消費者的方式去做mq消費者的代理。

先寫一個抽象消費類

image.png

建立一個MyQueuelister去實現這個抽象類

image.png

spring容器啟動的時候,找出所以繼承了RabbitmqLister的bean。

然後手動註冊消費者

@Slf4j
@Configuration
public class RabbitmqListerConfig implements InitializingBean{
    @Autowired
    private List<RabbitmqLister> rabbitmqListerList;
    @Autowired
    private ConnectionFactory connectionFactory;
    @Autowired
    private Environment environment;
    @Autowired
    private ApplicationContext applicationContext;
    @Override
    public void afterPropertiesSet() throws Exception {
        rabbitmqListerList.forEach(r->{
            try {
                String queueName = r.getQueueName();
                Connection connection = connectionFactory.createConnection();
                Channel channel = connection.createChannel(false);
                RabbitAdmin rabbitAdmin = applicationContext.getBean(RabbitAdmin.class);
                String version = environment.getProperty(Constont.VERSION);

                if (!StringUtils.equals(version,Constont.DEFAULT_VERSION)){
                    queueName = queueName +"-"+version;
                    Queue queue = new Queue(queueName, true, false, true);
                    rabbitAdmin.declareQueue(queue);
                }


                Consumer consumerB = new DefaultConsumer(channel){
                    @Override
                    public void handleDelivery(String consumerTag, Envelope envelope,
                                               AMQP.BasicProperties properties, byte[] body)
                            throws IOException {
                        try {
                            Map<String, Object> headers = properties.getHeaders();
                            String msgVersion = headers.get(Constont.VERSION)==null?Constont.DEFAULT_VERSION:headers.get(Constont.VERSION).toString();
                            String version = environment.getProperty(Constont.VERSION);
                            ObjectMapper objectMapper = new ObjectMapper();
                            String o = objectMapper.readValue(body, String.class);
                            if(StringUtils.equals(version,msgVersion)){
                                r.handler(o,properties);
                                channel.basicAck(envelope.getDeliveryTag(),false);
                                return;
                            }

                            String queueName = Constont.MY_QUEUE + "-" + msgVersion;
                            QueueInformation queueInfo = rabbitAdmin.getQueueInfo(queueName);
                            if (queueInfo == null || queueInfo.getConsumerCount() ==0) {
                                r.handler(o,properties);
                                channel.basicAck(envelope.getDeliveryTag(),false);
                                return;
                            }
                            channel.basicPublish("",queueName,properties,body);
                            channel.basicAck(envelope.getDeliveryTag(),false);
                        }catch (Exception e){
                            log.error("",e);
                        }
                    }
                };
                channel.basicConsume(queueName,consumerB);
            } catch (IOException e) {
               log.error("",e);
            }
        });
    }
}

4、消費代理者執行如下邏輯:“如果訊息的版本與本地版本相同,則本地消費,如果訊息的版本與本地版本不相同,則判斷是否存在對應版本的消費者,如果存在則轉發給對應版本的消費者,如果不存在則本地消費”。

通過判斷是有個featrue-queue來判斷是否有fetrue-cosumer,如果有則把消費投遞到featrue-queue。

圖片

具體程式碼實現細節在3裡面。

image.gif

四、驗證

在order服務,我們程式設計一個介面用來傳送訊息。

    @GetMapping("/sendMq")

1、打包

mvn clean install -DskipTests

2、使用docker啟動rabbitmq

docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management

3、啟動eureka、gateway和3個版本的order服務

nohup java -jar -Dserver.port=8761 eureka/target/eureka-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dserver.port=5000 gateway/target/gateway-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dserver.port=8001 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dversion=v1 -Dserver.port=8002 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dversion=v2 -Dserver.port=8003 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &

4、開另外兩個終端,去啟動user服務,這裡直接啟動用來看日誌列印。

java -jar -Dserver.port=9001 user/target/user-0.0.1-SNAPSHOT.jar
java -jar -Dversion=v1 -Dserver.port=9002 user/target/user-0.0.1-SNAPSHOT.jar

5、傳送請求驗證

curl --location --request GET 'localhost:5000/order/sendMq?msg=djb'

然後檢視default的user服務

image.png

curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv1' \

然後檢視v1的user服務

image.png

curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv2' \

然後檢視default的user服務

image.png

五、最後

我們已經解決了後端多版本的rpc呼叫和mq消費呼叫了。

其實還有一個場景就是配置的多版本。

有些時候,我們需要defalut版本的例項和v1版本的例項使用不同的配置。

而springcloud-config是沒辦法完成這個需求的。

下一篇文章,我將會介紹後端多環境的情況下,怎麼做到不同版本的例項使用不同版本的配置。

圖片

程式碼地址:

關注“從零開始的it轉行生”,回覆“多環境”獲取

相關文章