Dubbo 學習筆記

低吟不作語發表於2022-04-17
筆記

分散式基礎理論

1. 什麼是分散式系統？

分散式系統是若干獨立計算機的集合，這些計算機對於使用者來說就像單個系統

2. 應用架構演變

  1. 單一應用架構

    當網站流量很小時，只需一個應用，將所有功能都部署在一起，以減少部署節點和成本，適用於小型網站，小型管理系統

  2. 垂直應用架構

    當訪問量逐漸增大，單一應用增加機器帶來的加速度越來越小，將應用拆成互不相干的幾個應用，以提升效率。通過切分業務來實現各個模組獨立部署，降低了維護和部署的難度，團隊各司其職更易管理，效能擴充套件也更方便，更有針對性

  3. 分散式服務架構

    當垂直應用越來越多，應用之間互動不可避免，將核心業務抽取出來，作為獨立的服務，逐漸形成穩定的服務中心，使前端應用能更快速的響應多變的市場需求

  4. 流動計算架構

    當服務越來越多，容量的評估，小服務資源的浪費等問題逐漸顯現，此時需增加一個排程中心基於訪問壓力實時管理叢集容量，提高叢集利用率

3. RPC

RPC（Remote Procedure Call）是指遠端過程呼叫，是一種程式間通訊方式，它是一種技術的思想，而不是規範。它允許程式呼叫另一個地址空間（通常是共享網路的另一臺機器上）的過程或函式，而不用程式設計師顯式編碼這個遠端呼叫的細節。即程式設計師無論是呼叫本地的還是遠端的函式，本質上編寫的呼叫程式碼基本相同

一次完整的 RPC 呼叫流程如下：

  1. 服務消費方（client）呼叫以本地呼叫方式呼叫服務

  2. client stub接收到呼叫後負責將方法、引數等組裝成能夠進行網路傳輸的訊息體

  3. client stub找到服務地址，並將訊息傳送到服務端

  4. server stub收到訊息後進行解碼

  5. server stub根據解碼結果呼叫本地的服務

  6. 本地服務執行並將結果返回給server stub

  7. server stub將返回結果打包成訊息併傳送至消費方

  8. client stub接收到訊息，並進行解碼

  9. 服務消費方得到最終結果

RPC框架的目標就是把 2~8 這些步驟都封裝起來，這些細節對使用者來說是透明的，不可見的


Dubbo 核心概念

1. 簡介

Apache Dubbo 是一款高效能、輕量級的開源Java RPC框架，它提供了三大核心能力：面向介面的遠端方法呼叫，智慧容錯和負載均衡，以及服務自動註冊和發現

2. 設計架構

相關元件說明如下：

  • 服務提供者（Provider）：暴露服務的服務提供方，服務提供者在啟動時，向註冊中心註冊自己提供的服務
  • 服務消費者（Consumer）: 呼叫遠端服務的服務消費方，服務消費者在啟動時，向註冊中心訂閱自己所需的服務，服務消費者，從提供者地址列表中，基於軟負載均衡演算法，選一臺提供者進行呼叫，如果呼叫失敗，再選另一臺呼叫
  • 註冊中心（Registry）：註冊中心返回服務提供者地址列表給消費者，如果有變更，註冊中心將基於長連線推送變更資料給消費者
  • 監控中心（Monitor）：服務消費者和提供者，在記憶體中累計呼叫次數和呼叫時間，定時每分鐘傳送一次統計資料到監控中心

呼叫關係說明如下：

  • 服務容器負責啟動，載入，執行服務提供者
  • 服務提供者在啟動時，向註冊中心註冊自己提供的服務
  • 服務消費者在啟動時，向註冊中心訂閱自己所需的服務
  • 註冊中心返回服務提供者地址列表給消費者，如果有變更，註冊中心將基於長連線推送變更資料給消費者
  • 服務消費者，從提供者地址列表中，基於軟負載均衡演算法，選一臺提供者進行呼叫，如果呼叫失敗，再選另一臺呼叫
  • 服務消費者和提供者，在記憶體中累計呼叫次數和呼叫時間，定時每分鐘傳送一次統計資料到監控中心

Dubbo 環境搭建

1. 安裝 Zookeeper

下載 zookeeper，網址：https://archive.apache.org/dist/zookeeper/

解壓，將 conf 下的 zoo_sample.cfg 複製一份改名為 zoo.cfg，注意如下配置

dataDir=./   臨時資料儲存的目錄（可寫相對路徑）
clientPort=2181   zookeeper的埠號

執行 zkServer.cmd 啟動 zookeeper，使用 zkCli.cmd 測試

2. 安裝管理控制檯

下載 dubbo-admin，網址：https://github.com/apache/incubator-dubbo-ops

進入目錄，修改 src\main\resources\application.properties 指定 zookeeper 地址

打包 dubbo-admin，以 Jar 包形式執行，預設使用 root/root 登陸

3. 安裝監控中心

下載 dubbo-monitor，網址：https://github.com/apache/incubator-dubbo-ops

進入目錄，修改 src\main\resources\conf\dubbo.properties

dubbo.registry.address=zookeeper://127.0.0.1:2181 # 註冊中心地址
dubbo.jetty.port=8080 # http訪問埠號

打包 dubbo-monitor，找到解壓後的 assembly.bin 檔案，start.bat 啟動

在服務提供者和消費者的 xml 中配置以下內容，再次啟動服務提供和消費者啟動類

<!-- dubbo-monitor-simple 監控中心發現的配置-->
<dubbo:monitor protocol="registry"></dubbo:monitor>

監控中心即可捕獲到服務提供方和消費方資訊


Dubbo 開發

1. 建立服務提供和服務消費工程

假設有如下需求場景：訂單服務作為服務消費者，使用者服務作為服務提供者，訂單服務需要從使用者服務查詢使用者的所有收貨地址

基於上述要求，使用者服務作為服務提供方，要提供一個對應的介面，具體的實現和實體這裡不詳細列出

/**
 * 使用者服務
 */ 
public interface UserService {
	/**
	 * 按照使用者id返回所有的收貨地址
	 */
	public List<UserAddress> getUserAddressList(String userId);
}

訂單服務作為服務消費方，直接使用服務提供方的介面

public class OrderServiceImpl implements OrderService {
    
    public UserService userService;
    
    public void initOrder(String userID) {
        // 查詢使用者的收貨地址
        List<UserAddress> userAddressList = userService.getUserAddressList(userID);
    }
}

因為服務提供方和消費方用到了同樣的介面和實體，所以可以將服務介面，服務實體等單獨放在一個公共專案中，方便呼叫

2. 服務提供方配置

引入依賴

<!-- dubbo -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>dubbo</artifactId>
    <version>2.6.2</version>
</dependency>
<!-- 註冊中心是 zookeeper,引入 zookeeper 客戶端 -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>2.12.0</version>
</dependency>

在 resource 資料夾中建立 provider.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
		http://dubbo.apache.org/schema/dubbo http://dubbo.apache.org/schema/dubbo/dubbo.xsd
		http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd">
    
    <!-- 1.指定當前服務/應用的名字(同樣的服務名字相同,不要和別的服務同名) -->
   <dubbo:application name="user-service-provider"></dubbo:application>
    <!-- 2.指定註冊中心的位置 -->
    <dubbo:registry protocol="zookeeper" address="127.0.0.1:2181"></dubbo:registry>
    <!-- 3.指定通訊規則 -->
    <dubbo:protocol name="dubbo" port="20880"></dubbo:protocol>
    <!-- 4.暴露服務,讓別人呼叫ref指向服務的真正實現物件-->
    <dubbo:service interface="com.lemon.gmail.service.UserService" ref="userServiceImpl"></dubbo:service>
    <!-- 5.服務的實現-->
    <bean id="userServiceImpl" class="com.lemon.gmail.service.impl.UserServiceImpl"></bean>
</beans>

3. 服務消費方配置

引入依賴

<!-- dubbo -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>dubbo</artifactId>
    <version>2.6.2</version>
</dependency>
<!-- 註冊中心是 zookeeper,引入 zookeeper 客戶端 -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>2.12.0</version>
</dependency>

在 resource 資料夾中建立 consumer.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://dubbo.apache.org/schema/dubbo"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
		http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.3.xsd
		http://dubbo.apache.org/schema/dubbo http://dubbo.apache.org/schema/dubbo/dubbo.xsd
		http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd">

    <!-- 1.指定當前服務/應用的名字(同樣的服務名字相同，不要和別的服務同名) -->
    <dubbo:application name="order-service-consumer"></dubbo:application>
    <!-- 2.指定註冊中心的位置 -->
    <dubbo:registry address="zookeeper://127.0.0.1:2181"></dubbo:registry>
    <!-- 3.呼叫遠端暴露的服務,生成遠端服務代理 -->
    <dubbo:reference interface="com.yeeq.service.UserService" id="userService"></dubbo:reference>
</beans>

在當前 OrderServiceImpl 實現類中加上註解

@Service
public class OrderServiceImpl implements OrderService {
    
    @Autowired
    public UserService userService;
    
    public void initOrder(String userID) {
        // 查詢使用者的收貨地址
        List<UserAddress> userAddressList = userService.getUserAddressList(userID);
    }
}

Dubbo 整合 SpringBoot

1. 服務提供方

引入依賴

<dependency>
    <groupId>com.alibaba.boot</groupId>
    <artifactId>dubbo-spring-boot-starter</artifactId>
    <version>0.2.0</version>
</dependency>

介面和實體和之前一樣，配置 application.properties

dubbo.application.name=boot-user-service-provider
dubbo.registry.address=127.0.0.1:2181
dubbo.registry.protocol=zookeeper

dubbo.protocol.name=dubbo
dubbo.protocol.port=20880

# 連線監控中心
dubbo.monitor.protocol=registry

在啟動類加上註解

@EnableDubbo // 開啟基於註解的dubbo功能
@SpringBootApplication
public class BootProviderApplication {
    public static void main(String[] args) {
        SpringApplication.run(BootProviderApplication.class, args);
    }
}

2. 服務消費方

引入依賴

<dependency>
    <groupId>com.alibaba.boot</groupId>
    <artifactId>dubbo-spring-boot-starter</artifactId>
    <version>0.2.0</version>
</dependency>

介面和實體和之前一樣，配置 application.properties

server.port=8081
dubbo.application.name=boot-order-service-consumer
dubbo.registry.address=zookeeper://127.0.0.1:2181

# 連線監控中心 註冊中心協議
dubbo.monitor.protocol=registry

在啟動類加上註解

@EnableDubbo // 開啟基於註解的dubbo功能
@SpringBootApplication
public class BootConsumerApplication {
    public static void main(String[] args){
        SpringApplication.run(BootConsumerApplication.class,args);
    }
}

Dubbo 配置

1. 配置原則

  • JVM 啟動 -D 引數優先，這樣可以使使用者在部署和啟動時進行引數重寫，比如在啟動時需改變協議的埠
  • XML 次之，如果在 XML 中有配置，則 dubbo.properties 中的相應配置項無效
  • Properties 最後，相當於預設值，只有 XML 沒有配置時，dubbo.properties 的相應配置項才會生效，通常用於共享公共配置，比如應用名

2. 啟動檢查

Dubbo 會在啟動時檢查依賴的服務是否可用，不可用時會丟擲異常，阻止 Spring 初始化完成，以便上線時能及早發現問題

以消費者為例，在 consumer.xml 中新增配置

<!-- 配置當前消費者的統一規則,開啟啟動檢查,預設true -->
<dubbo:consumer check="true"></dubbo:consumer>

3. 超時時間

由於網路或服務端不可靠，會導致呼叫出現一種不確定的中間狀態（超時）。為了避免超時導致客戶端資源（執行緒）掛起耗盡，必須設定超時時間

<!-- 全域性超時配置 -->
<dubbo:consumer timeout="5000" />

<!-- 指定介面以及特定方法超時配置 -->
<dubbo:reference interface="com.foo.BarService" timeout="2000">
    <dubbo:method name="sayHello" timeout="3000" />
</dubbo:reference>

Dubbo 消費端和服務端都可以設定，推薦在 Provider 上儘量多配置 Consumer 端屬性，原因如下：

  • 一般來說，服務提供者比服務使用方更清楚服務效能引數，如呼叫的超時時間，合理的重試次數等等
  • 在 Provider 配置後，Consumer 不配置則會使用 Provider 的配置值，即 Provider 配置可以作為 Consumer 的預設值。否則，Consumer 會使用 Consumer 端的全域性設定，這對於 Provider 是不可控的，並且往往是不合理的

4. 重試次數

當出現呼叫失敗，一般會進行重試。但重試會帶來更長延遲，可通過 retries="2" 來設定重試次數（不含第一次）

<!-- 有三種方式配置 -->
<dubbo:service retries="2" />
<dubbo:reference retries="2" />
<dubbo:reference>
    <dubbo:method name="findFoo" retries="2" />
</dubbo:reference>

5. 多版本

當一個介面實現，出現不相容升級時，可以用版本號過渡，版本號不同的服務相互間不引用

服務端配置

<!-- 老版本服務提供者配置 -->
<bean id="BarServiceImpl01" class="com.foo.BarService.impl.BarServiceImpl01" />
<dubbo:service interface="com.foo.BarService" ref="BarServiceImpl01" version="1.0.0" />

<!-- 新版本服務提供者配置 -->
<bean id="BarServiceImpl02" class="com.foo.BarService.impl.BarServiceImpl02" />
<dubbo:service interface="com.foo.BarService" ref="BarServiceImpl02" version="2.0.0" />

消費端配置

<!-- 使用老版本 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="1.0.0" />
<!-- 使用新版本 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="2.0.0" />
<!-- 如果不需要區分版本,可以按照以下的方式配置 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="*" />

6. 本地存根

遠端服務中，客戶端通常只剩下介面，實現全在服務端，但服務方有時候也想在客戶端執行部分邏輯，比如：做 ThreadLocal 快取，提前驗證引數，呼叫失敗後偽造容錯資料等等，此時就需要在 API 中帶上 Stub，客戶端生成 Proxy 例項，通過建構函式把 Proxy 傳給 Stub，然後把 Stub 暴露給使用者，Stub 可以決定要不要去調 Proxy

消費端開發對應服務的本地存根

public class UserServiceStub implements UserService {
 
    private final IUserService userService;
 
    // 建構函式傳入真正的遠端代理物件
    public UserServiceStub(IUserService userService){
        this.userService = userService;
    }
 
    @Override
    public String hello(String name) {
        if(name == null || "".equals(name)){
            return "validate param";
        }
        return userService.hello(name);
    }
}

設定存根配置

@Reference(version = "*",stub = "com.yeeq.stub.UserServiceStub")
private UserService userService;

Dubbo 高可用

1. Dubbo 的健壯性

  • 監控中心宕掉不影響使用，只是丟失部分取樣資料
  • 資料庫宕掉後，註冊中心仍能通過快取提供服務列表查詢，但不能註冊新服務
  • 註冊中心對等叢集，任意一臺宕掉後，將自動切換到另一臺
  • 註冊中心全部宕掉後，服務提供者和服務消費者仍能通過本地快取通訊
  • 服務提供者無狀態，任意一臺宕掉後，不影響使用
  • 服務提供者全部宕掉後，服務消費者應用將無法使用，並無限次重連等待服務提供者恢復

2. Dubbo 叢集下負載均衡

在叢集負載均衡時，Dubbo 提供了多種均衡策略，預設為 random 隨機呼叫：

  • Random LoadBalance：隨機，按權重設定隨機概率
  • RoundRobin LoadBalance：輪循，按公約後的權重設定輪循比率
  • LeastActive LoadBalance：最少活躍呼叫數，相同活躍數的隨機，活躍數指呼叫前後計數差
  • ConsistentHash LoadBalance：一致性 Hash，相同引數的請求總是發到同一提供者

服務端和客戶端均可以設定

<!-- 服務級別 -->
<dubbo:service interface="..." loadbalance="roundrobin" />
<!-- 方法級別 -->
<dubbo:service interface="...">
    <dubbo:method name="..." loadbalance="roundrobin" />
</dubbo:service>

3. 服務降級

當伺服器壓力劇增的情況下，根據實際業務情況及流量，對一些服務和頁面有策略的不處理或換種簡單的方式處理，從而釋放伺服器資源以保證核心交易正常運作或高效運作。可以通過服務降級功能臨時遮蔽某個出錯的非關鍵服務，並定義降級後的返回策略

向註冊中心寫入動態配置覆蓋規則：

RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
registry.register(URL.valueOf("override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null"));

其中：

  • mock=force:return+null 表示消費方對該服務的方法呼叫都直接返回 null 值，不發起遠端呼叫，用來遮蔽不重要服務不可用時對呼叫方的影響
  • mock=fail:return+null 表示消費方對該服務的方法呼叫在失敗後，再返回 null 值，不拋異常，用來容忍不重要服務不穩定時對呼叫方的影響

4. 叢集容錯

在叢集呼叫失敗時，Dubbo 提供了多種容錯方案，預設為 failover 重試：

  • Failover Cluster：失敗自動切換，當出現失敗，重試其它伺服器，通常用於讀操作，但重試會帶來更長延遲，可通過 retries="2" 來設定重試次數（不含第一次）
  • Failfast Cluste：快速失敗，只發起一次呼叫，失敗立即報錯，通常用於非冪等性的寫操作，比如新增記錄
  • Failsafe Cluster：失敗安全，出現異常時，直接忽略。通常用於寫入審計日誌等操作
  • Failback Cluster：失敗自動恢復，後臺記錄失敗請求，定時重發。通常用於訊息通知操作
  • Forking Cluster：並行呼叫多個伺服器，只要一個成功即返回，通常用於實時性要求較高的讀操作，但需要浪費更多服務資源。可通過 forks="2" 來設定最大並行數
  • Broadcast Cluster：廣播呼叫所有提供者，逐個呼叫，任意一臺報錯則報錯，通常用於通知所有提供者更新快取或日誌等本地資源資訊

按照以下示例在服務提供方和消費方配置叢集模式

<!-- 兩種方式配置 -->
<dubbo:service cluster="failsafe" />
<dubbo:reference cluster="failsafe" />

相關文章