Dubbo 學習筆記

低吟不作語發表於2022-04-17

分散式基礎理論

1. 什麼是分散式系統?

分散式系統是若干獨立計算機的集合,這些計算機對於使用者來說就像單個系統

2. 應用架構演變

  1. 單一應用架構

    當網站流量很小時,只需一個應用,將所有功能都部署在一起,以減少部署節點和成本,適用於小型網站,小型管理系統

  2. 垂直應用架構

    當訪問量逐漸增大,單一應用增加機器帶來的加速度越來越小,將應用拆成互不相干的幾個應用,以提升效率。通過切分業務來實現各個模組獨立部署,降低了維護和部署的難度,團隊各司其職更易管理,效能擴充套件也更方便,更有針對性

  3. 分散式服務架構

    當垂直應用越來越多,應用之間互動不可避免,將核心業務抽取出來,作為獨立的服務,逐漸形成穩定的服務中心,使前端應用能更快速的響應多變的市場需求

  4. 流動計算架構

    當服務越來越多,容量的評估,小服務資源的浪費等問題逐漸顯現,此時需增加一個排程中心基於訪問壓力實時管理叢集容量,提高叢集利用率

3. RPC

RPC(Remote Procedure Call)是指遠端過程呼叫,是一種程式間通訊方式,它是一種技術的思想,而不是規範。它允許程式呼叫另一個地址空間(通常是共享網路的另一臺機器上)的過程或函式,而不用程式設計師顯式編碼這個遠端呼叫的細節。即程式設計師無論是呼叫本地的還是遠端的函式,本質上編寫的呼叫程式碼基本相同

一次完整的 RPC 呼叫流程如下:

  1. 服務消費方(client)呼叫以本地呼叫方式呼叫服務

  2. client stub接收到呼叫後負責將方法、引數等組裝成能夠進行網路傳輸的訊息體

  3. client stub找到服務地址,並將訊息傳送到服務端

  4. server stub收到訊息後進行解碼

  5. server stub根據解碼結果呼叫本地的服務

  6. 本地服務執行並將結果返回給server stub

  7. server stub將返回結果打包成訊息併傳送至消費方

  8. client stub接收到訊息,並進行解碼

  9. 服務消費方得到最終結果

RPC框架的目標就是把 2~8 這些步驟都封裝起來,這些細節對使用者來說是透明的,不可見的


Dubbo 核心概念

1. 簡介

Apache Dubbo 是一款高效能、輕量級的開源Java RPC框架,它提供了三大核心能力:面向介面的遠端方法呼叫,智慧容錯和負載均衡,以及服務自動註冊和發現

2. 設計架構

相關元件說明如下:

  • 服務提供者(Provider):暴露服務的服務提供方,服務提供者在啟動時,向註冊中心註冊自己提供的服務
  • 服務消費者(Consumer): 呼叫遠端服務的服務消費方,服務消費者在啟動時,向註冊中心訂閱自己所需的服務,服務消費者,從提供者地址列表中,基於軟負載均衡演算法,選一臺提供者進行呼叫,如果呼叫失敗,再選另一臺呼叫
  • 註冊中心(Registry):註冊中心返回服務提供者地址列表給消費者,如果有變更,註冊中心將基於長連線推送變更資料給消費者
  • 監控中心(Monitor):服務消費者和提供者,在記憶體中累計呼叫次數和呼叫時間,定時每分鐘傳送一次統計資料到監控中心

呼叫關係說明如下:

  • 服務容器負責啟動,載入,執行服務提供者
  • 服務提供者在啟動時,向註冊中心註冊自己提供的服務
  • 服務消費者在啟動時,向註冊中心訂閱自己所需的服務
  • 註冊中心返回服務提供者地址列表給消費者,如果有變更,註冊中心將基於長連線推送變更資料給消費者
  • 服務消費者,從提供者地址列表中,基於軟負載均衡演算法,選一臺提供者進行呼叫,如果呼叫失敗,再選另一臺呼叫
  • 服務消費者和提供者,在記憶體中累計呼叫次數和呼叫時間,定時每分鐘傳送一次統計資料到監控中心

Dubbo 環境搭建

1. 安裝 Zookeeper

下載 zookeeper,網址:https://archive.apache.org/dist/zookeeper/

解壓,將 conf 下的 zoo_sample.cfg 複製一份改名為 zoo.cfg,注意如下配置

dataDir=./   臨時資料儲存的目錄(可寫相對路徑)
clientPort=2181   zookeeper的埠號

執行 zkServer.cmd 啟動 zookeeper,使用 zkCli.cmd 測試

2. 安裝管理控制檯

下載 dubbo-admin,網址:https://github.com/apache/incubator-dubbo-ops

進入目錄,修改 src\main\resources\application.properties 指定 zookeeper 地址

打包 dubbo-admin,以 Jar 包形式執行,預設使用 root/root 登陸

3. 安裝監控中心

下載 dubbo-monitor,網址:https://github.com/apache/incubator-dubbo-ops

進入目錄,修改 src\main\resources\conf\dubbo.properties

dubbo.registry.address=zookeeper://127.0.0.1:2181 # 註冊中心地址
dubbo.jetty.port=8080 # http訪問埠號

打包 dubbo-monitor,找到解壓後的 assembly.bin 檔案,start.bat 啟動

在服務提供者和消費者的 xml 中配置以下內容,再次啟動服務提供和消費者啟動類

<!-- dubbo-monitor-simple 監控中心發現的配置-->
<dubbo:monitor protocol="registry"></dubbo:monitor>

監控中心即可捕獲到服務提供方和消費方資訊


Dubbo 開發

1. 建立服務提供和服務消費工程

假設有如下需求場景:訂單服務作為服務消費者,使用者服務作為服務提供者,訂單服務需要從使用者服務查詢使用者的所有收貨地址

基於上述要求,使用者服務作為服務提供方,要提供一個對應的介面,具體的實現和實體這裡不詳細列出

/**
 * 使用者服務
 */ 
public interface UserService {
	/**
	 * 按照使用者id返回所有的收貨地址
	 */
	public List<UserAddress> getUserAddressList(String userId);
}

訂單服務作為服務消費方,直接使用服務提供方的介面

public class OrderServiceImpl implements OrderService {
    
    public UserService userService;
    
    public void initOrder(String userID) {
        // 查詢使用者的收貨地址
        List<UserAddress> userAddressList = userService.getUserAddressList(userID);
    }
}

因為服務提供方和消費方用到了同樣的介面和實體,所以可以將服務介面,服務實體等單獨放在一個公共專案中,方便呼叫

2. 服務提供方配置

引入依賴

<!-- dubbo -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>dubbo</artifactId>
    <version>2.6.2</version>
</dependency>
<!-- 註冊中心是 zookeeper,引入 zookeeper 客戶端 -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>2.12.0</version>
</dependency>

在 resource 資料夾中建立 provider.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
		http://dubbo.apache.org/schema/dubbo http://dubbo.apache.org/schema/dubbo/dubbo.xsd
		http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd">
    
    <!-- 1.指定當前服務/應用的名字(同樣的服務名字相同,不要和別的服務同名) -->
   <dubbo:application name="user-service-provider"></dubbo:application>
    <!-- 2.指定註冊中心的位置 -->
    <dubbo:registry protocol="zookeeper" address="127.0.0.1:2181"></dubbo:registry>
    <!-- 3.指定通訊規則 -->
    <dubbo:protocol name="dubbo" port="20880"></dubbo:protocol>
    <!-- 4.暴露服務,讓別人呼叫ref指向服務的真正實現物件-->
    <dubbo:service interface="com.lemon.gmail.service.UserService" ref="userServiceImpl"></dubbo:service>
    <!-- 5.服務的實現-->
    <bean id="userServiceImpl" class="com.lemon.gmail.service.impl.UserServiceImpl"></bean>
</beans>

3. 服務消費方配置

引入依賴

<!-- dubbo -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>dubbo</artifactId>
    <version>2.6.2</version>
</dependency>
<!-- 註冊中心是 zookeeper,引入 zookeeper 客戶端 -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>2.12.0</version>
</dependency>

在 resource 資料夾中建立 consumer.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://dubbo.apache.org/schema/dubbo"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
		http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.3.xsd
		http://dubbo.apache.org/schema/dubbo http://dubbo.apache.org/schema/dubbo/dubbo.xsd
		http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd">

    <!-- 1.指定當前服務/應用的名字(同樣的服務名字相同,不要和別的服務同名) -->
    <dubbo:application name="order-service-consumer"></dubbo:application>
    <!-- 2.指定註冊中心的位置 -->
    <dubbo:registry address="zookeeper://127.0.0.1:2181"></dubbo:registry>
    <!-- 3.呼叫遠端暴露的服務,生成遠端服務代理 -->
    <dubbo:reference interface="com.yeeq.service.UserService" id="userService"></dubbo:reference>
</beans>

在當前 OrderServiceImpl 實現類中加上註解

@Service
public class OrderServiceImpl implements OrderService {
    
    @Autowired
    public UserService userService;
    
    public void initOrder(String userID) {
        // 查詢使用者的收貨地址
        List<UserAddress> userAddressList = userService.getUserAddressList(userID);
    }
}

Dubbo 整合 SpringBoot

1. 服務提供方

引入依賴

<dependency>
    <groupId>com.alibaba.boot</groupId>
    <artifactId>dubbo-spring-boot-starter</artifactId>
    <version>0.2.0</version>
</dependency>

介面和實體和之前一樣,配置 application.properties

dubbo.application.name=boot-user-service-provider
dubbo.registry.address=127.0.0.1:2181
dubbo.registry.protocol=zookeeper

dubbo.protocol.name=dubbo
dubbo.protocol.port=20880

# 連線監控中心
dubbo.monitor.protocol=registry

在啟動類加上註解

@EnableDubbo // 開啟基於註解的dubbo功能
@SpringBootApplication
public class BootProviderApplication {
    public static void main(String[] args) {
        SpringApplication.run(BootProviderApplication.class, args);
    }
}

2. 服務消費方

引入依賴

<dependency>
    <groupId>com.alibaba.boot</groupId>
    <artifactId>dubbo-spring-boot-starter</artifactId>
    <version>0.2.0</version>
</dependency>

介面和實體和之前一樣,配置 application.properties

server.port=8081
dubbo.application.name=boot-order-service-consumer
dubbo.registry.address=zookeeper://127.0.0.1:2181

# 連線監控中心 註冊中心協議
dubbo.monitor.protocol=registry

在啟動類加上註解

@EnableDubbo // 開啟基於註解的dubbo功能
@SpringBootApplication
public class BootConsumerApplication {
    public static void main(String[] args){
        SpringApplication.run(BootConsumerApplication.class,args);
    }
}

Dubbo 配置

1. 配置原則

  • JVM 啟動 -D 引數優先,這樣可以使使用者在部署和啟動時進行引數重寫,比如在啟動時需改變協議的埠
  • XML 次之,如果在 XML 中有配置,則 dubbo.properties 中的相應配置項無效
  • Properties 最後,相當於預設值,只有 XML 沒有配置時,dubbo.properties 的相應配置項才會生效,通常用於共享公共配置,比如應用名

2. 啟動檢查

Dubbo 會在啟動時檢查依賴的服務是否可用,不可用時會丟擲異常,阻止 Spring 初始化完成,以便上線時能及早發現問題

以消費者為例,在 consumer.xml 中新增配置

<!-- 配置當前消費者的統一規則,開啟啟動檢查,預設true -->
<dubbo:consumer check="true"></dubbo:consumer>

3. 超時時間

由於網路或服務端不可靠,會導致呼叫出現一種不確定的中間狀態(超時)。為了避免超時導致客戶端資源(執行緒)掛起耗盡,必須設定超時時間

<!-- 全域性超時配置 -->
<dubbo:consumer timeout="5000" />

<!-- 指定介面以及特定方法超時配置 -->
<dubbo:reference interface="com.foo.BarService" timeout="2000">
    <dubbo:method name="sayHello" timeout="3000" />
</dubbo:reference>

Dubbo 消費端和服務端都可以設定,推薦在 Provider 上儘量多配置 Consumer 端屬性,原因如下:

  • 一般來說,服務提供者比服務使用方更清楚服務效能引數,如呼叫的超時時間,合理的重試次數等等
  • 在 Provider 配置後,Consumer 不配置則會使用 Provider 的配置值,即 Provider 配置可以作為 Consumer 的預設值。否則,Consumer 會使用 Consumer 端的全域性設定,這對於 Provider 是不可控的,並且往往是不合理的

4. 重試次數

當出現呼叫失敗,一般會進行重試。但重試會帶來更長延遲,可通過 retries="2" 來設定重試次數(不含第一次)

<!-- 有三種方式配置 -->
<dubbo:service retries="2" />
<dubbo:reference retries="2" />
<dubbo:reference>
    <dubbo:method name="findFoo" retries="2" />
</dubbo:reference>

5. 多版本

當一個介面實現,出現不相容升級時,可以用版本號過渡,版本號不同的服務相互間不引用

服務端配置

<!-- 老版本服務提供者配置 -->
<bean id="BarServiceImpl01" class="com.foo.BarService.impl.BarServiceImpl01" />
<dubbo:service interface="com.foo.BarService" ref="BarServiceImpl01" version="1.0.0" />

<!-- 新版本服務提供者配置 -->
<bean id="BarServiceImpl02" class="com.foo.BarService.impl.BarServiceImpl02" />
<dubbo:service interface="com.foo.BarService" ref="BarServiceImpl02" version="2.0.0" />

消費端配置

<!-- 使用老版本 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="1.0.0" />
<!-- 使用新版本 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="2.0.0" />
<!-- 如果不需要區分版本,可以按照以下的方式配置 -->
<dubbo:reference id="barService" interface="com.foo.BarService" version="*" />

6. 本地存根

遠端服務中,客戶端通常只剩下介面,實現全在服務端,但服務方有時候也想在客戶端執行部分邏輯,比如:做 ThreadLocal 快取,提前驗證引數,呼叫失敗後偽造容錯資料等等,此時就需要在 API 中帶上 Stub,客戶端生成 Proxy 例項,通過建構函式把 Proxy 傳給 Stub,然後把 Stub 暴露給使用者,Stub 可以決定要不要去調 Proxy

消費端開發對應服務的本地存根

public class UserServiceStub implements UserService {
 
    private final IUserService userService;
 
    // 建構函式傳入真正的遠端代理物件
    public UserServiceStub(IUserService userService){
        this.userService = userService;
    }
 
    @Override
    public String hello(String name) {
        if(name == null || "".equals(name)){
            return "validate param";
        }
        return userService.hello(name);
    }
}

設定存根配置

@Reference(version = "*",stub = "com.yeeq.stub.UserServiceStub")
private UserService userService;

Dubbo 高可用

1. Dubbo 的健壯性

  • 監控中心宕掉不影響使用,只是丟失部分取樣資料
  • 資料庫宕掉後,註冊中心仍能通過快取提供服務列表查詢,但不能註冊新服務
  • 註冊中心對等叢集,任意一臺宕掉後,將自動切換到另一臺
  • 註冊中心全部宕掉後,服務提供者和服務消費者仍能通過本地快取通訊
  • 服務提供者無狀態,任意一臺宕掉後,不影響使用
  • 服務提供者全部宕掉後,服務消費者應用將無法使用,並無限次重連等待服務提供者恢復

2. Dubbo 叢集下負載均衡

在叢集負載均衡時,Dubbo 提供了多種均衡策略,預設為 random 隨機呼叫:

  • Random LoadBalance:隨機,按權重設定隨機概率
  • RoundRobin LoadBalance:輪循,按公約後的權重設定輪循比率
  • LeastActive LoadBalance:最少活躍呼叫數,相同活躍數的隨機,活躍數指呼叫前後計數差
  • ConsistentHash LoadBalance:一致性 Hash,相同引數的請求總是發到同一提供者

服務端和客戶端均可以設定

<!-- 服務級別 -->
<dubbo:service interface="..." loadbalance="roundrobin" />
<!-- 方法級別 -->
<dubbo:service interface="...">
    <dubbo:method name="..." loadbalance="roundrobin" />
</dubbo:service>

3. 服務降級

當伺服器壓力劇增的情況下,根據實際業務情況及流量,對一些服務和頁面有策略的不處理或換種簡單的方式處理,從而釋放伺服器資源以保證核心交易正常運作或高效運作。可以通過服務降級功能臨時遮蔽某個出錯的非關鍵服務,並定義降級後的返回策略

向註冊中心寫入動態配置覆蓋規則:

RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
registry.register(URL.valueOf("override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null"));

其中:

  • mock=force:return+null 表示消費方對該服務的方法呼叫都直接返回 null 值,不發起遠端呼叫,用來遮蔽不重要服務不可用時對呼叫方的影響
  • mock=fail:return+null 表示消費方對該服務的方法呼叫在失敗後,再返回 null 值,不拋異常,用來容忍不重要服務不穩定時對呼叫方的影響

4. 叢集容錯

在叢集呼叫失敗時,Dubbo 提供了多種容錯方案,預設為 failover 重試:

  • Failover Cluster:失敗自動切換,當出現失敗,重試其它伺服器,通常用於讀操作,但重試會帶來更長延遲,可通過 retries="2" 來設定重試次數(不含第一次)
  • Failfast Cluste:快速失敗,只發起一次呼叫,失敗立即報錯,通常用於非冪等性的寫操作,比如新增記錄
  • Failsafe Cluster:失敗安全,出現異常時,直接忽略。通常用於寫入審計日誌等操作
  • Failback Cluster:失敗自動恢復,後臺記錄失敗請求,定時重發。通常用於訊息通知操作
  • Forking Cluster:並行呼叫多個伺服器,只要一個成功即返回,通常用於實時性要求較高的讀操作,但需要浪費更多服務資源。可通過 forks="2" 來設定最大並行數
  • Broadcast Cluster:廣播呼叫所有提供者,逐個呼叫,任意一臺報錯則報錯,通常用於通知所有提供者更新快取或日誌等本地資源資訊

按照以下示例在服務提供方和消費方配置叢集模式

<!-- 兩種方式配置 -->
<dubbo:service cluster="failsafe" />
<dubbo:reference cluster="failsafe" />

相關文章