Tars | 第8篇 TarsJava Subset最終程式碼的執行流程與原理分析

目錄

• 前言
• 1. SubsetConf配置項的結構
  • 1.1 SubsetConf
  • 1.2 RatioConfig
  • 1.3 KeyConfig
  • 1.4 KeyRoute
  • 1.5 SubsetConf的結構示意圖
• 2. 過濾節點的方法入口
• 3. subsetEndpointFilter()方法解析
  • 3.1 方法功能
  • 3.2 方法原始碼
  • 3.3 方法解析
• 4. getSubset()方法解析
  • 4.1 方法功能
  • 4.2 方法原始碼
  • 4.3 方法解析
• 5. getSubsetConfig()方法解析
  • 5.1 方法功能
  • 5.2 方法原始碼
  • 5.3 方法解析
• 6. 按比例路由的findSubet()方法解析
  • 6.1 方法功能
  • 6.2 方法原始碼
  • 6.3 方法解析
• 7. 按引數路由的findSubet()方法解析
  • 7.1 方法功能
  • 7.2 方法原始碼
  • 7.3 方法解析
• 8 總結：Subset業務執行流程結構圖
• 最後

---

前言

中期彙報會後，對Tars Subset功能更加熟悉，並根據TarsGo的實現方式，對Java JDK實現程式碼進行翻新改造。於是有了以下兩篇分析文章：

第5篇 基於TarsGo Subset路由規則的Java JDK實現方式（上篇）
https://www.cnblogs.com/dlhjw/p/15245113.html

第6篇 基於TarsGo Subset路由規則的Java JDK實現方式（下篇）
https://www.cnblogs.com/dlhjw/p/15245116.html

其中，《上篇》注重TarsGo分析，《下篇》注重TarsJava實現方式。不出意外的話，最終提交的考核成果就在下面的GitHub程式碼倉庫中（以下簡稱“最終程式碼”），後續可能會有些許地方需要更改：

TarsJava 實現Subset路由規則JDK GitHub開源地址
https://github.com/dlhjw/TarsJava/commit/cc2fe884ecbe8455a8e1f141e21341f4f3dd98a3

最終程式碼與中期程式碼在整體思想邏輯上都是一致的都是：先判斷Subset路由規則，再根據規則路由到定義的節點。不同點在於：中期在處理整個過程時，用一個方法filterEndpointsBySubset()實現；而最終的實現方式則是以subsetEndpointFilter()方法作為整個Subset流量路由的入口，通過subsetManager管理器呼叫getSubset()方法獲取到路由規則的String型別的subset欄位，與節點自身的subset欄位一一比較過濾節點；其中Subset路由規則的判斷封裝在getSubset()方法裡；

總的來說就是最終程式碼是在處理subset規則邏輯中增加了很多細節，比如：通過新增的registry介面獲取subsetConf配置項；將獲取到是配置項存入快取中；以及將“判斷Subset路由規則”進行層層封裝，最終返回一個簡單的String型別的subset欄位與節點自身的subset欄位比較等；

因此，在執行流程上相比較中期有些許區別，其中比較複雜的地方涉及對各種封裝方法的呼叫與傳參。本篇將結合最終程式碼的實現邏輯，以debug的方式，重點介紹其執行流程，即：

• 首先找到過濾節點的方法入口；
• 接著通過管理者嘗試獲取String型別的規則subset欄位；
• 通過getSubset()方法匹配路由規則；
• 呼叫具體路由規則的findSubet()方法獲取最終的規則subset欄位；
• 將規則subset欄位與節點的subset欄位對比，實現篩選功能；

通過下面分析可以得出一個Subset的業務執行流程結構圖，如下：

• subset.subsetEndpointFilter()：整個業務流程的方法入口；
  • subsetManager.getSubset()：通過XxxConf配置獲取String型別的subset欄位；
    • getSubsetConfig()：從快取或registry介面獲取SubsetConf；
    • subsetConf.getRatioConf()：獲取RatioConf配置；
      • ratioConf.findSubet()：通過RatioConf配置獲取String型別的subset欄位；
    • subsetConf.getKeyConf()：獲取KeyConf配置；
      • keyConf.findSubet()：通過KeyConf配置獲取String型別的subset欄位；
  • for迴圈匹配subset欄位；

當然，涉及到通過新增的registry介面獲取subsetConf配置項等邏輯，這些細節就放在下面正文裡講吧；

最終程式碼的Subset測試方案設計請參考下面這篇文章：

第7篇 TarsJava Subset最終程式碼的測試方案設計
https://www.cnblogs.com/dlhjw/p/15245121.html

《測試方案設計》與《執行流程分析》兩篇文章相輔相成，相互觀閱能更快更好地理解整個Subset的業務流程與輸出示例；

---

1. SubsetConf配置項的結構

在中期，筆者使用一個map來模擬subset的流量規則；而在最終程式碼裡，是用多個物件來模擬Subset的配置，這些物件是理解整個Subset流量過濾規則的基礎的，因此很有必要在這裡做個介紹；

1.1 SubsetConf

public class SubsetConf {
    private boolean enanle;
    private String ruleType;
    private RatioConfig ratioConf;
    private KeyConfig keyConf;
    private Instant lastUpdate;
    ……
}

可以看出SubsetConf配置項裡有以下屬性：

• enanle：表示是否開啟Subset流量管理功能；
  • true：開啟；false：關閉；
• ruleType：表示流量管理的型別；
  • 目前有ratio按比例和key按引數兩種模式；
• RatioConfig：表示按比例路由配置項；
  • 裡面定義了路由比例與路徑等資訊，詳情請參考《1.2 RatioConfig》
• KeyConfig：表示按引數路由配置項；
  • 裡面定義了規則key與路由路徑等資訊，詳情請參考《1.3 KeyConfig》
• lastUpdate：表示該配置項上次更新時間，將在快取那裡起作用；

1.2 RatioConfig

public class RatioConfig {
    private Map<String, Integer> rules;
    ……
}

RatioConfig裡只有一個map型別的rules路由規則，其中key為一個String型別的subset欄位，用來跟節點的subset欄位匹配，value為路由權重，如：{ {"v1" , 20} , {"v2" , 60} , {"v3" , 20} }表示路由到subset欄位為v1的節點的概率為0.2；路由到subset欄位為v2的節點的概率為0.6；路由到subset欄位為v3的節點的概率為0.2；

1.3 KeyConfig

public class KeyConfig {
    private String defaultRoute;
    private List<KeyRoute> rules;
    ……
}    

KeyConfig裡有兩個屬性，一個是defaultRoute預設路由路徑；另一個是list型別的rules，裡面是KeyRoute，其定義了按引數匹配的型別、規則key與路徑，詳情請見《1.4 KeyRoute》

1.4 KeyRoute

public class KeyRoute {
    private String action = null;
    private String value = null;
    private String route = null;
    public static final String TARS_ROUTE_KEY = "TARS_ROUTE_KEY";
    ……
}

KeyRoute裡面有四個String型別的屬性，如下：

• action：用來定義引數匹配的型別；
  • 目前可設定的型別有：equals精確匹配、match正則匹配、default預設匹配；
• value：這就是大名鼎鼎的規則key了。當action=equals時，還需滿足規則key與請求key匹配，才能進行精確匹配；當action=match時，還需滿足規則key與請求key正則匹配，才能進行正則匹配；action=default對規則key沒要求；
• route：用來規定路由路徑，其值為一個String型別的subset欄位，匹配到節點的subset欄位；
• TARS_ROUTE_KEY：一個常量欄位，為Tars請求體裡的status(map型別)的key；

1.5 SubsetConf的結構示意圖

上述提到的配置類聯絡結構圖如下：

從SubsetConf配置類可以看出，按比例路由和按引數在思路上有些許不同，因此下面dubug分析將分為兩種情況；

2. 過濾節點的方法入口

新增的Sunset流量路由規則應該在查詢服務端節點那裡，其目的是對獲取到的服務端節點根據subset規則進行過濾，因此整個Subset業務邏輯的入口函式在getServerNodes()方法的subsetEndpointFilter()裡，如下圖所示：

我們給該方法打上斷點，進行debug除錯；

3. subsetEndpointFilter()方法解析

3.1 方法功能

方法名	subsetEndpointFilter()
方法所在類	Subset.java
方法邏輯	根據Subset路由規則過濾節點
傳入引數	服務名、透傳染色key、存活節點列表
傳出引數	過濾後的存活節點列表

3.2 方法原始碼

public Holder<List<EndpointF>> subsetEndpointFilter(String servantName, String routeKey, Holder<List<EndpointF>> eps){
    if( subsetConf==null || !subsetConf.isEnanle() ){
        return eps;
    }
    if(eps.value == null || eps.value.isEmpty()){
        return eps;
    }
    //呼叫subsetManager，根據比例/匹配等規則獲取到路由規則的subset
    String subset = subsetManager.getSubset(servantName, routeKey);
    if( "".equals(subset) || subset == null){
        return eps;
    }
    //和每一個eps的subset比較，淘汰不符合要求的
    Holder<List<EndpointF>> epsFilter = new Holder<>(new ArrayList<EndpointF>());
    for (EndpointF ep : eps.value) {
        if( subset.equals(ep.getSubset())){
            epsFilter.getValue().add(ep);
        }
    }
    return epsFilter;
}

3.3 方法解析

進入subsetEndpointFilter()方法，首先會對subsetConf配置項進行非空校驗，這裡的配置項是從前端傳過來的，正常情況下不為空；接著對傳入的引數存活節點列表eps做非空校驗。兩步校驗通過後，進行核心方法getSubset()的呼叫，返回String型別的規則的subset欄位，該欄位可以表示路由路徑。然後將規則的subset欄位與節點的subset欄位一一比較，選出符合要求的節點；

測試結果詳情請見《TarsJava Subset最終程式碼的測試方案設計》一文；

返回的String型別的規則的subset欄位在下圖中就是RotioConfig的rules中的value或者KeyConfig的rules中的route，表示最終路由路徑。以下所有方法都是圍繞如何找到這個規則的subset欄位做文章；

我們進入getSubset()方法檢視Tars是怎麼獲取到規則的subset欄位的；

4. getSubset()方法解析

4.1 方法功能

方法名	getSubset()
方法所在類	SubsetManager.java
方法邏輯	根據路由規則先獲取到比例 / 染色路由的配置，再通過配置獲取String型別的subset欄位
傳入引數	服務名、透傳染色key
傳出引數	String型別的規則的subset欄位

4.2 方法原始碼

public String getSubset(String servantName, String routeKey){
    //check subset config exists
    SubsetConf subsetConf = getSubsetConfig(servantName);
    if( subsetConf == null ){
        return null;
    }
    // route key to subset
    if("ratio".equals(subsetConf.getRuleType())){
        RatioConfig ratioConf = subsetConf.getRatioConf();
        if(ratioConf != null){
            return ratioConf.findSubet(routeKey);
        }
    }
    KeyConfig keyConf = subsetConf.getKeyConf();
    if ( keyConf != null ){
        return keyConf.findSubet(routeKey);
    }
    return null;
}

4.3 方法解析

該方法首先呼叫getSubsetConfig()方法獲取到一個SubsetConf配置項，該配置項可以是從快取中拿，也可以是通過registry介面獲取（詳情請見《5. getSubsetConfig()方法解析》）；

確保SubsetConf配置項存在後，識別SubsetConf配置項的ruleType路由型別屬性（按比例、按引數、預設），通過屬性獲取到對應的配置項（ratioConf、keyConf、keyConf），最後呼叫findSubet()方法即可獲取到String型別的規則的subset欄位，並返回（詳情請見《6. 按比例路由的findSubet()方法解析》與《7. 按引數路由的findSubet()方法解析》）；

我們先進入getSubsetConfig()方法探其原始碼；

5. getSubsetConfig()方法解析

5.1 方法功能

方法名
方法所在類	SubsetManager.java
方法邏輯	獲取SubsetConf路由規則配置項，並存到subsetConf配置項
傳入引數	服務名
傳出引數	SubsetConf配置項

5.2 方法原始碼

public SubsetConf getSubsetConfig(String servantName){
    SubsetConf subsetConf = new SubsetConf();
    if( cache.containsKey(servantName) ){
        subsetConf = cache.get(servantName);
        //小於10秒從快取中取
        if( Duration.between(subsetConf.getLastUpdate() , Instant.now()).toMillis() < 1000 ){
            return subsetConf;
        }
    }
    // get config from registry
    Holder<SubsetConf> subsetConfHolder = new Holder<SubsetConf>(subsetConf);
    int ret = queryProxy.findSubsetConfigById(servantName, subsetConfHolder);
    SubsetConf newSubsetConf = subsetConfHolder.getValue();
    if( ret == TarsHelper.SERVERSUCCESS ){
        return newSubsetConf;
    }
    //從registry中獲取失敗時，更新subsetConf新增進快取
    subsetConf.setRuleType( newSubsetConf.getRuleType() );
    subsetConf.setLastUpdate( Instant.now() );
    cache.put(servantName, subsetConf);
    //解析subsetConf
    if( !newSubsetConf.isEnanle() ){
        subsetConf.setEnanle(false);
        return subsetConf;
    }
    if( "ratio".equals(newSubsetConf.getRuleType())){
        subsetConf.setRatioConf( newSubsetConf.getRatioConf() );
    } else {
        //按引數匹配
        KeyConfig newKeyConf = newSubsetConf.getKeyConf();
        List<KeyRoute> keyRoutes = newKeyConf.getRules();
        for ( KeyRoute kr: keyRoutes) {
            KeyConfig keyConf = new KeyConfig();
            //預設
            if("default".equals(kr.getAction())){
                keyConf.setDefaultRoute(newKeyConf.getDefaultRoute());
                subsetConf.setKeyConf(keyConf);
            }
            //精確匹配
            if("match".equals(kr.getAction())){
                List<KeyRoute> rule = new ArrayList<>();
                rule.add(new KeyRoute("match", kr.getValue() , kr.getRoute()));
                keyConf.setRules( rule );
            }
            //正則匹配
            if("equal".equals(kr.getAction())){
                List<KeyRoute> rule = new ArrayList<>();
                rule.add(new KeyRoute("equal", kr.getValue() , kr.getRoute()));
                keyConf.setRules( rule );
            }
        }
        subsetConf.setKeyConf(newKeyConf);
    }
    return subsetConf;
}

5.3 方法解析

getSubsetConfig()方法的獲取主要分為兩個邏輯：從快取中獲取與從registry介面獲取，判斷依據是：如果快取中的subsetConf配置項的lastUpdate上次更新屬性落後當前時間小於10秒，則直接從快取中獲取；否則重新呼叫registry介面獲取subsetConf配置項；

測試結果詳情請見《TarsJava Subset最終程式碼的測試方案設計》一文；

這是與另一個新增功能registry介面接觸的方法，由於registry功能還未實現，這部分功能做不了測試，但其大概邏輯是通過registry介面查閱資料庫獲取到subsetConf配置項；

getSubsetConfig()方法執行完後，回到4. getSubset()方法裡，我們再進入findSubet()方法窺其究竟；

6. 按比例路由的findSubet()方法解析

需要注意，按比例、按引數路由的findSubet()方法實現方式有些許不同，故在這裡分開來講；

6.1 方法功能

方法名
方法所在類	RatioConfig.java
方法邏輯	根據權重比例獲取rules中最後的subset欄位
傳入引數	透傳的染色key
傳出引數	String型別的規則的subset欄位

6.2 方法原始碼

public String findSubet(String routeKey){
     //routeKey為空時隨機
     if( "".equals(routeKey) || routeKey == null){
         //賦值routeKey為獲取的隨機值
         Random random = new Random();
         int r = random.nextInt( rules.size() );
         routeKey = String.valueOf(r);
         int i = 0;
         for (String key : rules.keySet()) {
             if(i == r){
                 return key;
             }
             i++;
         }
     }
     //routeKey不為空時實現按比例演算法
     int totalWeight = 0;
     int supWeight = 0;
     String subset = null;
     //獲得總權重
     for (Integer value : rules.values()) {
         totalWeight+=value;
     }
     //獲取隨機數
     Random random = new Random();
     int r = random.nextInt(totalWeight);
     //根據隨機數找到subset
     for (Map.Entry<String, Integer> entry : rules.entrySet()){
         supWeight+=entry.getValue();
         if( r < supWeight){
             subset = entry.getKey();
             return subset;
         }
     }
     return null;
 }

6.3 方法解析

首先判斷透傳的染色key是否為空，如果為空，則會進行等比例隨機路由到任意一個value；如果不為空，則會計算權重，通過隨機數匹配權重的方式按比例路由到對應的value，該value就是需要返回給入口函式的String型別的規則的subset欄位；

該方法實現下圖的藍圈1號流程：

而在按引數路由裡，也有一個findSubet()方法，他們的傳入傳出引數相同，實現功能類似，但在邏輯上有些不同，下面來看一下吧；

7. 按引數路由的findSubet()方法解析

7.1 方法功能

方法名
方法所在類	KeyConfig.java
方法邏輯	根據引數匹配規則獲取rules中最後的subset欄位
傳入引數	透傳的染色key
傳出引數	String型別的規則的subset欄位

7.2 方法原始碼

public String findSubet(String routeKey){
    //非空校驗
    if( routeKey == null || "".equals(routeKey) || rules == null){
        return null;
    }
    for ( KeyRoute rule: rules) {
        //根據根據分散式上下文資訊獲取 “請求的染色的key”
        String routeKeyReq;
        if( distributedContext != null){
            routeKeyReq = KeyRoute.getRouteKey(distributedContext);
        } else {
            logger.info("無分散式上下文資訊distributedContext");
            return null;
        }
        //精確匹配
        if( "match".equals(rule.getAction())  ){
            if( routeKeyReq.equals(rule.getValue()) ){
                return rule.getRoute();
            } else {
                logger.info("染色key匹配不上，請求的染色key為：" + routeKeyReq + "; 規則的染色key為：" + rule.getValue());
            }
        }
        //正則匹配
        if( "equal".equals(rule.getAction()) ){
            if( StringUtils.matches(routeKeyReq, rule.getValue()) ){
                return rule.getRoute();
            } else {
                logger.info("正則匹配失敗，請求的染色key為：" + routeKeyReq + "; 規則的染色key為：" + rule.getValue());
            }
        }
        //預設匹配
        if( "default".equals(rule.getAction()) ){
            //預設路由無需考慮染色key
            return rule.getRoute();
        }
    }
    return null;
}

7.3 方法解析

按引數匹配路由方式要求跟Taes請求體的染色key做匹配比較，因此這部分邏輯需要加上；

首先進行非空校驗，校驗通過後遍歷KeyRoute，只需要找到符合條件的rules即可處理返回；在for迴圈裡，首先根據分散式上下文資訊獲取 “請求的染色key”，根據KeyRoute的action分情況討論：

• action=match：精確匹配，需要判斷請求的染色key和規則的染色key是否相等，相等才能進行精確路由；不相等則不進行路由，並輸出一句錯誤日誌；
• action=equal：正則匹配，其中正則式為請求的染色key，需要與規則的染色key進行匹配，同理匹配成功才能進行精確路由；否則則不進行路由，並輸出一句錯誤日誌；
• action=default：預設路由，不需要使用染色key，路由到使用者設定的預設路由路徑；
• 測試結果詳情請見《TarsJava Subset最終程式碼的測試方案設計》一文；

該方法實現下圖的藍圈2號流程：

通過上述步驟，最終獲取到的規則的subset欄位將返回到入口函式進行後續步驟：即將規則的subset欄位與節點的subset欄位一一比較，選出符合要求的節點；

8 總結：Subset業務執行流程結構圖

通過上述分析，可以知道整個Subset的業務執行流程結構圖如下：

• subset.subsetEndpointFilter()：整個業務流程的方法入口；
  • subsetManager.getSubset()：通過XxxConf配置獲取String型別的subset欄位；
    • getSubsetConfig()：從快取或registry介面獲取SubsetConf；
    • subsetConf.getRatioConf()：獲取RatioConf配置；
      • ratioConf.findSubet()：通過RatioConf配置獲取String型別的subset欄位；
    • subsetConf.getKeyConf()：獲取KeyConf配置；
      • keyConf.findSubet()：通過KeyConf配置獲取String型別的subset欄位；
  • for迴圈匹配subset欄位；

---

最後

新人制作，如有錯誤，歡迎指出，感激不盡！ 歡迎關注公眾號，會分享一些更日常的東西！ 如需轉載，請標註出處！