踩坑 Spring Cloud Hystrix 執行緒池佇列配置

Seifon發表於2019-01-28

背景:

有一次在生產環境,突然出現了很多筆還款單被掛起,後來排查原因,發現是內部系統呼叫時出現了Hystrix呼叫異常。在開發過程中,因為核心執行緒數設定的比較大,沒有出現這種異常。放到了測試環境,偶爾有出現這種情況,後來在網上查詢解決方案,網上的方案是調整maxQueueSize屬性就好了,當時調整了一下,確實有所改善。可沒想到在生產環境跑了一段時間後卻又出現這種了情況,此時我第一想法就是去檢視maxQueueSize屬性,可是maxQueueSize屬性是設定值了。當時就比較納悶了,為什麼maxQueueSize屬性不起作用,後來通過檢視官方文件發現Hystrix還有一個queueSizeRejectionThreshold屬性,這個屬性是控制佇列最大閾值的,而Hystrix預設只配置了5個,因此就算我們把maxQueueSize的值設定再大,也是不起作用的。兩個屬性必須同時配置

先看一下正確的Hystrix配置姿勢。

application.yml:

hystrix:
  threadpool:
    default:
      coreSize: 200 #併發執行的最大執行緒數,預設10
      maxQueueSize: 1000 #BlockingQueue的最大佇列數,預設值-1
      queueSizeRejectionThreshold: 800 #即使maxQueueSize沒有達到,達到queueSizeRejectionThreshold該值後,請求也會被拒絕,預設值5

複製程式碼

接下來編寫一個測試類,來驗證幾種錯誤配置,看看會出現什麼情況。

測試類程式碼(A呼叫方):


/**
 * @Author: XiongFeng
 * @Description:
 * @Date: Created in 11:12 2018/6/11
 */
public class RepaymentHelperTest extends FundApplicationTests {

    @Autowired
    RepaymentHelper repaymentHelper;
    @Autowired
    private RouterFeign routerFeign;

    @Test
    public void hystrixTest() throws InterruptedException {

        for (int i = 0; i < 135; i++) {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    job();
                }
            }).start();
        }

        Thread.currentThread().join();
    }

    public void job() {
        String repaymentNo = "xf1002";
        String transNo = "T4324324234";
        String reqNo = "xf1002";
        String begintime = "20180831130030";
        String endtime = "20180831130050";

        TransRecQueryReqDto transRecQueryReqDto = new TransRecQueryReqDto();
        transRecQueryReqDto.setTransNo(transNo);
        transRecQueryReqDto.setBeginTime(begintime);
        transRecQueryReqDto.setEndTime(endtime);
        transRecQueryReqDto.setReqNo(reqNo);

        Resp<List<TransRecDto>> queryTransRecListResp = routerFeign.queryTransRec(new Req<>(repaymentNo, "2018080200000002", null, null, transRecQueryReqDto));

        System.out.println(String.format("獲取結果為:【%s】", JsonUtil.toJson(queryTransRecListResp)));
    }
}
複製程式碼
  • 這個測試類的作用就是建立135個執行緒,通過RouterFeign類併發請求B服務方,看看請求結果是否出現異常。

Feign呼叫程式碼:


@FeignClient(value = "${core.name}", fallbackFactory = RouterFeignBackFactory.class, path = "/router")
public interface RouterFeign {

    /**
     * 代扣結果查詢
     * @param transRecQueryReqDtoReq
     * @return
     */
    @PostMapping("/queryTransRec")
    Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq);

}
複製程式碼
  • 這個類,就是通過Feign方式去呼叫B服務方的客戶端

服務提供方程式碼(B服務方):

/**
 * @Author: XiongFeng
 * @Description:
 * @Date: Created in 16:04 2018/5/24
 */
@Api("還款服務")
@RefreshScope
@RestController
@RequestMapping("/router")
public class TestController {

    private static Logger logger = LoggerFactory.getLogger(TestController.class);

    // 計數器
    private static AtomicInteger count = new AtomicInteger(1);

    @ApiOperation(value = "代扣結果查詢")
    @PostMapping("/queryTransRec")
    Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq) throws InterruptedException {
        System.out.println(String.format("查詢支付結果......計數: %s", count.getAndAdd(1)));
        Thread.sleep(500);
        return Resp.success(RespStatus.SUCCESS.getDesc(), null);
    }
    
複製程式碼
  • 這個類的作用,就是一個服務提供方,計數並返回結果。

下面我們看一下幾種錯誤的配置。

案例一(將核心執行緒數調低,最大佇列數調大一點,但是佇列拒絕閾值設定小一點):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1000
      queueSizeRejectionThreshold: 20
複製程式碼
此時的結果:

image

  • 左視窗是B服務方,右視窗是A呼叫方。從結果可以看出,呼叫135次,成功32次左右,其餘執行緒全部拋異常。
案例二(將核心執行緒數調低,最大佇列數調小一點,但是佇列拒絕閾值設定大一點):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 15
      queueSizeRejectionThreshold: 2000
複製程式碼
此時的結果:
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@7d6d472b rejected from java.util.concurrent.ThreadPoolExecutor@17f8bcb7[Running, pool size = 3, active threads = 3, queued tasks = 15, completed tasks = 0]
複製程式碼

image

  • 左視窗是B服務方,右視窗是A呼叫方。從結果可以看出,呼叫135次,成功25次左右,其餘執行緒全部拋異常。。
案例三(將核心執行緒數調低,最大佇列數調大一點,但是佇列拒絕閾值不設定值):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1500
複製程式碼
此時的結果:
java.util.concurrent.RejectedExecutionException: Rejected command because thread-pool queueSize is at rejection threshold.
複製程式碼

image

  • 左視窗是B服務方,右視窗是A呼叫方。此時的結果和案例一的情況一樣,呼叫135次,成功47次左右,其餘執行緒全部拋異常。報錯跟案例一一樣
案例四(將核心執行緒數調低,最大佇列數不設值,但是佇列拒絕閾值設定的比較大):
hystrix:
  threadpool:
    default:
      coreSize: 10
      queueSizeRejectionThreshold: 1000
複製程式碼
此時的結果:
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@23d268ea rejected from java.util.concurrent.ThreadPoolExecutor@66d0e2f4[Running, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]
	at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
	at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
	at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379)
	at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:112)
複製程式碼

image

  • 左視窗是B服務方,右視窗是A呼叫方。此時的結果和案例二的情況一樣,呼叫135次,成功10次左右,其餘執行緒全部拋異常。報錯跟案例二一樣

下面來看一看正確的配置案例

案例一:將核心執行緒數調低,最大佇列數和佇列拒絕閾值的值都設定大一點):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1500
      queueSizeRejectionThreshold: 1000
複製程式碼
此時的結果:

image

  • 左視窗是B服務方,右視窗是A呼叫方。此時的結果就完全正常了,併發請求了135次,全部成功!
結論:官方預設佇列閾值只有5個, 如果要調整佇列,必須同時修改maxQueueSize和queueSizeRejectionThreshold屬性的值,否則都會出現異常!
參考文件:

Spring Hystrix 官方文件

原文地址:www.seifon.cn/2018/12/08/…

相關文章