【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第七彈——風險跟蹤/任務編排/資料同步監測/資料開發/程式碼統計

Ayo發表於2024-03-07

歷史帖

【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第一彈——介面測試
【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第二彈——UI 測試
【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第三彈——測試追蹤
【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第四彈——工作流&覆蓋呼叫分析
【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第五彈——效能度量/資源探測/鏈路監控/輔助工具
【ARUN】FastAPI&Vue 擁有無敵顏值且易用的全棧測試平臺! 第六彈——持續測試/程式碼掃描/資料質量/日誌聚合/效能測試

前言

沒有原始碼！對測試平臺功能設計感興趣或者不知道做什麼功能的可以看下去，希望對你有點啟發 🙏

風險跟蹤

背景

在實際使用中測試中包含了大量回歸任務與其他檢查機制，僅介面迴歸任務而言目前執行的介面已經達到了 3500w+，每日場景用例執行量達 5w+，自動檢測任務總執行 50w+ ，但由於各種歷史包袱或者使用頻次，非重要功能等原因一些檢測到的風險並未及時修改而導致長時間存在，又由於未將風險關聯到人，導致風險項無法流轉追溯，所以需要一個風險跟蹤機制將問題持久化並將負責人拉入風險處理的流程內，在有空的時候主動推進，讓問題最終得到解決，避免歷史風險持續疊加導致各類棘手的問題。

功能介紹

資料看板將展示所有風險並根據風險型別 - 風險來源 - 風險名稱 - 負責人聚合, 在此可以審查系統近期捕獲到的一切異常資訊

在工作臺內可以將任務單個/批次指派給他人，可以將任務單個/批次更改狀態，可以單個/批次評論任務，可以記錄任務各個欄位的更改人 - 前後更改 diff 值 -以及持續時間

任務編排

背景

隨著公司專案越來越多，而對應的測試迴歸用例也越來越完善，但面對客戶專案上線釋出的頻率增高，尤其是臨時定版熱修的情況下，測試用例迴歸將會耗費大量時間，最終會消耗一定的時間在於等待迴歸用例的執行，為了減少這種窘況的發生，對於任務用例編排以及執行最佳化迫在眉睫，我們希望透過以下方式來減緩這種問題的情況：

採用更加智慧多執行緒用例編排執行用例 —— 解決耗時大的用例被同個執行緒獲取導致最終執行慢的問題
執行時的錯誤用例報告/剩餘佇列數展示 —— 提前暴露問題提前檢視問題所在
執行緒階梯下降自動重試 —— 減少併發執行帶來的用例異常問題
增加多佇列模式動態統計歷史不可併發用例至單執行緒佇列 —— 減少人為維護不可併發資料以及減少不可併發用例在併發下的錯誤影響

編排設計

基於貪心演算法的執行緒級別的用例編排，使用歷史執行資料根據執行緒數量動態分組執行佇列，另外對於執行用例按照用例執行時間從小打大依次扔入佇列，使得消耗時間越大的上用例都在最後，可以在有限時間內看到更多用例的執行情況；

開啟自動重試，自動重試預設採用 2 個執行緒執行，而平時用的都是單執行緒，這樣設計為了提高給到大家重試時的及時性，以及大家自己重試時的正確性；另外對於不可併發的任務，採用多執行緒執行後將會將第一次執行異常的用例落庫，並在下次執行時動態的分配到單執行緒執行佇列中，在多執行緒只任務結束後，由單執行緒執行；

資料同步監測

背景

目前透過 flink cdc 透過模擬 mysql slave 的方式訂閱 binlog 的變更消費，來做資料同步到 starrocks，但由 flink 元件複雜且不是特別穩定，有時候會出現 taskmanager 假死，binlog 資料無序消費從而造成同步資料異常的問題，現在需要一個工具可以驗證同步任務是否正常執行；
現在透過每個環境自動建立一張表，並寫入此次檢查的時間戳，下次執行時檢查 starrocks 與 mysql 中的時間戳的差值，差值則為最小的延後時間（經測試在沒有壓力的時刻 mysql 修改/增加的資料寫入 starrocks 將會非常快，幾乎無感)