流量回放系統的設計與實現--流量錄製模組
背景
網際網路應用提供服務,與使用者的操作產生互動,其行為產生的流量蘊含著許多可挖掘的價值,如效能分析、資料對比、行為分析等等。使用者流量就如同是現實世界的石油,由其中我們可以提煉的演化的用法非常多。
本系列從軟體測試角度對測試人員的流量展開了應用設計,形成一個集流量錄製、流量回放、實時對比、流量用例編輯、使用者管理於一體的流量管理平臺,以提高測試工作效率,多方面的驗證軟體產品質量。
本系統採用前後端分離架構,由於系統架構複雜,本文僅就 流量錄製 模組的設計與實現,做分析講解,其它模組將在後續文章中拆分講述。
架構設計
實現效果
錄製任務建立,代理並監控日誌:
根據流量生成用例:
功能設計
流量錄製模組主要包含的功能是:
- 任務資訊列表
- 建立錄製任務
- 修改任務資訊
- 執行任務
- 實時檢視流量日誌
- 檢視詳情資訊
- 自定義生成流量用例並儲存
- 用例列表
- 用例詳情、編輯
系統所有的列表和詳情資料,都離不開“增、刪、改、查”4個介面,系統的刪除目前都是邏輯刪除,通過置狀態值來控制顯示,以備後續的資料回覆和問題追蹤。
其中的比較特殊的是 實時流量日誌展示 功能,由於http介面的非同步特性,很難保證日誌資料的實時性和序列化。因此這裡採用的websocket長連線為主,http介面為輔的雙重保證。也是得益mitmproxy專案的開源,我結合系統api,對其介面方法進行了二次自定義開發,以適應本系統的資料需求,保持資料的準確性。
問題與解決方案
一、多工不同的配置需求如何隔離?
解決方案:
在系統首次啟動前,需先執行已經封裝的DockerFile,建立我們所需的映象。系統通過docker service,根據任務配置的資訊(host、代理等),建立docker容器。實際此時的docker映象,已經封裝了容器執行時所需的工具和基本的配置。每個容器建立掛載在各自獨立的埠下,以達到隔離。
二、如何獲取實時流量日誌?
解決方案:
容器中的mitmproxy有多種啟動方式,各有不同的使用場景,其中mitmweb方式啟動的代理會有一個socket服務,通過對該介面的自定義開發,讓其支援我們的跨域連線,並解析其報文資訊,再通過前端渲染,即可達到實時日誌的展現功能。
三、日誌太多介面卡死怎麼辦?
解決方案:
日誌內容大小最好根據實際的使用場景做限制,同時前端採用虛擬列表,只渲染在可視區域及少量即將可視的DOM資料,根據資料長度計算容器的高度。可以自己寫元件去建立、銷燬Dom,本系統中使用的是結合react-virtualized和antd的virtualizedtableforantd4元件,這樣做到日誌展示模組的穩定與效能優化。
四、流量生成用例時,資料量很大怎麼處理?
解決方案:
對於大量資料的錄製用例,在生成用例時,會根據勾選的流量ID,通過請求傳值給自定義的dump介面,生成可以用於回放的dump檔案並儲存。同時為了便於前臺展示,和後續的編輯,流量需要入庫到用例表。資料量超過限制大小時,後臺會捨棄部分冗餘欄位值,切片入庫,保證系統的穩定性。
五、https流量如何處理?
解決方案:
https流量需要通過安裝mitmproxy的中間人證照,才能解析獲取。這裡有個注意點,安卓移動裝置6.0後,無法通過偽造證照去解析https。簡單的做法是,拿到伺服器證照,用openssl生成pem證照。在系統中針對專案進行pem證照的配置,當該專案的代理啟動時,以此證照去解析指定域名的https請求,這樣就是解決所有來源請求的https資料了。
核心程式碼實現
本功能模組的核心部分是圍繞著容器管理指令碼,進行資料準備、配置管理和容器管理。
前端虛擬表元件設計
import React, { useRef, useEffect, useMemo } from 'react';
import { Table } from 'antd';
import { useVT } from 'virtualizedtableforantd4';
const MyRow = React.forwardRef((props, ref) => {
const { children, ...rest } = props;
return <tr {...rest} ref={ref}>{children}</tr>;
});
function CustomRowsHooks(props) {
const columns = useRef(props.columns);
const [VT, setVT] = useVT(() => ({ scroll: { y: 600 }, debug: true }));
useMemo(() => setVT({ body: { row: MyRow } }), [setVT]);
return (
<Table
{...props}
components={VT}
scroll={{ y: 600 }}
dataSource={props.dataSource}
columns={columns.current}
/>
);
}
export default CustomRowsHooks;
服務端核心指令碼
完整指令碼程式碼如下:
#-*-coding:utf-8-*-
__author__="orion-c"
def buildContainer(taskInfo, mountPort, wsMountPort, projectDir):
for i in range(5):
if len(os.listdir(projectDir)) > 0:
break
time.sleep(1)
if sys.platform.startswith('win'):
projectDir = "/taskFile/"+projectDir.split('taskFile\\')[1]
formatHost = {}
try:
if taskInfo:
if taskInfo['hosts']:
hosts = taskInfo['hosts'].split('\n')
for host in hosts:
host = ' '.join(host.split())
host = host.split(' ')
if len(host) == 2:
formatHost[host[1]] = host[0]
try:
container = docker_client.containers.get(str(mountPort))
if container.status == 'exited':
container.remove()
logger.info('移除容器成功:{}'.format(str(mountPort)))
except:
logger.info('can build')
docker_client.containers.run(
name=mountPort,
image='myproxy:0.0.13',
command='/bin/bash -c "sh /root/script/start_sync.sh"',
volumes={
projectDir: {'bind': '/root/script', 'mode': 'rw'}
},
ports={'8080': mountPort, '8081': wsMountPort},
extra_hosts=formatHost,
stderr=True,
detach=True
)
logger.info('任務 {} 建立容器 {} 成功,ws埠 {}'.format(taskInfo['id'], mountPort, wsMountPort))
return str(mountPort)
except Exception as e:
logger.error(e)
logger.error('建立容器:{} 失敗'.format(mountPort))
logger.error('請檢查你的docker服務')
def copyDumpFile(projectDir, content):
dumpFilePath = content['suiteInfo']['dumpFile']
dumpFilePath = '../../' + dumpFilePath if os.path.isfile('../../' + dumpFilePath) else dumpFilePath
replayDumpFile = projectDir + '/replayDumpFile'
shutil.copyfile(dumpFilePath, replayDumpFile)
def makeSyncReplayShell(projectDir, mountPort, content):
shellPath = '../../templte/start_sync.sh' if os.path.isfile('../../templte/start_sync.sh') else 'templte/start_sync.sh'
with open(shellPath, 'r', encoding='utf-8') as shellFile:
shellTemplte = shellFile.read()
cmd = "mitmdump -nC /root/script/replayDumpFile -s /root/script/getReplayResponse.py --ssl-insecure --set ssl_version_client=all --set ssl_version_server=all"
if content['proxySetting']:
cmd = cmd + " --set http2=false --set mode=upstream:{proxySetting}".format(proxySetting=content['proxySetting'])
if content['cerPem'] and content['domain']:
cmd = cmd + " --certs {domain}=/root/script/cer.pem".format(domain= content['domain'])
shellConfig = shellTemplte.format(cmd= cmd)
with open(projectDir + '/start_sync.sh', 'w', encoding='utf-8') as file:
file.write(shellConfig)
def makePem(content,projectDir):
if content['cerPem'] and content['domain']:
with open(projectDir + '/cer.pem', 'w', encoding='utf-8') as file:
file.write(content['cerPem'])
def makeMiddlareScript(content,projectDir):
responsePath = '../../templte/getReplayResponse.py' if os.path.isfile('../../templte/getReplayResponse.py') else 'templte/getReplayResponse.py'
with open(responsePath, 'r', encoding='utf-8') as middlareFile:
middlareTemplte = middlareFile.read()
middlareConfig = middlareTemplte.format(appHost= app.config['HOST'],taskId=content['id'])
with open(projectDir + '/getReplayResponse.py', 'w', encoding='utf-8') as file:
file.write(middlareConfig)
def makeConfig(projectDir, mountPort, content):
copyDumpFile(projectDir,content)
makeSyncReplayShell(projectDir, mountPort,content)
makePem(content, projectDir)
makeMiddlareScript(content, projectDir)
@manager.option('-i','--taskId',dest='taskId',default='')
def runScript(taskId):
now = datetime.now().strftime('%Y-%m-%d_%H_%M_%S')
taskRootPath = encrypt_name(now)
content = getTaskInfo(taskId)
for i in range(2):
if i == 0:
proxyMountPort = freeport.get()
else:
wsMountPort = freeport.get()
projectDir = createProjectDir(taskRootPath)
makeConfig(projectDir, proxyMountPort, content)
setTaskStatus(taskId, 2, taskRootPath)
containName = buildContainer(content, proxyMountPort, wsMountPort, projectDir)
if containName:
setTaskStatus(taskId, 3, taskRootPath, containName, wsMountPort)
else:
setTaskStatus(taskId, 6)
相關文章
- 流量錄製與回放在vivo的落地實踐
- 訂單流量錄製與回放探索實踐|得物技術
- 【穩定性平臺】GOREPLAY流量錄製回放實戰Go
- 流量錄製回放工具jvm-sandbox-repeater入門篇——錄製和回放JVM
- IM系統中聊天記錄模組的設計與實現
- UI 自動化錄製與回放系統UI
- 億級流量實驗平臺設計與實現
- 月光寶盒(vivo流量錄製回放平臺)正式對外開源
- 百億流量微服務閘道器的設計與實現微服務
- “流量回放” 在多耦合系統重構中的實踐之路 - 謝林
- 流量錄製回放工具jvm-sandbox-repeater入門篇——服務部署JVM
- 12.3 實現模擬滑鼠錄製回放
- 流量回放框架 jvm-sandbox-repeater 實踐二框架JVM
- UI 測試的作業系統級別的錄製 / 回放UI作業系統
- 網站流量統計網站
- 電信運營商流量經營系統(資料模組
- C# 螢幕操作錄製與回放C#
- 通用流量錄製回放工具 jvm-sandbox-repeater 嚐鮮 (四)——新版帶介面 console 的使用JVM
- 通過Linux命令實現螢幕錄製和回放Linux
- 設計與實現模組管理系統基本功能定義自己(18--設計模組附件[1])
- RERAN:安卓系統的定時和點選的錄製和回放——(2)安卓
- 億級流量系統架構之如何設計高容錯分散式計算系統架構分散式
- tep整合mitmproxy錄製流量自動生成用例MIT
- 簡易防火牆建置與流量統計-前言 (轉)防火牆
- 短連結系統的設計與實現
- bw_mod模組讓你的Apache也能實現流量限制薦Apache
- Android實現流量統計和網速監控懸浮窗Android
- DNS 流量統計~超?姲(轉)DNS
- 如何實現遊戲陪玩系統中語音的錄製與播放?遊戲
- Oceanus:美團HTTP流量定製化路由的實踐HTTP路由
- Windows下安裝Cacti流量與系統資訊監控Windows
- 億級流量系統架構之如何設計承載百億流量的高效能架構【石杉的架構筆記】架構筆記
- 基於Gor實現流量複製(加middleware功能增強)Go
- 簡易防火牆建置與流量統計之一(轉)防火牆
- 簡易防火牆建置與流量統計之二(轉)防火牆
- 簡易防火牆建置與流量統計之三(轉)防火牆
- 簡易防火牆建置與流量統計之四(轉)防火牆
- 使用SQL實現車流量的計算的示例程式碼SQL