流量回放系統的設計與實現--流量錄製模組

81—1發表於2020-11-10

背景

    網際網路應用提供服務,與使用者的操作產生互動,其行為產生的流量蘊含著許多可挖掘的價值,如效能分析、資料對比、行為分析等等。使用者流量就如同是現實世界的石油,由其中我們可以提煉的演化的用法非常多。
    本系列從軟體測試角度對測試人員的流量展開了應用設計,形成一個集流量錄製、流量回放、實時對比、流量用例編輯、使用者管理於一體的流量管理平臺,以提高測試工作效率,多方面的驗證軟體產品質量。

    本系統採用前後端分離架構,由於系統架構複雜,本文僅就 流量錄製 模組的設計與實現,做分析講解,其它模組將在後續文章中拆分講述。

架構設計

流量錄製功能資料流轉示意圖

實現效果

錄製任務建立,代理並監控日誌:

根據流量生成用例:

功能設計

流量錄製模組主要包含的功能是:

  • 任務資訊列表
  • 建立錄製任務
  • 修改任務資訊
  • 執行任務
  • 實時檢視流量日誌
  • 檢視詳情資訊
  • 自定義生成流量用例並儲存
  • 用例列表
  • 用例詳情、編輯

    系統所有的列表和詳情資料,都離不開“增、刪、改、查”4個介面,系統的刪除目前都是邏輯刪除,通過置狀態值來控制顯示,以備後續的資料回覆和問題追蹤。
    其中的比較特殊的是 實時流量日誌展示 功能,由於http介面的非同步特性,很難保證日誌資料的實時性和序列化。因此這裡採用的websocket長連線為主,http介面為輔的雙重保證。也是得益mitmproxy專案的開源,我結合系統api,對其介面方法進行了二次自定義開發,以適應本系統的資料需求,保持資料的準確性。

問題與解決方案

一、多工不同的配置需求如何隔離?

解決方案:
在系統首次啟動前,需先執行已經封裝的DockerFile,建立我們所需的映象。系統通過docker service,根據任務配置的資訊(host、代理等),建立docker容器。實際此時的docker映象,已經封裝了容器執行時所需的工具和基本的配置。每個容器建立掛載在各自獨立的埠下,以達到隔離。

二、如何獲取實時流量日誌?

解決方案:
容器中的mitmproxy有多種啟動方式,各有不同的使用場景,其中mitmweb方式啟動的代理會有一個socket服務,通過對該介面的自定義開發,讓其支援我們的跨域連線,並解析其報文資訊,再通過前端渲染,即可達到實時日誌的展現功能。

三、日誌太多介面卡死怎麼辦?

解決方案:
日誌內容大小最好根據實際的使用場景做限制,同時前端採用虛擬列表,只渲染在可視區域及少量即將可視的DOM資料,根據資料長度計算容器的高度。可以自己寫元件去建立、銷燬Dom,本系統中使用的是結合react-virtualized和antd的virtualizedtableforantd4元件,這樣做到日誌展示模組的穩定與效能優化。

四、流量生成用例時,資料量很大怎麼處理?

解決方案:
對於大量資料的錄製用例,在生成用例時,會根據勾選的流量ID,通過請求傳值給自定義的dump介面,生成可以用於回放的dump檔案並儲存。同時為了便於前臺展示,和後續的編輯,流量需要入庫到用例表。資料量超過限制大小時,後臺會捨棄部分冗餘欄位值,切片入庫,保證系統的穩定性。

五、https流量如何處理?

解決方案:
https流量需要通過安裝mitmproxy的中間人證照,才能解析獲取。這裡有個注意點,安卓移動裝置6.0後,無法通過偽造證照去解析https。簡單的做法是,拿到伺服器證照,用openssl生成pem證照。在系統中針對專案進行pem證照的配置,當該專案的代理啟動時,以此證照去解析指定域名的https請求,這樣就是解決所有來源請求的https資料了。

核心程式碼實現

本功能模組的核心部分是圍繞著容器管理指令碼,進行資料準備、配置管理和容器管理。

前端虛擬表元件設計

import React, { useRef, useEffect, useMemo } from 'react';
import { Table } from 'antd';
import { useVT } from 'virtualizedtableforantd4';

const MyRow = React.forwardRef((props, ref) => {
const { children, ...rest } = props;
return <tr {...rest} ref={ref}>{children}</tr>;
});
function CustomRowsHooks(props) {
const columns = useRef(props.columns);
const [VT, setVT] = useVT(() => ({ scroll: { y: 600 }, debug: true }));
useMemo(() => setVT({ body: { row: MyRow } }), [setVT]);
return (
<Table
{...props}
components={VT}
scroll={{ y: 600 }}
dataSource={props.dataSource}
columns={columns.current}
/>
);
}

export default CustomRowsHooks;

服務端核心指令碼

完整指令碼程式碼如下:

#-*-coding:utf-8-*-
__author__="orion-c"

def buildContainer(taskInfo, mountPort, wsMountPort, projectDir):
for i in range(5):
if len(os.listdir(projectDir)) > 0:
break
time.sleep(1)
if sys.platform.startswith('win'):
projectDir = "/taskFile/"+projectDir.split('taskFile\\')[1]
formatHost = {}
try:
if taskInfo:
if taskInfo['hosts']:
hosts = taskInfo['hosts'].split('\n')
for host in hosts:
host = ' '.join(host.split())
host = host.split(' ')
if len(host) == 2:
formatHost[host[1]] = host[0]
try:
container = docker_client.containers.get(str(mountPort))
if container.status == 'exited':
container.remove()
logger.info('移除容器成功:{}'.format(str(mountPort)))
except:
logger.info('can build')
docker_client.containers.run(
name=mountPort,
image='myproxy:0.0.13',
command='/bin/bash -c "sh /root/script/start_sync.sh"',
volumes={
projectDir: {'bind': '/root/script', 'mode': 'rw'}
},
ports={'8080': mountPort, '8081': wsMountPort},
extra_hosts=formatHost,
stderr=True,
detach=True
)
logger.info('任務 {} 建立容器 {} 成功,ws {}'.format(taskInfo['id'], mountPort, wsMountPort))
return str(mountPort)
except Exception as e:
logger.error(e)
logger.error('建立容器:{} 失敗'.format(mountPort))
logger.error('請檢查你的docker服務')

def copyDumpFile(projectDir, content):
dumpFilePath = content['suiteInfo']['dumpFile']
dumpFilePath = '../../' + dumpFilePath if os.path.isfile('../../' + dumpFilePath) else dumpFilePath
replayDumpFile = projectDir + '/replayDumpFile'
shutil.copyfile(dumpFilePath, replayDumpFile)

def makeSyncReplayShell(projectDir, mountPort, content):
shellPath = '../../templte/start_sync.sh' if os.path.isfile('../../templte/start_sync.sh') else 'templte/start_sync.sh'
with open(shellPath, 'r', encoding='utf-8') as shellFile:
shellTemplte = shellFile.read()
cmd = "mitmdump -nC /root/script/replayDumpFile -s /root/script/getReplayResponse.py --ssl-insecure --set ssl_version_client=all --set ssl_version_server=all"
if content['proxySetting']:
cmd = cmd + " --set http2=false --set mode=upstream:{proxySetting}".format(proxySetting=content['proxySetting'])
if content['cerPem'] and content['domain']:
cmd = cmd + " --certs {domain}=/root/script/cer.pem".format(domain= content['domain'])
shellConfig = shellTemplte.format(cmd= cmd)
with open(projectDir + '/start_sync.sh', 'w', encoding='utf-8') as file:
file.write(shellConfig)

def makePem(content,projectDir):
if content['cerPem'] and content['domain']:
with open(projectDir + '/cer.pem', 'w', encoding='utf-8') as file:
file.write(content['cerPem'])

def makeMiddlareScript(content,projectDir):
responsePath = '../../templte/getReplayResponse.py' if os.path.isfile('../../templte/getReplayResponse.py') else 'templte/getReplayResponse.py'
with open(responsePath, 'r', encoding='utf-8') as middlareFile:
middlareTemplte = middlareFile.read()
middlareConfig = middlareTemplte.format(appHost= app.config['HOST'],taskId=content['id'])
with open(projectDir + '/getReplayResponse.py', 'w', encoding='utf-8') as file:
file.write(middlareConfig)

def makeConfig(projectDir, mountPort, content):
copyDumpFile(projectDir,content)
makeSyncReplayShell(projectDir, mountPort,content)
makePem(content, projectDir)
makeMiddlareScript(content, projectDir)

@manager.option('-i','--taskId',dest='taskId',default='')
def runScript(taskId):
now = datetime.now().strftime('%Y-%m-%d_%H_%M_%S')
taskRootPath = encrypt_name(now)
content = getTaskInfo(taskId)
for i in range(2):
if i == 0:
proxyMountPort = freeport.get()
else:
wsMountPort = freeport.get()
projectDir = createProjectDir(taskRootPath)
makeConfig(projectDir, proxyMountPort, content)
setTaskStatus(taskId, 2, taskRootPath)
containName = buildContainer(content, proxyMountPort, wsMountPort, projectDir)
if containName:
setTaskStatus(taskId, 3, taskRootPath, containName, wsMountPort)
else:
setTaskStatus(taskId, 6)

相關文章