摘要:透過本教程,我們學習了一類客流統計應用——區域內客流統計,通常用於室外安防,或室內客流熱力圖,經過簡單改造還可以實現區域入侵檢測、人員在離崗檢測等應用。
本文分享自華為雲社群《客流分析之基於人形檢測的劃區域客流統計》,作者:HiLens_feige 。
在智慧園區、智慧門店等商業場景中,劃區域的客流統計是一類常見的AI應用,本文介紹基於人形檢測的劃區域客流統計:採用人形框檢測行人並進行跟蹤,若人形框中心點位於事先劃定的區域中,增加客流計數;區域內外的人形將使用不同顏色的框表示,畫面中也會實時顯示客流數量。
準備工作
本文將使用華為雲ModelArts進行人形檢測模型的訓練,並使用ModelBox框架進行應用開發,使用前開發者需要完成如下準備工作:
技能開發
這個應用對應的ModelBox版本已經做成模板放在華為雲OBS中,可以用sdk中的solution.bat工具下載,接下來我們給出該應用在ModelBox中的完整開發過程:
1)下載模板
執行.\solution.bat -l可看到當前公開的技能模板:
PS ███> .\solution.bat -l
...
Solutions name:
mask_det_yolo3
...
passenger_flow_person_det_yolo7
結果中的passenger_flow_person_det_yolo7即為基於人形檢測的劃區域客流統計應用模板,可使用如下命令下載模板:
PS ███> .\solution.bat -s passenger_flow_person_det_yolo7
...
solution.bat工具的引數中,-l 代表list,即列出當前已有的模板名稱;-s 代表solution-name,即下載對應名稱的模板。下載下來的模板資源,將存放在ModelBox核心庫的solution目錄下。
2)建立工程
在ModelBox sdk目錄下使用create.bat建立passenger_flow_count工程
PS ███> .\create.bat -t server -n passenger_flow_count -s passenger_flow_person_det_yolo7 sdk version is modelbox-xxx success: create passenger_flow_count in ███\modelbox\workspace
create.bat工具的引數中,-t 表示建立事務的類別,包括工程(server)、Python功能單元(Python)、推理功能單元(infer)等;-n 代表name,即建立事務的名稱;-s 代表solution-name,表示將使用後面引數值代表的模板建立工程,而不是建立空的工程。
workspace目錄下將建立出passenger_flow_count工程,工程內容如下所示:
passenger_flow_count |--bin │ |--main.bat:應用執行入口 │ |--mock_task.toml:應用在本地執行時的輸入輸出配置,此應用預設使用本地影片檔案為輸入源,最終結果輸出到另一本地影片檔案,可根據需要修改 |--CMake:存放一些自定義CMake函式 |--data:存放應用執行所需要的圖片、影片、文字、配置等資料 │ |--passenger_flow.mp4:客流統計測試用影片檔案 │ |--simsun.ttc:中文字型庫 |--dependence │ |--modelbox_requirements.txt:應用執行依賴的外部庫在此檔案定義,本應用依賴pillow、lap、scipy等工具包 |--etc │ |--flowunit:應用所需的功能單元存放在此目錄 │ │ |--cpp:存放C++功能單元編譯後的動態連結庫,此應用沒有C++功能單元 │ │ |--draw_passenger_bbox:客流畫圖功能單元 │ │ |--object_tracker:目標跟蹤功能單元 │ │ |--yolov7_post:人形檢測使用的是YOLO7模型,此處即為後處理功能單元 |--flowunit_cpp:存放C++功能單元的原始碼,此應用沒有C++功能單元 |--graph:存放流程圖 │ |--passenger_flow_count.toml:預設流程圖,使用本地影片檔案作為輸入源 │ |--modelbox.conf:modelbox相關配置 |--hilens_data_dir:存放應用輸出的結果檔案、日誌、效能統計資訊 |--model:推理功能單元目錄 │ |--person_det:人形檢測推理功能單元 │ │ |--person_det.toml:人形檢測推理功能單元的配置檔案 │ │ |--person_det.onnx:人形檢測onnx模型 |--build_project.sh:應用構建指令碼 |--CMakeLists.txt |--rpm:打包rpm時生成的目錄,將存放rpm包所需資料 |--rpm_copyothers.sh:rpm打包時的輔助指令碼
3)檢視流程圖
passenger_flow_count工程graph目錄下存放流程圖,預設的流程圖passenger_flow_count.toml與工程同名,其內容為(以Windows版ModelBox為例):
[driver] # 功能單元的掃描路徑,包含在[]中,多個路徑使用,分隔 # ${HILENS_APP_ROOT} 表示當前應用的實際路徑 # ${HILENS_MB_SDK_PATH} 表示ModelBox核心庫的實際路徑 dir = [ "${HILENS_APP_ROOT}/etc/flowunit", "${HILENS_APP_ROOT}/etc/flowunit/cpp", "${HILENS_APP_ROOT}/model", "${HILENS_MB_SDK_PATH}/flowunit", ] skip-default = true [profile] # 透過配置profile和trace開關啟用應用的效能統計 profile = false # 是否記錄profile資訊,每隔60s記錄一次統計資訊 trace = false # 是否記錄trace資訊,在任務執行過程中和結束時,輸出統計資訊 dir = "${HILENS_DATA_DIR}/mb_profile" # profile/trace資訊的儲存位置 [flow] desc = "passenger detection using person detection with yolov7 for local video or rtsp video stream" # 應用的簡單描述 [graph] format = "graphviz" # 流程圖的格式,當前僅支援graphviz graphconf = """digraph passenger_flow_count { node [shape=Mrecord] queue_size = 4 batch_size = 1 # 定義節點,即功能單元及其屬性 input1[type=input,flowunit=input,device=cpu,deviceid=0] data_source_parser[type=flowunit, flowunit=data_source_parser, device=cpu, deviceid=0] video_demuxer[type=flowunit, flowunit=video_demuxer, device=cpu, deviceid=0] video_decoder[type=flowunit, flowunit=video_decoder, device=cpu, deviceid=0, pix_fmt="rgb"] resize[type=flowunit flowunit=resize device=cpu deviceid="0" image_width=416, image_height=320] color_transpose[type=flowunit flowunit=packed_planar_transpose device=cpu deviceid="0"] normalize[type=flowunit flowunit=normalize device=cpu deviceid=0 standard_deviation_inverse="0.003921568, 0.003921568, 0.003921568"] person_det[type=flowunit flowunit=person_det device=cpu deviceid="0"] yolov7_post[type=flowunit flowunit=yolov7_post device=cpu deviceid="0"] object_tracker[type=flowunit, flowunit=object_tracker, device=cpu, deviceid=0] draw_passenger_bbox[type=flowunit, flowunit=draw_passenger_bbox, device=cpu, deviceid=0] video_out[type=flowunit flowunit=video_out device=cpu deviceid="0"] # 定義邊,即功能間的資料傳遞關係 input1:input -> data_source_parser:in_data data_source_parser:out_video_url -> video_demuxer:in_video_url video_demuxer:out_video_packet -> video_decoder:in_video_packet video_decoder:out_video_frame -> resize:in_image resize:out_image -> color_transpose:in_image color_transpose:out_image -> normalize:in_data normalize:out_data -> person_det:input person_det:output -> yolov7_post:in_feat yolov7_post:out_data -> object_tracker:in_bbox object_tracker:out_track -> draw_passenger_bbox:in_track video_decoder:out_video_frame -> draw_passenger_bbox:in_image draw_passenger_bbox:out_image -> video_out:in_video_frame }"""
整個應用邏輯比較簡單,影片解碼後做影像預處理,接著是人形檢測,模型後處理得到人形框,送入跟蹤演算法進行實時跟蹤與區域內外判斷,最後將跟蹤資訊畫到影像輸出到影片中。
4)核心邏輯
本應用的核心邏輯是跟蹤與區域判斷,跟蹤邏輯在 object_tracker 功能單元中,使用的是 JDE(Towards Real-Time Multi-Object Tracking)演算法,演算法介紹可參考論文,本應用使用的是簡化版本,未使用人形reid特徵值做匹配。
區域判斷在 draw_passenger_bbox 功能單元draw_passenger_bbox.py的 draw_tracking_object 函式中:
def draw_tracking_object(self, img_data, tracking_objects): '''在圖中畫出跟蹤物件的檢測框和過線的行人資料''' thickness = 2 GRAY = (117, 117, 117) GREEN = (0, 255, 0) YELLO = (255, 255, 0) # 畫出區域邊界線 cv2.polylines(img_data, [self.area], True, YELLO, 3) flow_count = 0 for track in tracking_objects: # 人形框的中心點 c_x = int((track["bbox"][0] + track["bbox"][2]) / 2) c_y = int((track["bbox"][1] + track["bbox"][3]) / 2) # 判斷人形框的中心點是否在區域內 flag = cv2.pointPolygonTest(self.area, (c_x, c_y), False) if flag > 0: # 區域內人形框用綠色,同時客流計數增加 flow_count += 1 cv2.rectangle(img_data, (track["bbox"][0], track["bbox"][1]), (track["bbox"][2], track["bbox"][3]), GREEN, 2) else: # 區域內人形框用灰色 cv2.rectangle(img_data, (track["bbox"][0], track["bbox"][1]), (track["bbox"][2], track["bbox"][3]), GRAY, thickness) # 左上角顯示實時的客流數量 img_data = self.put_chi_text( img_data, '客流計數:%d' % flow_count, (50, 20), YELLO, 50) return img_data
可以看到,我們使用了OpenCV的 pointPolygonTest 函式判斷點與區域的位置關係。其中區域引數配置在draw_passenger_bbox.toml檔案中,配置的是劃定區域的4個頂點座標,圍成一個封閉的四邊形:
... # 自定義的配置項 [config] area = ["0", "325", "1280", "25", "1280", "360", "0", "720"] # 客流統計的劃定區域 ...
5)模型訓練
本應用中包含模型推理部分,ModelBox內建了主流的推理引擎,如TensorFlow,TensorRT,LibTorch,Ascend ACL,MindSpore,以及Windows版本中所用的ONNXRuntime。在開發推理功能單元時,只需要準備模型檔案,並配置對應的toml檔案,即可完成推理功能單元的開發,無需掌握推理引擎的開發介面。
passenger_flow_person_det_yolo7模板中內建了人形檢測模型,這個模型基於yolov7與yolov5-lite,訓練資料集用的是開源的CUHK-SYSU,在ModelArts的Notebook環境中訓練後,再轉換成對應平臺的模型格式:onnx格式可以用在Windows裝置上,RK系列裝置上需要轉換為rknn格式。
模型的訓練與轉換教程已經開放在AI Gallery中,其中包含訓練資料、訓練程式碼、模型轉換指令碼,以及詳細的指導文件。開發者如果希望嘗試自己訓練模型,或者對模板中提供的模型效果不滿意,可以進入 【ModelBox】行人檢測模型訓練 頁面,點選右上角的Run in ModelArts按鈕,跟隨教程一步步操作,也可以修改其中的程式碼、更換新的資料集訓練出自己的模型。
6)三方依賴庫
本應用中的畫圖功能單元依賴 pillow工具包以實現中文輸出,ModelBox應用不需要手動安裝三方依賴庫,只需要配置在 dependence\modelbox_requirements.txt ,應用在編譯時會自動安裝。另外,中文輸出還需要對應的字型庫,存放在 data 目錄下,畫圖功能單元初始化時將從此目錄載入資源。
7)檢視輸入輸出配置
檢視任務配置檔案bin/mock_task.toml,可以看到其中的任務輸入和任務輸出配置為如下內容::
[input] type = "url" url = "${HILENS_APP_ROOT}/data/passenger_flow.mp4" # 表示輸入源為本地影片檔案 [output] type = "local" url = "${HILENS_APP_ROOT}/hilens_data_dir/passenger_flow_result.mp4" # 表示輸出為本地影片檔案
即,使用本地影片檔案data/passenger_flow.mp4作為輸入,統計過線客流後,畫圖輸出到本地影片檔案data/passenger_flow_result.mp4中。
8)用啟動指令碼執行應用
啟動應用前執行.\build_project.sh進行工程構建,該指令碼將編譯自定義的C++功能單元(本應用不涉及)、將應用執行時會用到的配置檔案轉碼為Unix格式(防止執行過程中的格式錯誤)、安裝第三方依賴庫:
PS ███> .\build_project.sh
...
PS ███>
然後執行.\bin\main.bat執行應用:
PS ███> .\bin\main.bat
...
執行結束後在hilens_data_dir目錄下生成了passenger_flow_result.mp4檔案,可以開啟檢視:
可以看到,黃色線段包圍的即客流統計的區域,區域外人使用灰色框標記,區域內的使用綠色框,畫面左上角實時顯示總的過線客流數量。
3. 小結
透過本教程,我們學習了一類客流統計應用——區域內客流統計,通常用於室外安防,或室內客流熱力圖,經過簡單改造還可以實現區域入侵檢測、人員在離崗檢測等應用。