自動駕駛系列（七）——聊聊人機互動中的DMS駕駛員監控系統

DMS駕駛員監控系統，是自動駕駛人機互動的一部分，即透過在汽車上安裝光學攝像頭和紅外攝像頭對駕駛員的眼部狀態（眼球追蹤、實現追蹤等）進行實時獲取，透過深度學習演算法對獲取的資訊進行分析，判斷出駕駛員的狀態，實現對駕駛員的身份識別、駕駛員疲勞監測、駕駛員注意力監測以及危險駕駛行為的監測，並進行不同級別的預警。

DMS駕駛員監控系統工作原理

人在疲勞的時候會出現比較典型的面部表情或動作特徵，比如增加了眨眼持續時間、減緩了眼瞼運動、點頭、打哈欠等。基於攝像頭的駕駛員監控方案正是利用這一點，即先採集到駕駛員在不同疲勞狀態下所展現的表情特徵，然後將這些定性的表情特徵進行量化，提取出面部特徵點以及特徵指標作為判定依據，再結合多次實驗資料總結出基於這些引數的識別方法，最後再輸入取得的狀態資料進行識別和判斷。

識別準確率是駕駛員監測系統最核心的指標之一。DMS駕駛員監控系統採用傳統演算法和深度學習，透過人臉檢測與追蹤、3D臉部建模等核心技術，針對打哈欠、視線偏移、閉眼、眨眼等多種狀態進行識別，同時透過指令集最佳化、多執行緒最佳化、實時演算法排程等高效的工程實現，大幅最佳化和提升系統響應速度。

此外，DMS駕駛員監控系統還採用近紅外主動成像技術，能夠適應各種光源環境，即便在夜間、逆光等情況下，也能提供高品質的影像。由於紅外光特性可以穿透鏡片，被遮擋的眼部資訊也能夠正常成像，很好地解決了駕駛員眼鏡反光問題。

DMS駕駛員監控系統的難點

l DMS駕駛員監控系統以車載攝像頭拍攝的影片流作為輸入，成像質量也會受外界光線干擾，例如三維對映到二維的資訊丟失、部分遮擋，光線變化等。

l DMS駕駛員監控系統演算法面臨駕駛員狀態多變的考驗。汽車駕駛員存在不同性別、年齡、種族，可能會穿戴帽子、口罩、眼鏡等，駕駛過程中頭部會出現各種姿態，這些複雜狀況也會對演算法構成很大考驗。

l DMS駕駛員監控系統對人類駕駛員精神狀態的檢測精準度難以把控。 由於對於駕駛員以及成員的生理、心理狀態判斷行業內沒有形成可控函式，因而系統無法作出準確判斷。

l 資料採集標註面臨極大考驗。計算機視覺演算法對影像質量有較高要求，車載攝像頭成像質量與公開資料集影像質量差異較大，為保證演算法效果，需要用車載攝像頭採集真實行車場景下的資料，並對此進行精準標註，這會極大增加資料採集標註難度與成本。

景聯文科技提供DMS系統資料解決方案

景聯文科技作為一家專業的資料採集標註公司，提出了DMS系統資料解決方案，依託於自身豐富的資料採集標註經驗，透過全場景資料庫，定製化資料採集標註，一站式解決DMS相關演算法的訓練資料需求，可以幫助車企縮短資料採集和標註週期，有效降低演算法模型訓練成本，節省大量研發時間和成本。

景聯文科技擁有豐富的DMS場景搭建採集經驗，可以快速採集標註車輛中全場景條件下的資料，配合廣大車企進行DMS相關演算法的開發。提供的駕駛員行為資料集有：

《300000張DMS駕駛員行為訓練集》

l 採集裝置：可見光和紅外雙目攝像頭

l 資料規模：300000張影像，300000個json檔案，600000段影片，每段影片30秒左右

l 採集環境：車內

l 資料格式：影像資料格式為jpg，標註檔案格式為json，影片格式為MP4

l 採集多樣性：多年齡段、多時間段、多種行為（疲勞駕駛、著裝規範、副駕駛及後排座椅、未系安全帶、抽菸、吃喝、後擋風玻璃置物臺、主駕駛防護欄、中控臺、故意遮擋鏡頭、手持手機打電、未超載、中央扶手處、聊微信看影片）

l 採集時間：白天、傍晚和夜晚

l 標註說明：對檢測物件進行框選標註，所有圖片中框選的型別都需要被劃分到正確的型別中，不能出現漏標註或型別標註錯誤的情況

l 準確率：採集資料數量達到合同要求，採集種類和場景不少於雙方協議的98%；不遺漏框，不誤標框，不多標框，準確率達98%以上；標註分類標籤準確度達100%

除此之外，景聯文科技有全職採集標註人員和專業的技術團隊對採集標註專案進行把控，合作專業租車平臺，對採集車輛全部上保險，被採集者本人均簽署授權協議書，保證資料採集流程安全合規。

景聯文科技｜AI基礎資料服務｜資料採集｜資料標註｜假指紋製作｜指紋防偽演算法

助力人工智慧技術加速數字經濟相關產業質量變革，賦能傳統產業智慧化轉型升級

文章著作權歸景聯文科技所有，商業轉載請聯絡景聯文科技獲得授權，非商業轉載請註明出處；圖片源自網路，如有侵權請聯絡我們進行刪除。