基於口罩識別模型，探索機器學習自動化的技術應用

2020年初的戰“疫”來勢洶洶，科學技術成為打贏這場硬仗的高效武器。其中，AI技術在控制疫情發展方面展示了不可忽視的作用。比如，透過AI技術來預測並區分新冠肺炎的輕重症、幫助醫生分診等，能夠極大的提高與病魔賽跑的效率。同時，基於AI技術研發的智慧疫情助理、送餐機器人也發揮了極大的作用。遙想2003年非典的時期，恐怕當時誰也難以想象，十幾年的時間，科技發展如此迅猛。

春末夏至，復工復產也在有序進行。由於管控工作、防疫措施的要求，口罩成為出門必備的單品。那麼，在口罩遮擋的情況下，該如何做好人群的識別呢？4月15日，京東雲與AI人工智慧平臺部技術總監何雲龍老師，在技術公開課 《基於口罩識別模型，探索機器學習自動化的技術應用》中，交流了疫情期間人臉口罩識別的意義、方法，延伸出自動化學習的技術優勢，並在何雲龍老師的帶領下，基於口罩識別的模型，一起探索了機器學習自動化的過程及相關技術，並進一步展望未來的AI落地方面的技術，以及未來在這方面能夠做的工作。

基於口罩識別模型，探索機器學習自動化的技術應用

— 京東雲與AI產品研發部架構師 何雲龍—

人臉口罩識別的意義

疫情期間，有一個關鍵點就是春節之後的復工。在國內有一個特殊的情況，就是在復工的時候，人員流動量相當龐大。為了控制感染的擴散，必須要有效識別感染人群。但是目前的情況與之前大大不同，因為絕大部分人臉都會被口罩遮擋，無法完全採用原來用於安防等場景的人臉識別技術。那麼，如何在戴口罩的情況下精準識別人臉，這是一個很大的挑戰。

比較幸運的是，經過研究，我們科學家發現，即便是口罩遮擋住了大部分的人臉關鍵點，但我們依舊能夠利用有限的人臉關鍵點來進行精準識別。

比如京東集團的無感知智慧溫感篩查系統，能夠結合傳統的溫感技術以及近期快速研發的人臉識別技術，實現大流量背景下的人員跟蹤，從而有效控制感染的擴散，協助實現疫情管控的效率提升。

現在做的一些方法

1. 資料增強，打破資料量過少的困境

當前人臉識別模型多是基於深度神經網路，需要獲取到足夠充分的訓練資料用於訓練模型。之前做人臉識別的時候，無論是使用公開資料集還是採集實際場景的人臉資料，都有很大的資料量積累。但是現階段的基於口罩的人臉識別，一個很大的挑戰就是資料量非常少，直接從現實場景採集大量帶口罩人臉識別訓練資料比較困難，時間又很緊迫。那麼這個時候怎麼辦？所以除了少量現實場景資料外，透過資料增強的方式，京東智聯雲還採用多種方法生成大量模擬帶口罩的訓練資料。首先我們仔細研究了一般口罩的遮擋區域，並採用自研的人臉106點關鍵點模型檢測人臉關鍵點，依據人臉關鍵點生成口罩區域mask，並透過該mask為人臉加上隨機顏色的虛擬口罩或者口罩模板，就可以生成大量的戴口罩的人臉新的資料，最後使用這些資料來訓練模型。

2. 大部分的關鍵點被遮擋，如何去提高人臉識別的精準率

為了解決這個問題，京東智聯雲的科學家們做了多種嘗試，最後發現口罩上方的人臉部分中，比如眼睛周圍的一些關鍵點，其實還是有很大的區分能力的。其中，眼周注意力機制就是把模型演算法的注意力集中在人臉的上半部分，在此基礎上能夠讓人臉的特徵模型充分學習到特徵，從而顯著提升人臉識別的精度。同時，模型遷移技術也是在資料量比較少的情況下采用的一種方法，它能夠把之前基於沒有戴口罩的人臉資料上訓練的模型遷移到當前戴口罩的人臉模型的訓練過程中，也能夠很好的提升口罩人臉識別模型的精準度。

在演算法模型訓練的過程中，為了讓模型更關注非口罩區域，京東智聯雲參考了膠囊網路的建模方式並且引入注意力機制在模型訓練中。實驗證明，對人臉識別最重要的特徵集中於人臉上半部分，尤其是眼睛和眉毛。因此，如果能夠讓人臉特徵模型充分學習到該部分的特徵，戴口罩的人臉識別的精度會有顯著的提升。

“我們還發現在不戴口罩資料上訓練的模型對戴口罩的人臉依然有一定的識別能力，所以我們先在大量的不戴口罩的常規人臉資料上進行模型訓練，然後再透過domain adaptation將模型遷移到戴口罩人臉識別資料上繼續訓練。”

目前，完善的模型已經部署到京東智聯雲。在京東智聯雲的官網，人臉口罩識別（口罩佩戴檢測）、京東智慧溫感篩查系統已經上線。

在模型部署使用時，京東智聯雲技術研發人員先對檢測到的人臉進行口罩佩戴檢測以及識別口罩是否正確佩戴，識別率達98%以上。同時，利用上述戴口罩的人臉特徵模型對戴口罩的人臉進行特徵提取，並與底庫人臉特徵進行比對，從而實現戴口罩的人臉識別。目前，口罩人臉識別模型在公開資料集LFW（新增虛擬口罩）上準確率為98.6%。

AI快速落地應用的時候，我們還面臨哪些其他挑戰？

1. AI人才缺口

從資料獲取、資料處理、模型選擇、模型訓練以及模型最佳化和最終上線，根據整個AI落地的大概生命週期，是需要在實際的生長環境裡做部署的。為什麼AI落地比較困難？是因為在整個生命週期裡面，擁有相匹配技能的人才還是非常少的。根據一些權威機構比較一致的評測資料，中國目前的AI人才缺口大概有500萬左右。可以想象，這種情況會導致大部分的AI人才被諸多大廠爭奪。但是對一些有實際應用落地場景需求的小型公司及傳統企業，就無法進行專案的建設和落實。同時，人才缺口短時間內難以彌補。AI落地困難重重，每一個環節上都需要AI的技術人才掌握相匹配的技術，並非是一蹴而就的。

2. AI落地的速度問題

在開發模型的過程中，首先在資料處理方面，最常見的挑戰就是資料量過小、質量比較差或過於龐雜，導致演算法工程師需要做大量資料清洗、轉換、相容等的額外工作。同時在模型訓練中，諸多引數的選擇也是一個煩瑣的探索嘗試過程。當模型開發完成，上線前仍需進行模型最佳化……每一個環節都需要對AI工程師有較高的技術要求。在這樣技術挑戰下，就會導致AI落地的速度問題。同時為了在業務效果上領先對手，在一個業務上我們往往要投入很多演算法工程師，將每一個步驟都做到極致，這樣看下來，AI應用怎麼可能很容易的落地呢？

1913年左右，福特應用他的創新理念和反向思維邏輯，提出建立一個汽車組裝的流水線。透過流水線的裝車方式，汽車生產效率得到非常大的提升。這個事件激發了思考：如果在AI的開發過程中，是不是也能夠採取類似的開發方式，形成一個端到端的流水線，從而使AI的快速落地成為可能？當然，在AI領域，這個流水線的每一個環節裡，都需要用特別的技術去解決以上這些挑戰。這裡的關鍵技術就是AutoML。

如何應對這些挑戰？介紹一些AutoML相關技術

什麼是AI領域流水線的特別技術呢？這些技術統稱為 AutoML技術。

其實AutoML並不是一個新的概念，從窄義上講，一般是指神經網路結構的自動搜尋，不過這裡我們還是採用更廣義的叫法，在構建AI的流水線的時候，原有的一些依賴於演算法工程師的環節，經過標準化和演算法實現後能夠自動的完成，我們都稱之為AutoML。下面我們看一下具體的AutoML技術有哪些。

首先在資料處理階段，常用的一些技術包括 自動資料增強、自動特徵工程、主動學習等。資料增強可能更多的應用在圖象領域。自動的特徵工程主要是指結構化的資料，我們也做了很多自動特徵工程的工作，能夠自動的尋找最優的特徵交叉組合。資料標註需要極大的人力成本，此時就要依賴於主動學習方法，透過選擇其中需要標註的部分資料，大大降低標註成本，從而使開發效率得到提升。另外一個用於AutoML的技術是 預訓練的模型。各大學術機構及公司都已經花費巨量的時間和海量的資料生成各種模型，這些模型就可以用在實際場景中。比如，Google推出的BERT模型、微軟推出的VL BERT等等。此外，在讓機器設計神經網路方面，最近幾年，一些大型公司做了諸多嘗試。谷歌最先提出 自動設計神經網路NAS，基於NAS出現了許多變種。EfficientDet模型在引數量和計算量上有了很大的降低，同時精度又做到了很大的提升。在 超引數調優方面，技術相對來講比較成熟，常用的技術有網格搜尋和隨機搜尋。用高斯過程去尋找一個比較好的超引數，從而讓演算法工程師集中精力在演算法模型本身上面。最後，上線之前的最佳化方面，又能做哪些工作呢？也有很多工具在探索模型的自動最佳化，比如TVM，在本身作為最佳化工具的基礎上提出了AutoTVM概念，透過設定一個搜尋空間來對最佳化引數進行搜尋，在計算時充分提高硬體執行單元的並行度，從而加快運算元的執行效率。

京東的自動學習機器平臺QuickAI

那麼，如何把自動機器學習技術和整個方案結合起來呢？

把AutoML技術和整個方案結合起來形成一個產品，這是一個比較自然的想法。目前業界也有一些產品在做AutoML方面的工作，但是真正形成的產品比較少，更多的是關注在技術這一塊。京東把一些剛才提到的技術都整合成一個大的Pipeline，形成了QuickAI這樣一個產品。 QuickAI是一個全自動模型服務生產平臺，內建了大量預訓練模型，能夠使用少量標註資料快速訓練模型，並一鍵釋出到線上。訪問 http:// quickai.jd.com ，即可體驗該產品。在QuickAI平臺，允許使用者自動上傳資料，根據資料直接生成一個可用的模型，同時這個模型能夠自動釋出到線上，效率非常高。

目前，QuickAI已經支援多個場景，包括影像分類、物體檢測、文字識別以及結構化資料的迴歸預測。對於圖象分類和物體檢測，QuickAI內建了十多種領先的演算法。在文字識別方面，QuickAI只需使用者上傳一張圖片，對圖片進行錨點設定，選取需要識別的區域，就相當於做好了一個模板，生成服務之後就可以對這一類的票 據進行自動的識別。在文字分類方面，最常見的場景在電商領域做評論分析。在迴歸預測的場景下，可以透過預測商品的銷量或者庫存幫助商家進行及時的補貨和價格的調整。

QuickAI可以實現 AI模型全流程自動化：

最後，QuickAI的特點包括：

1. 全流程。QuickAI本身是一個端到端的流程，從資料介入、建模到最後服務上線一站式支援，能夠實現全自動化。

2. 自動化。整個流程AI相關的部分全部自動化，客戶可以快速看到AI賦能的效果，在模型迭代中演算法工程師不需要或很少參與。

3. 低成本。演算法部分自動化帶來了人力成本的大大降低，對業務的快速接入可以節約很大的時間成本，讓客戶的業務能夠快速體驗到AI的能力。

4. 可定製。根據業務特點，使用者可定義自己的場景，包括資料和模型服務的規範，演算法工程師可以自由向其中增加演算法，由此實現新場景的自動化

5. 高效能。訓練和推理階段整合了包括硬體廠商提供的最佳化工具，並整合到自動化流程裡，可實現快速訓練和最佳化的服務

6. 可擴充套件。叢集規模可以橫向擴充套件，支援外接其他儲存系統，能夠滿足大規模業務的需要。

QuickAI平臺是開放給客戶的，對AI不太瞭解的人也可以用QuickAI定製化自己的模型，從而大大加速AI落地的效率。QuickAI擁有良好的穩定性和細緻最佳化的效能，客戶無需做新的平臺的構建，在部署時可以把整個平臺直接部署到客戶的環境下面，免去了一個開發-部署-構建環境的過程。

點選【 閱讀 】可獲取“人臉口罩識別”及更多人工智慧API使用場景參考：

• 語音合成（基礎音庫、精品音庫）：語音讀書、讀報等小說和新聞媒體客戶端等使用者場景；
• 拍照購：透過【拍照>識物>京東商城購物】的體驗給C端使用者提供服務；
• 增值稅發票識別：在財務報銷、發票稽核、賬單記錄等場景中對發票進行識別，實現資訊快速錄入；並可與查驗平臺進行核對發票真偽，及時規避相關風險；
• 人體檢測：智慧零售、安防監控等場景使用廣泛。