AI實戰分享 | 基於CANN的輔助駕駛應用案例

華為雲開發者社群發表於2021-12-29
AI
摘要：什麼是輔助駕駛？簡而言之，就是藉助汽車對周圍環境的自動感知和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

導讀：基於昇騰AI異構計算架構CANN的輔助駕駛AI應用實戰開發案例，不僅可以實時檢測路面車輛，還能計算出車距，輔助駕駛員進行決策。此專案原始碼全部開源，傳送門已開啟，小夥伴們快來體驗吧！

引言

科幻片中光怪陸離的飛行器，寄託著人類對未來出行的無限遐想。隨著科技的進步，能夠自動駕駛的汽車，已經離我們越來越近。

自動駕駛帶給人類的驚喜不止是酷炫的自動超車變道，還有它在緩解交通阻塞、減少空氣汙染、提高道路安全性方面的種種可能性。因此也引得無數汽車企業、科技企業競相加入這條行業賽道，力求不斷突破。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

然而，自動駕駛並不是一蹴而就的，由於技術瓶頸和相關法律法規的限制並未真正意義落地，當下的智慧汽車正處於半自動駕駛（輔助駕駛）階段。

什麼是輔助駕駛？簡而言之，就是藉助汽車對周圍環境的自動感知和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

當然，輔助駕駛系統也是非常複雜的，為實現汽車在多種複雜場景下的通用性，以及技術層面的多樣性，離不開人工智慧技術。我們開發了一套基於昇騰AI異構計算架構CANN（Compute Architecture for Neural Networks）的簡易版輔助駕駛AI應用，具備車輛檢測、車距計算等基本功能，作為輔助駕駛入門級專案再合適不過啦！

話不多說，開啟專案傳送門：

AI實戰分享 | 基於CANN的輔助駕駛應用案例

CANN是華為專門針對AI場景推出的異構計算架構，以提升使用者開發效率和釋放昇騰AI處理器澎湃算力為目的，並且提供多層次的AscendCL程式設計介面，支援使用者快速構建基於昇騰平臺的AI應用和業務。

當然，真正意義上的輔助駕駛系統遠比這個AI應用更復雜，下面主要介紹如何藉助AscendCL程式設計介面對輸入視訊進行預測推理，從而實現對車輛及車道線的智慧檢測。

典型的目標檢測演算法

為模仿駕駛員對車輛的辨別和分析，需要建立起一個類似人腦的演算法結構，找出目標物體，確定它們的類別和位置。同時也需要解決影響檢測準確性的一系列問題，比如汽車的外觀和姿態、光照和遮擋等因素帶來的干擾。

以YOLO（You Only Look Once）為代表的目標檢測演算法為各類物體的檢測提供了更多可能性。從人臉檢測到車流控制，從人群計數到農作物監控，目標檢測演算法在各領域都發揮著不可或缺的作用。

YOLO演算法目前已經迭代到v5版本，本專案使用的是YOLOv4，下面我們來看看它的結構。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

圖片來自

從演算法結構方面看，YOLOv4由三部分組成：Backbone層提取特徵，Neck層提取一些更復雜的特徵，最後由Head層計算預測輸出。

  1. Backbone層：通過CSPDarknet53框架在不同影像細粒度上聚合並形成具備影像特徵的卷積神經網路，主要用於影像特徵提取。
  2. Neck層：由SPP或PAN等一系列混合和組合影像特徵的網路層組成，提取一些更復雜的特性，並將影像特徵傳遞到預測層。
  3. Head層：對影像特徵進行預測，生成邊界合併預測類別。

從流程方面看，YOLOv4主要分為三個處理階段：

  1. 首先，將影像分割為若干個網格（grid cell），每個網格負責生成3個包圍框（bounding box），以及對應置信度。
  2. 接著，YOLOv4會用非極大值抑制演算法（NMS），將與標註資料（ground truth）重合度低的bounding box剔除。
  3. 經過迴歸處理後，最後剩下的bounding box所在的位置就是YOLOv4預測目標所在的位置。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

圖片源自YOLO原始論文，參見文章末尾

昇騰強大算力平臺，讓訓練“快”到飛起

和人類掌握某項技能一樣，演算法模型本身也需要經過不斷地訓練和試錯才能滿足特定業務場景需求，面對成千上萬的資料量和引數量，訓練時間可能需要幾天甚至上月，這時，一個擁有強大算力的AI計算平臺簡直能救你於水火。

昇騰AI基礎軟硬體平臺，依託昇騰AI處理器強大的算力，藉助異構計算架構CANN的軟硬體協同優化充分釋放硬體算力，為高效訓練奠定了堅實的基礎。

我們知道，AI演算法模型可以基於不同AI框架定義。無論是華為開源AI框架昇思MindSpore，還是TensorFlow、PyTorch、Caffe等其他常用AI框架，CANN都能輕鬆轉換成標準化的Ascend IR(Intermediate Representation)表達的圖格式，遮蔽AI框架差異，讓你快速搞定演算法遷移，即刻體驗昇騰AI 處理器的澎湃算力。

此外，在全新一代CANN 5.0版本中，更是能通過圖級和運算元級的編譯優化、自動調優等軟硬體深度協同優化，全面釋放硬體澎湃算力，達到AI模型訓練效能的大幅提升。針對包括分類、檢測、NLP、語義分割在內的常用模型訓練場景，均可實現效能翻番，讓整個訓練過程快到“飛”起。

本專案使用的YOLOv4原始模型是基於Pytorch框架和昇騰AI處理器訓練的，開發者們可以直接下載使用，也可根據實際精度需要重訓：

AscendCL介面助力開發者高效程式設計

有了訓練好的AI演算法模型之後，就能借助AscendCL程式設計介面實現對視訊車輛及車道線的智慧檢測了。

AscendCL（Ascend Computing Language）是一套用於開發深度神經網路推理應用的C語言API庫，兼具執行時資源管理、模型載入與執行、影像預處理等能力，能夠讓開發者輕鬆解鎖圖片分類、目標檢測等各類AI應用。並且為開發者遮蔽底層處理器的差異，讓開發者只需要掌握一套API，就可以全面應用於昇騰全系列AI處理器。

藉助AscendCL程式設計介面，採用如下圖所示的模組化設計，便能快速實現一個基於YOLOv4演算法的目標檢測應用。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

首先介紹一下核心程式碼。

在預處理階段，主要將opencv讀到的影像轉換成符合模型輸入標準格式和尺寸的影像（原始碼如下圖所示，完整版程式碼請檢視文末連結）。

  1. 首先將opencv每幀讀到的BGR影像轉換成RGB影像，並通過模型輸入所需寬高與原影像寬高得到縮放係數scale、偏移量shift、偏移係數shift_ratio。
  2. 將原影像resize到新的寬高得到image_，構建一個全0的新影像，寬高和模型輸入寬高相同。將image_以np.array的形式填充到全0的影像中，不在偏移範圍內的則都是0，將的影像的資料型別轉換成np中32位浮點型。
  3. 為了消除奇異樣本資料的影像，進一步做歸一化處理。
  4. 最後將通道數換到影像的第一維度，返回新生成的影像和原始影像。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

在推理階段，呼叫acl_model中的execute函式執行模型（完整版程式碼請檢視文末連結），預處理後的影像會被送至轉成om的YOLOv4模型，返回推理結果。

AI實戰分享 | 基於CANN的輔助駕駛應用案例AI實戰分享 | 基於CANN的輔助駕駛應用案例

在後處理階段中，後處理包括根據推理結果獲取檢測框座標和置信度，使用NMS消除多餘的邊框，使用透視變換矩陣計算車距，用opencv檢測車道線，最終繪製帶有車輛檢測框、檢測框類別、車距和車道線的新影像。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

梳理一下整體開發流程：

  1. 執行管理資源申請：用於初始化系統內部資源，此部分為固定的呼叫流程。
  2. 載入模型檔案並構建輸出的記憶體：將訓練好的模型轉換成om離線模型並且從檔案載入。此時需要由使用者自行管理模型執行的記憶體，根據記憶體中載入的模型獲取模型的基本資訊包括模型輸入、輸出資料的buffer大小。由模型的基本資訊構建模型輸出記憶體，為接下來的模型推理做準備。
  3. 資料預處理：對讀入的影像資料進行預處理，然後構建模型的輸入資料。首先會對輸入視訊中的影像畫面按每幀進行處理；然後由BGR轉成RGB格式；接著使用resize將影像大小變成416x416，最後除以255進行歸一化處理以消除奇異資料的影響。
  4. 模型推理：根據構建好的模型輸入資料進行模型推理。
  5. 解析推理結果：基於推理得到的檢測邊框和各邊框的置信度，使用NMS消除多餘的邊框，將新的邊框和類別繪製在輸出影像上。

這樣，一個基於CANN開發的簡易版AI輔助駕駛小應用就開發完成了，小夥伴們點選如下連結就能直接體驗效果啦！

AI實戰分享 | 基於CANN的輔助駕駛應用案例

可能有人會問，車距是怎麼算出來的？其實車距計算採用的是透視變換原理，使用opencv的getPerspectiveTransform方法通過將駕駛過程中拍攝的直檢視轉換成俯檢視計算車距。此外，用來拍攝行駛畫面的相機也影響車距的計算。需要查詢相機的內外參矩陣，結合畸變係數用相機標定技術將影像中的距離資訊對映為客觀世界中的真實距離，從而計算出與其他車的距離。這幾個引數如何查詢可以參考文末的視訊連結。

我們的專案程式碼全部開源，感興趣的小夥伴可以下拉到文末直接訪問原始碼。

當前開發的這個AI輔助駕駛小應用，針對解析度1280x720、幀率29.97、時長16秒的視訊，單幀影像在昇騰AI處理器上的純推理時長為14.19毫秒，但由於影像的前處理和後處理是在CPU上進行的，因此影響整體效能，可通過以下方式改進：

  1. 前處理和後處理根據CPU數量和處理時長使用多個執行緒並行處理，提高昇騰AI處理器使用率。

AI實戰分享 | 基於CANN的輔助駕駛應用案例

  1. 使用多個昇騰AI處理器進行多路推理，進一步提升效能。
  2. 優化程式碼演算法，將後處理部分由CPU下沉到昇騰AI處理器減少後處理耗時，如何下沉可參考

  1. 使用Auto Tune工具，對模型進行調優，減少模型單次推理時長
  2. 使用Profiling工具，分析模型中耗時運算元，對運算元進行優化

歡迎小夥伴一起參與專案改進，如有疑問也歡迎在gitee互動留言！

總結

如今很多汽車、高鐵和飛機上都搭載了輔助駕駛系統，不僅可以減輕駕駛員的負擔，同時還降低了事故發生的概率。隨著越來越多的行業匯入AI這條道路，昇騰CANN也將憑藉技術優勢大大降低企業和個人開發者的使用門檻，通過不斷創新打造昇騰AI極致效能體驗，加速AI應用行業落地步伐，助力合作伙伴在未來AI之路上越走越遠！

相關連結：

線上體驗連結：

Gitee原始碼連結：

YOLOv4原論文：

YOLO原論文：

YOLOv4模型實現：

相機引數查詢方法：

 

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章