3月6日，由國際電信聯盟、中國資訊通訊研究院聯合主辦，人工智慧產業發展聯盟（AIIA）和中興通訊承辦的國際論壇“AI in 5G——引領新時代論壇”在深圳召開。來自全球電信運營商、標準組織、網際網路企業、裝置廠商、高校等業界各方的專家和嘉賓共聚一堂，探討AI賦能5G網路智慧化以及行業應用創新。會上，AIIA正式釋出“AIIA DNN benchmark V0.5”首輪評估結果，評估基於AIIA權威測試平臺，在四大典型應用場景下，客觀反映具有深度學習處理能力的處理器或加速器的效能水平。參與首輪評估的產品分別是：海思麒麟980和瑞芯微RK3399開發板。
國內權威AI晶片基準測試
AIIA副祕書長王愛華在論壇上介紹了評估的背景情況。為了切實反映當前AI晶片的能力，聚合更多AI晶片企業參與，推動市場的健康發展，在國家發改委、科技部、工信部、網信辦的指導下，2018年10月AIIA聯合國內眾多具有代表性的應用企業、主流晶片企業及晶片工具企業，正式釋出《人工智慧端側晶片基準測試評估方案Version 0.5》，並於2018年12月啟動首輪評估工作。
AIIA副祕書長王愛華介紹評估背景
首輪評估結果釋出
AIIA DNN benchmark V0.5測試評估主要面向端側，旨在客觀反映具有深度神經網路加速能力的處理器在完成推斷任務時的效能。AIIA總體組組長孫明俊向業界正式釋出首輪評估結果。
AIIA總體組組長孫明俊釋出首輪評估結果
孫明俊表示，首輪評估包含四大典型場景（見圖3）和兩大類評測指標，指標包含速度（fps）和演算法效能，如top1 、top5、mAP、mIoU、PSNR等。值得一提的是，這是深度學習處理器領域首次區分整型和浮點對比的Benchmark。
評測指標及應用場景
AIIA DNN benchmark V0.5首輪測試對麒麟980和瑞芯微RK3399開發板兩款產品進行了評估。
海思麒麟980——適用於手機終端Mate20系列，採用7nm工藝。具體評測結果如圖4和圖5所示。
場景1下海思麒麟980評測結果
場景2/3/4下海思麒麟980評測結果
瑞芯微RK3399開發板——該晶片在安防等領域有廣泛應用，採用28nm工藝。結果顯示,在浮點模型不需要定點化重新訓練的情況下,int8計算以精度損失最大為1%的代價,達到了相對於浮點計算兩倍的效能（見圖6）。
瑞芯微RK3399開發板評測結果
評估工具開源
AIIA DNN benchmark V0.5測試評估工具採用開源方式，支援安卓系統，易於推廣到所有 POSIX 相容系統中，且使用者可以根據專案文件，自行新增一個框架或者一個新模型。面向未來的市場需求，AIIA DNN benchmark專案將持續更新。
孫明俊介紹，v0.5版本的Benchmark工具可以對基於CPU/GPU/DSP/NPU的終端推斷任務進行評測，支援評測的機器學習框架包括TensorFlow/Caffe。目前已經完成的移動端適配環境包括HiAI /SNPE/Tengine /TensorFlow Lite/ MACE/ NCNN 等。
專案程式碼已經開源到Github，連結為: https://github.com/AIIABenchmark/AIIABenchmark
v1.0 版評估方案即將釋出
會上，西安交通大學任鵬舉教授對AIIA DNN benchmark V0.5首輪評測的結果進行了解讀，並向業界公佈了評估方案的後續推進計劃，AIIA DNN benchmark專案v1.0 正式版預計將於今年上半年正式釋出。
西安交通大學任鵬舉教授解讀v0.5版本評估結果
v0.5版本評測結果分析
v0.5版本評測結果分析
最後，ARM中國AI技術市場經理分享了題為《ARM中國周易開放AIoT應用平臺》的演講。他表示，ARM人工智慧周易平臺已順利對接AIIA DNN Benchmark專案，旨在助力晶片公司為ARM晶片取得客觀公正的AI效能評估報告，同時也方便應用演算法公司的晶片選型。
ARM中國AI技術市場經理髮表演講
未來，AIIA將順應行業發展需要，持續迭代評估規範。AIIA DNN benchmark專案v1.0 正式版的評測物件將進一步豐富，覆蓋語音、自動駕駛、安防等應用場景下的AI晶片。可以預見，基於開放、共贏的產業生態，AIIA DNN benchmark項目將吸引更多企業與開發者加入。
有關大會及AIIA聯盟更多資訊，請訪問：http://www.aiiaorg.cn/index.php?m=content&c=index&a=show&catid=14&id=67