- APP 連結：https://play.google.com/store/apps/details?id=org.benchmark.demo
官網地址：http://ai-benchmark.com/tests.html
高通、華為、聯發科有什麼共通點？這三家廠商都做加速手機、平板等移動裝置中計算機視覺、NLP 以及其他機器學習任務的硬體架構。然而，這存在一個問題，即開發者難以判斷哪家的晶片對特定平臺的演算法最佳化較好。於是，來自 ETH Zurich（蘇黎世聯邦理工學院）的研究員開發了一個名為 AI Benchmark 的 APP，可用於測試手機上機器學習演算法的表現。
不過，目前這款 APP 只適用於安卓手機。
AI Benchmark APP
據國外媒體 TechCruch 報導，ETH Zurich 的研究人員開發了一個基準系統來評估用於常見 AI 任務的眾多神經網路架構。他們希望透過這種方式幫助 AI 研究員、晶片廠商以及安卓開發者，來測試 AI 模型在不同裝置上執行時的表現。
「因為沒有相關資訊（指演算法表現的資訊。除了一些內建 APP 的 AI 演算法融合到了手機韌體，當前所有的 AI 演算法都在伺服器上遠端執行），所以我們想要開發一種工具清晰展示每種裝置的表現與能力。」研究員 Andrey Ignatov 在接受 TechCrunch 專訪時表示。
AI Benchmark APP 執行計算機視覺任務時的測試，圖片：Kyle Wiggers/Venture Beat
當前手機 AI 效能排行榜
AI Benchmark APP 能評估智慧手機在一系列開源演算法中的效能，這些演算法執行影像分類、人臉識別、影像超解析度以及影像增強、分割以及去模糊的任務。AI Benchmark 甚至還可以測試無人駕駛汽車中使用的神經網路的效能，研究人員預測，這種神經網路最終可能會執行在與智慧手機晶片類似的晶片上。
在手機上開啟該 APP，它會產生演算法輸出的視覺化效果，並給出一個影響晶片系統和 RAM 速度的分數。（一般來說，神經網路越大，處理它所需的記憶體就越多。）
AI Benchmark 自己測試並列出了一個排行榜，華為 P20 Pro 以 6397 的得分高居榜首，第二名得分為 1875。
1. 華為 P20 Pro – 6397
2. 一加 6 – 1875
3. 索尼 Xperia XZ2 – 1664
4. 三星 Galaxy S9+ – 1494
5. 雷蛇 Razer Phone – 1470
6. 三星 Galaxy S9 – 1446
7. 一加 5T – 1440
8. 一加 5 – 1416
9. 三星 Galaxy Note 8 – 1408
10. 小米 Mi Mix 2 – 1405
在該工具的官網上，目前排名前 15 的手機型號。
機器之心小編也下載了 AI Benchmark，在平均長達 5 分鐘、所有 9 項測試結束之後（需耗去 4% 的電量），我們使用的國行版三星 S9 手機拿到了 1594 分，這個分數在高通驍龍 845 晶片的手機裡還算不錯，也超過了官方排行榜中該型號手機原來的分數，或許是韌體更新的功勞？
搭載麒麟 970 晶片的華為 P20 Pro 分數達到了 4573，不及排行榜上的分數（我們的測試機未更新到最新版本系統）。
我們也測試了搭載驍龍 835 的「谷歌官方機」Pixel 2 的跑分：1210。
我們的測試分數，從左至右：華為 P20 Pro、三星 S9、Pixel 2。
那麼針對這些旗艦機型的對比結果如何呢？Ignatov 將團隊的初步成果總結為「有趣且荒誕」。
Ignatov 稱，高通晶片可以加速那些並不相容所有安卓版本的量化或壓縮神經網路。不使用高通驍龍軟體開發的典型網路無法利用其 Hexagon DSP AI 加速晶片，儘管 Ignatov 注意到如果實現「恰當驅動」，此類網路可以從中受益。
「如果你正在研發一款使用 AI 能力的 app，那麼你在驍龍 SoC 上無法獲得任何加速，除非你研發的 app 只為驍龍處理器服務。」Ignatov 稱。
另一方面，華為的麒麟晶片效能強大——可以提供近 10 倍的神經網路加速，但是這與量化的神經網路並不相容。華為稱今年麒麟晶片將支援量化神經網路。（Ignatov 注意到華為 P20 和 P20 Pro 是市面上唯一執行 Android 8.1 Oreo 為應用程式提供人工智慧加速的手機。）
至於三星的 Exynos 處理器和聯發科的 NeuroPilot AI 平臺，評測結果就有點參差不齊了。
三星自有的處理器只支援 Android 8.1 及以上版本的 AI 加速，且由於功耗最佳化和調節（power throttling），其效能變化「很大」，有時甚至高達 50%。
同時，聯發科的晶片組——那些同時支援量化神經網路和普通神經網路的型號，效能稍稍弱於三星和華為的硬體。
「總之，驍龍理論上可以提供優秀的結果，但是缺乏強勁的驅動；華為現在的結果比較突出，且不久的未來可能是最好的；三星目前不支援加速（這種情況可能很快就會改變，因為三星目前正在研發自己的 AI 晶片），但是 CPU 很強大；聯發科在中端裝置上效果較好，但沒有什麼突破。」Ignatov 稱。
AI Benchmark 是如何測試神經網路效能的
據官網介紹，該 benchmark 包含 9 個在手機上執行獨立神經網路的計算機視覺任務。這些網路包含大量架構，能讓我們評估解決人工智慧問題的不同方法的表現和侷限性。
任務 1：目標識別/分類
神經網路：MobileNet - V1 | CPU, NPU, DSP
影像解析度：224 x 224 px
ImageNet 準確率：69.7%。
這是一個非常基礎但很強大的神經網路，能夠基於一張照片識別 1000 個不同的物件類別，準確率約為 70%。經過量化，其大小可小於 5Mb，再加上低耗記憶體，它可在幾乎所有現有智慧手機上使用。
任務 2：目標識別/分類
神經網路：Inception - V3 | CPU, NPU, DSP
影像解析度：346 x 346 px
ImageNet 準確率：78.0 %
這是對上一個網路的進一步擴充套件：更加精確，但代價是規模是原來的 4 倍且對計算的要求較高。一個明顯的優勢是——它可以處理解析度更高的影像，這意味著更精確的識別和更小目標的檢測。
任務 3：人臉識別
神經網路：Inception - Resnet - V1 |CPU
影像解析度：512x512 px
LFW 得分：0.987
這個任務無需過多介紹：根據人臉照片識別出這個人。實現方式如下：對於每個人臉影像，神經網路會對人臉編碼並生成一個 128 維的特徵向量，該特徵向量不隨縮放、移動或旋轉而改變。然後，在資料庫中檢索和此向量最匹配的特徵向量（以及對應的身份），資料庫裡包含數億個此類資訊。
任務 4：影像去模糊
神經網路：SRCNN 9-5-5 | CPU, NPU, DSP
影像解析度：300 x 300 px
Set-5 得分 (x3)：32.75 dB
還記得用手機拍出的模糊照片嗎？這個任務就是：讓圖片變得清晰。在最簡單的情況下，這種失真是透過對未損壞的影像應用高斯模糊來建模的，然後嘗試使用神經網路來恢復它們。在這個任務中，模糊是透過一種最原始、最簡單、最輕量級的神經網路 SRCNN（只有 3 個卷積層）去除的。但是即便如此，它仍然顯示出相當令人滿意的結果。
任務 5：影像超解析度
神經網路：VGG - 19 | CPU, NPU, DSP
影像解析度：192 x 192 px
Set-5 得分 (x3)：33.66 dB
你有過縮放照片的經歷嗎？縮放時是不是會有失真、細節丟失或清晰度下降的問題？這項任務就是讓縮放過的照片看起來和原圖一樣。在本任務中，網路被訓練用於完成一項等效的任務：將給定的縮小後影像（如縮小四倍）恢復至原圖。此處我們使用一個 19 層的 VGG-19 網路。儘管目前來看，該網路的表現並不驚豔，也不能重建高頻部分，但它對於繪畫仍是理想的解決方案：該網路可以讓影像變得更加清晰、平滑。
任務 6：影像超解析度
神經網路：SRGAN | 僅 CPU
影像解析度：512 x 512 px
Set-5 得分（x4）：29.40 dB
任務同上，但完成方法略有不同：如果我們使用其他神經網路訓練我們的神經網路會如何？我們安排兩個網路去完成兩個不同的任務：網路 A 嘗試解決上面提到的超解析度問題，網路 B 觀察其結果，嘗試找到其中的缺陷並懲罰網路 A。聽起來是不是很酷？實際上真的很酷：儘管該方法不盡完美，但結果往往非常驚豔。
任務 7：語義影像分割
神經網路：ICNet | 僅 CPU
影像解析度：384 x 576 px
CityScapes (mIoU)：69.5 %
有沒有想過在手機上執行自動駕駛演算法？這沒什麼不可能，至少你可以完成一大部分任務——根據車載攝像頭拍攝的照片檢測 19 類目標（例如，車、行人、路、天空等）。在下圖中，你可以看到最近專為低效能裝置設計的 ICNet 網路的畫素級分割結果（每個顏色對應每個目標類別）。
任務 8：影像增強
神經網路：ResNet - 12 | CPU, NPU, DSP
影像解析度：128 x 192 px
DPED PSNR i-得分：18.11 dB
看舊手機上的照片是不是覺得很難受？這個問題可以解決：經過恰當訓練的神經網路可以讓舊手機（即使是 iPhone 3GS）上的照片看起來非常好、非常時髦。要做到這一點，網路要觀察、學習如何將來自低端裝置的照片最佳化成像用 DSLR 相機拍出來的一樣。當然，這一奇蹟有一些明顯的缺陷（如：每次換新手機模型都要重新訓練網路），但得到的影像看起來非常好，尤其是舊裝置上的照片。
任務 9：記憶體極限
神經網路：SRCNN 9-5-5 | CPU, NPU, DSP
影像解析度：4 MP
# 引數：69.162
在任務 4 中我們已經認識了 SRCNN，它是最輕便、簡單的神經網路之一，但即便如此，在處理高解析度照片時，它也會讓大多數手機「給跪」：要處理高畫質照片，手機至少要有 6GB 的記憶體。這項測試的目的是找到你裝置的極限：這個最簡易的網路到底能處理多大的影像？
最後，你可以去谷歌商店下載此APP測試下自己手機執行神經網路的能力，不服跑個分？
參考連結：https://venturebeat.com/2018/07/25/ai-benchmark-rates-smartphones-neural-network-performance/