AI發展進入2.0時代！英特爾在落地中總結4大經驗、分享7個案例

歐凱 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

AI發展和競爭，已經來到2.0時代。

這是一個 落地為王關鍵的階段。

在2019上海世界人工智慧現場，談論最多的話題也是AI落地和實踐經驗。

或許不同的行業位置和角色，對該問題會有不同的答案。

但當英特爾給出經驗總結和實踐分享時，可能相對更具參考，因為作為算力擔當、行業基石。AI落地程式中的英特爾見得更多、視野更廣，遭遇的挑戰和問題亦更具共性。

那麼英特爾的AI落地經驗是什麼呢？

他們給出4大經驗，並用了7個案例來說明。

經驗一：推理需求超訓練需求

就像手機廠商早期競爭時的比跑分，算力提供方在AI 1.0時代裡的競爭，也往往以模型訓練的速度來說話。

然而在真實場景中，風向早已變化，推理需求早已超過訓練需求。

在AI應用和落地部署中，更為務實，技術價值兌現，核心是業務效能有直接提升，而推理就成為關鍵所在。

比如影片平臺 愛奇藝，AI實踐和落地中，推理效率提升可以帶動生產力提升。

在這家中國頭部影片內容公司的產品中，實時彈屏顯示、面部識別應用、鑑黃內容檢測，以及文字檢測應用的推理效能，都是影響使用者體驗和平臺效益的關鍵專案。

英特爾方面分享稱，為了實現影片服務實現全流程智慧化，愛奇藝匯入英特爾架構軟硬體組合，最佳化深度學習雲平臺：Jarvis。

而基於英特爾架構處理器，愛奇藝還引入了MKL/MKL-DNN對雲平臺進行系統級最佳化。加入OpenVINO工具套件，提升Jarvis平臺的推理效率。

最後，一系列部署完成後，效果對比顯著：

實時彈屏顯示的推理速度提升達5倍。面部識別應用的推理效率提升達4倍。涉黃內容檢測的推理效率提升達6倍。文字檢測應用中的推理效能提升達11倍。

不過，愛奇藝本身就是科技網際網路公司，AI應用中有基礎。

所以在加速推理並效果明顯的落地實踐中，英特爾還舉出了 美的的專案心得。

美的，國內再熟悉不過的家電製造企業，在整個流程中涉及大量的工業視覺檢測需求，像快速、敏捷、自動地識別出待測產品的諸多缺陷，例如螺釘漏裝、銘牌漏貼、LOGO 絲印缺陷等問題。

更重要的是，相關AI模型能夠對非標準變化因素有良好的適應性，即便檢測內容和環境發生變化，也能很快地予以適應，省去了冗長的新特徵識別、驗證時間。

於是與英特爾合作中，雙方打造了一個基於“大資料+AI”端到端解決方案，實現敏捷、高效能通用化缺陷檢測能力。

通俗來講，為美的製造流程增添“眼”和“腦”。

實際上，利用機器視覺進行工業檢測，也是傳統工業製造中目前最核心的需求之一。

但傳統機器視覺方案面臨著諸多問題：一方面，複雜的生產環境帶來大量非標準化特徵識別需求，導致定製化方案開發週期長、成本高。

另一方面，檢測內容多樣化也造成引數標定繁瑣，工人使用困難。

而且傳統方案往往需要機械部件配合定位，因此佔用產線空間大，對工藝流程有影響。

美的的固有條件是擁有來自生產一線的海量資料資源，並且春江水暖，早就開始進行全力構建基於AI技術，集資料採集、模型訓練、演算法部署於一體的工業視覺檢測雲平臺。

但除了具備工件標定、影像定位及校準等功能外，美的還希望透過部署最佳化的深度學習訓練模型和預測模型，來縮短開發週期和成本，並提高裝置的易用性與通用性。

於是針對美的這一需求，英特爾為其提供了基於Apache Spark的Analytics Zoo大資料分析和AI 平臺，以端到端的方式，幫美的工業視覺檢測雲平臺快速、敏捷地構建從前端資料預處理，到模型訓練、推理，再到資料預測、特徵提取的深度學習全流程。

值得一提的是，Analytics Zoo在模型重定義階段，不僅可以執行引數調整，並可加速模型推理速度，透過與英特爾至強可擴充套件處理器的配合，資料顯示，雲平臺的模型推理時間已從 2秒縮短到124毫秒4。

最後，Awwnalytics Zoo還對命令列模式與 Web Service 模式提供了良好支援，這使得雲平臺可與美的其他應用系統實現平滑的對接。

整體結果上，專案部署週期縮短了57%，人工成本減少70%，推理時間從2秒縮短至124毫秒。

美的方面也反饋稱，效益顯著，正著手複製到所有產線。

經驗二：需要軟硬體一體化支援

美的工業視覺檢測系統打造中，一方面是軟體如Awwnalytics Zoo平臺的能力，另一方面也有英特爾至強平臺的計算加持。

而這種軟硬體一體化支援，也是英特爾在AI+傳統行業落地中的另一大經驗，在所有落地案例中均有涉及，但在AI+醫療方面，或許更能說明問題。

這家名為 西安盈谷的醫療公司，就是代表例證。

他們基於英特爾軟硬體，打造了一套醫療智慧化輔助診斷系統。

近年來，醫學影像技術蓬勃發展，有助於醫生對患者的病情進行更為細緻和精確的檢查，堪稱醫患雙方共同的福音。

但依然面臨資源配置、影像技術系統和專業醫師人才方面的挑戰。

比如海量醫學影像資料的讀片和分析還只能依靠人力，數量有限的專家級醫生，為此消耗大量時間和精力，且無法在長時間工作時保持理想的效率和準確率。

所以西安盈谷網路，就是將其專業醫學影像核心技術和產品，與雲端計算、大資料和人工智慧等技術結合起來，凝聚成高效智慧的醫療智慧化輔助診斷能力，來助力廣大醫療機構提升診療效率及質量。

在西安盈谷的計劃中，智慧化輔助診斷系統在未來將針對人體的各個生理系統，具備數百種人工智慧檢測模型。目前，其人工智慧醫學圖譜初稿中就已定義了約 984 種疾病與醫學檢測資料的關聯關係。

同時，該系統還基於自然語言處理能力，建立了報告智慧助手，可協助醫生更加高效地撰寫高質量檢查報告。

整個合作落地中，英特爾的技術加持，分為兩方面。

一方面，輸出了英特爾至強可擴充套件處理器。作為英特爾最新一代處理器產品，英特爾至強可擴充套件處理器不僅擁有強大的通用計算能力，還為智慧化輔助診斷系統提供平行計算能力。

系統中涉及的大量影像處理、人工智慧處理，都對平行計算能力有嚴苛要求，而至強可擴充套件處理器整合的英特爾高階向量擴充套件512，正是增強單指令多資料流（Single Instruction Multiple Data，SIMD）執行效率的關鍵技術。

而英特爾至強可擴充套件處理器對通用計算能力和平行計算能力的兼顧，非常有助於系統應用負載的整合。

測試結果顯示，在處理能力上，兩臺基於該處理器的伺服器所支撐的虛擬機器資料量，可以達到原先平臺的 2.5 倍，這可大大降低使用者的總擁有成本（Total Cost of Ownership, TCO）。

盈谷方面也分享說，原先系統渲染用一種GPU板卡，人工智慧計算用另一種GPU板卡，業務處理則用通用處理器，成本很高且維護複雜。現在只需部署至強就可全部搞定。

當然，硬體加持的另一面是軟體架構最佳化助力。

英特爾對Caffe、Tensorflow等人工智慧框架的最佳化，也進一步提升了西安盈谷智慧化輔助診斷系統的功效。

以針對英特爾技術最佳化的RFCN模型為例，模型最佳化裁剪融合帶來了近30%的效能提升，而進一步最佳化 OpenMP多執行緒實現方案後，其效能還能再提升40%-50%。

此外，面向深度神經網路的英特爾數學核心函式庫（英特爾 MKLDNN）的加入，也幫助該系統向全面人工智慧化邁出了更加堅實的一步。這一工具主要透過以下三個方面來提升人工智慧模型的效能：

• 使用 Cache Blocking技術最佳化資料快取，提高資料命中率。
• 對神經網路中的常用運算元進行並行化與向量化最佳化。
• 使用Winograd演算法級最佳化。

英特爾這些軟、硬體技術的配合和調優，讓西安盈谷智慧化輔助診斷系統具備了更為理想的效能表現，並贏得了使用者的一致好評——有來自一線部署的測試資料表明：以單幅胸部 Dicom 資料執行 RFCN 模型為例，使用至強金牌6148處理器時，可比使用主流GPU的耗時降低10%。

經驗三：用AI活用傳統場景大資料

在把AI帶入傳統行業過程中，最不缺的是“資料”，但最考驗技術的也是大資料的分析應用。

比如快遞物流，整個系統運轉過程中，每一個流程節點都有大量的資料需要分析處理，一旦應用得當，就能讓效率顯著提升。

在 韻達的合作中，英特爾就利用軟硬體產品組合，實現了三大關鍵流程上的AI最佳化：

• 在分撥中心實現大小件測量的全流程AI處理。
• 在資源配置上實施更精準的AI件量預測。
• 在資料中心內實現基於AI分析的資料中心異常檢測。

如果不深入該領域，可能不會關注到“大小件”帶來的資料最佳化和效能提升可能。

在物流快遞行業中，快遞件的體積測量是韻達各分撥中心的核心工作內容之一。

透過對快件的體積進行預判，分撥中心工作人員可以給出更為合理的分揀、裝車和配送規劃，來降低單件配送時長及單公斤成本。

傳統的方式，是分撥中心採用人工方式來進行判別，不僅費時費力，還可能出現較大誤差。

於是如果加持AI，利用機器視覺技術來提升測量的效率與質量——透過裝備在分撥中心輸送系統上的高拍儀，AI 應用會採集快件的影像資訊，並傳送到後端伺服器進行測量，就能更好分析資料實現最佳化。

比如在測量完成後，分析後資料返回至輸送系統，指導決策，按不同大小的快件送至合適的分揀和裝車處。

英特爾分享，在該過程中，Analytics Zoo平臺提供的影像分類技術在其中起到了關鍵作用。

利用該平臺內建的影像識別模型，AI應用首先能夠提取出待測量的快件輪廓，進而透過平臺提供的 TensorFlow等深度學習框架，結合英特爾至強可擴充套件處理器提供的算力，完成從模型訓練、模型重定義到模型推理的AI處理全流程，最終獲得準確的大小件測量資料。

基於此，韻達還在進一步地利用深度學習演算法來進行運籌最佳化。

例如其將裝車過程抽象為經典的“切箱問題”，也就是當不同大小的快件到來之際，要規劃好擺放的次序、朝向和位置，來使裝件量最大化，從而儘可能降低運輸成本。

在英特爾的協助下，韻達AI團隊利用深度學習的結構來表述這一問題的各個狀態，並在其後加上強化學習的方法，將這一啟發式的策略學習出來，其應用效果，甚至優於傳統的運籌最佳化方式。

在件量預測、資料中心異常檢測等方面，英特爾提供的軟硬體一體化支援，也同樣在發揮作用，特別是大資料分析技術和至強提供的算力，還具備了規模化遷移部署的能力。

並且對於韻達這樣的快遞公司來說，之前的“死資料”，現在都能被“活用”。

還因為關鍵流程上的AI化，帶動了更多流程進一步降本增效，並且為更高層級的自動化提供了前提。

此外，在AI賦能的過程中，被關注最多的是模型訓練和推理過程，往往忽略了資料儲存也已成為不容忽視的前奏一環。

身處電商核心一環的 京東，是英特爾分享的另一個重要案例。

京東的核心場景是影像分析和處理。從京東的完整產品目錄中提取影像特徵，目錄中涵蓋電腦、玩具和服飾等多種類別，產品數量多達數億件。

這就需要為影像分析建立高效能的基礎設施，該基礎設施需要可擴充套件以應對不斷增長的資料庫。

在此基礎上，還得進一步構建易於開發、且可用於建立新影像分析應用的雲分析平臺。

起初，京東使用了GPU進行部署。

但挑戰也很快出現。一方面，在儲存裝置和GPU分析叢集之間複製資料佔用了總處理時間的一半。其次，開始嘗試使用GPU進行加速時，發現難以進行開發和執行。

具體是在叢集環境中，京東遇到了常見的記憶體不足錯誤，以及因GPU記憶體不足而導致的程式崩潰。

事實證明，在叢集中以GPU卡為單位的資源管理和分配工作非常複雜，容易出現錯誤。在多GPU伺服器情況下，京東的開發人員不得不手動管理資料分割槽、任務均衡和容錯。另外還存在諸多依賴性（如CUDA），使生產部署變得十分困難。

在GPU中執行影像處理時，還會出現延遲——由於將資料從分散式大資料儲存庫複製到GPU進行分析，然後再將結果複製回來需要花費時間。

這部分流程所耗費的時間佔特徵提取總時間的一半。

而目前影像預處理也具有很大的挑戰性，因為目前還沒有軟體框架可支援資源管理、資料處理和容錯。

因此，京東需要一個能夠以可擴充套件和可持續的方式，為影像資料庫的特徵提取流水線提供支援的基礎設施。

於是幾經輾轉後，京東用CPU代替GPU，在基於至強Spark叢集上，它可以橫向擴充套件至數百或數千臺伺服器。

然後透過BigDL——面向Apache Spark的分散式深度學習庫，能夠載入之前已使用GPU資源訓練好的Caffe模型，並在現有CPU影像儲存架構上重新部署這個模型。

最終，效能提高了3.83倍。

無獨有偶，隨著AI進一步與更多行業結合，為AI訓練和超算定製高效能儲存，也成為越來越多公司的需求和機遇。

比如 百度智慧雲，在雲服務推進中，打造了一套全閃物件儲存方案，匯入QLC固態盤+傲騰固態盤組合，專攻AI訓練、大資料和高效能運算。

並且效果也能拿資料說話：

• 檔案資料增加10倍、QPS和延遲波動保持在5%以內。
• TCO降低60%。
• 使用者業務效率提升1-3倍。

經驗四：新領域探索，AI ≠ 深度學習

第四大經驗，AI落地不僅要解決當前的痛點，也要基於現狀著眼長遠。

英特爾最後分享的實踐經驗中，特別強調的是與 南京大學周志華教授團隊在 深度森林方面的合作成果。

在過去數年中，由於深度學習的空前成功，很多人已經將深度神經網路和AI劃上了完全等號。

然而實際上，囿於神經網路演算法的特性，深度學習在離散的、非連續可微的資料集上的訓練效果並非最優。

同時，它也存在需要海量標註資料、理論分析困難以及過於依賴超引數等短板。

為此，專攻AI的科學家們正推陳出新，積極探尋更多、更新的AI研究方法。

深度森林方法，就是其中較為知名且不斷展現成果的新探索。

周志華教授團隊提出的深度森林方法，以多層級決策樹森林集合的方式另闢蹊徑。

透過實驗室及真實應用場景的論證，深度森林被證明在金融資料分析、情感分類等需要離散建模、混合建模或符號建模的應用場景中，可取得比深度神經網路更優異的效果。

並且由於深度森林對平行計算的需求遠大於矩陣計算，而這正是擁有眾核、高頻特性的英特爾架構處理器的擅長之處。

因此深度森林從發軔之初，就跟英特爾的AI算力迅速相輔相成。後者提供算力支援，也透過吸收周志華團隊的結果反饋，對軟體、編譯器等實施持續最佳化。

雖然深度森林相比深度學習是更前沿的探索和研究，但落地也已經開始。

透過與螞蟻金服進行的合作，深度森林再次被驗證可在大規模金融風控任務處理上取得良好效果，進而幫助使用者避免不必要的經濟損失。

之前還有專門研究成果論文，介紹雙方團隊在“現金支付欺詐的自動檢測”這一任務上，對深度森林的訓練效果的驗證。

此外，相比深度學習，深度森林在模型可解釋性方面也更優秀和高效，於是在要求極高的網際網路金融領域，開始得到更多應用和試水。

對於英特爾和CPU來說，深度森林展現的潛力，也是其未來更大可能性的表現之一。

隨著深度學習日漸走向“圓滿”，而AI落地中需求不斷增加，伴隨深度森林從“幼苗”開始的CPU，可能會在下一階段放出更大光亮。

這或許也是英特爾與南京大學在2018年9月正式成立“人工智慧聯合研究中心”的原因，推動前沿探索，進一步助力AI技術落地，幫助中國AI產業實現真正意義上的“質變”。

總結：落地見真章

最後，概括而言，對於AI計算的關注，是時候從跑分、效能引數的比較，進入到效能變革幅度的對比。

因為AI發展，已經進入了落地為王的競爭，而且只有真正落地，才能最終兌現AI價值。

落地中見問題，落地中見真需求，落地中也才能見真章。

AI計算的競爭，已經來到了2.0時代。

— 完 —