在近日舉辦的 CES Asia 上,地平線聯合創始人&副總裁黃暢博士受邀在CES 主論壇發表主題為《邊緣 AI 計算發展趨勢》的演講。在一小時的演講中,黃暢博士從邊緣計算推動的行業變化、AI能效與企業責任、有效算力的定義、地平線開放賦能的戰略與開發者平臺分享了其對人工智慧時代邊緣計算趨勢的洞察並深度解讀地平線的“AI on Horizon, Journey Together”戰略。黃暢表示,地平線願意做一家平臺化的公司,甘做技術底座,托起客戶,跟客戶一起走下去,成就客戶價值。
全球著名的研究公司 Gartner 的技術成熟度曲線顯示,AI 普惠大眾的時代已經開啟,正在各個行業創造新的價值,在這個過程中,我們將會面臨什麼樣的挑戰?伴隨著 AI 的商業化,最重要的挑戰就是資料量的指數級增長,並且呈現出兩個關鍵特徵:資料的實時性和安全性。據國際 IDC 資料公司(IDC)白皮書《資料時代 2025》預測,2025 年,超過 25% 的資料將成為實時資料,其中 95% 生產自 IoT 終端,並且絕大部分不能直接創造價值,需要經過計算來提煉;而 2025 年全球資料總量的 20% 將直接關乎人們的日常生活乃至生存安危。
2018 Gartner 技術成熟度曲線上,多項 AI 技術和應用都出現在了該曲線上,Gartner 也第一次在報告中明確提出 AI 民主化即普惠大眾的主張,這也預示著我們將面臨更嚴峻的資料挑戰。
這對資料的計算帶來嚴峻挑戰,我們該如何高效處理海量的資料並挖掘其價值,並且對實時性資料以秒級,甚至毫秒級的處理,同時,保護資料隱私?隨著 5G 商用開啟,終端接入網的擴容極大,實時性要求進一步提升,但因為骨幹網擴容成本高、延遲大,導致在邊緣側形成資料堰塞湖,邊緣計算勢在必行。Intel 曾表示:MEC(多接入邊緣計算)不一定需要 5G,但 5G 一定需要 MEC。有了邊緣計算的加持,5G 的商業價值才能真正得以發揮。
破解目前物聯網資料計算面臨的難題,邊緣計算具有五大優勢:1. 可靠性高,在離線狀態下也可以正常運作;2.安全合規,滿足隱私要求;3.降低資料傳輸和儲存成本;4.高實時性,減少反應延遲;5.計算裝置部署靈活,高效協同。
AI 計算可以分為雲端計算、邊緣計算、端計算三個層次。他們在 AI 算力、實時性以及計算的通用性三個維度上,各有所長:
雲端計算面向的是最通用的計算,在所有的計算中,雲端計算的時空範疇是最大的,多樣性最強,所需要的算力最高,但實時性較差,並且與場景相關性弱;雲端的資料種類也是最豐富的,可以橫跨多個維度,因而可以做複雜的認知計算和模型訓練。
端上的計算是另外一個極端,與場景相關性最強,計算專用性非常強,追求極致效率。主要面向推理。
處在中間的邊緣計算是新物種,它就像我們的脊椎一樣,連線我們的大腦(雲)和神經末梢(端)。其算力遠勝於端,同時對功耗的容忍度比端也強很多;相對於雲,其實時性更好,且可以結合具體場景進行特定最佳化。而5G技術的應用,可以大幅改善邊緣和端之間的資料頻寬和傳輸延遲,使得它能夠兼具雲和端的優勢,改變現有網路互聯格局。
5G時代下的物聯網需要端邊雲協同,在一個更大的範圍內尋找AI解決方案的最優解
5G 時代下的物聯網模式也將隨之而變,邊緣計算成為資料過濾器與控制閥,透過它的處理,可僅將低至萬分之一的有效資料上傳到雲端進行處理,大幅降低對於骨幹網的資料傳輸壓力。
在傳統網際網路時代,是端和雲的二元計算架構,資料持續向雲端轉移並被處理,端只是流量入口;但是邊緣計算的加入,帶來了新變數,它在端和雲之間,構造出一種全新的可能,其對於資料的控制力將帶來新的商業正規化轉移,從技術角度講,邊緣計算具備了改造傳統網際網路計算架構的潛力,將帶來從軟體到硬體的全新構架變革。
AI 普及化帶來新價值的同時,也帶來了新的能源危機。
今天,資料中心耗電驚人,據《中國資料中心能耗現狀白皮書》顯示,在中國有 40 萬個資料中心,每個資料中心平均耗電 25 萬度,總體超過 1000 億度,這相當於三峽和葛洲壩水電站1年發電量的總和。如果折算成碳排放的話,大概是 9600 萬噸,這個數字接近目前中國民航年碳排放量的3倍。
資料中心平均消耗的功率是大型商業寫字樓的 100 倍以上。而為伺服器供電和冷卻所需的電能佔到資料中心總運營成本的 40%,因此,資料中心的能源低效問題不容忽視。
為了降低功耗,阿里的資料中心建在張北,張北風力強勁,年平均氣溫不到 3 攝氏度,這就好比是一個天然散熱場,從而減少冷卻系統耗電,預計僅資料中心的製冷能耗就可以降低 45%。騰訊資料中心建在貴州省貴安新區兩座山的山體上,也是為了散熱。
為了降低功耗,世界上最大的資料中心將被建在北極圈內,總功率超過1000兆瓦(來源:KOLOS公司官網 )
可以預見的是,未來我們需要的資料計算量將以數量級的方式高速增長,那這樣的耗能方式是難以維持的。
所以,透過極致的AI能效提升減少碳排放,已經成為AI企業新的社會責任,即充分利用有限的能源創造更大的價值。
在傳統晶片行業,PPA(算力、功耗和麵積)是最經典的效能衡量指標。但在 AI 時代,我們需要新的正規化來定義效能。
當前的業界存在一個很大的誤區,往往會把峰值算力當作衡量 AI 晶片的主要指標。但我們真正需要的是有效算力,及其輸出的演算法效能。這需要從四個維度來衡量:每瓦的峰值算力和每美元的峰值算力(由晶片架構、前後端設計和晶片工藝共同決定),峰值算力的有效利用率(由演算法和晶片架構決定),以及有效算力轉化為 AI 效能的比率(主要是速度和精度兩個方面,由演算法決定)。之前業界普遍採用 Resnet 這樣的模型,但是今天我們採用類似 MobileNet這樣更加精巧設計的小模型,可以用 1/10 的算力達到相同的精度和速度。但是這些精巧設計的演算法給計算架構帶來了巨大的挑戰,往往使得傳統設計的計算架構的有效利用率大幅下降,從最終的AI效能角度來說,甚至得不償失。
地平線的最大特點,是對重要應用場景中,關鍵演算法的發展趨勢進行預判,前瞻性地將其計算特點融入到計算架構的設計當中,使得 AI 處理器經過一兩年的研發,在推出的時候,仍然能夠很好地適應最新的主流演算法。因此,和其他典型的 AI 處理器相比,地平線的 AI 處理器,隨著演算法的演進趨勢,始終能夠保持相當高的有效利用率,從而真正意義上受益於演算法創新帶來的優勢。
地平線AI晶片核心能力:演算法+晶片聯合最佳化且兼顧靈活,高效架構服務經典和未來演算法設計
掌握了演算法和計算架構,我們還只是具備了巨大的潛能。而編譯器,則能夠將這兩者聯合起來進行極致最佳化,釋放出所有的潛能。舉一個實際的例子,在沒有最佳化的情況下,峰值算力的有效利用率是 34%;但經過編譯器對指令序列進行最佳化之後,這個數值被提升到了 85%。這使得晶片的處理速度,提升了 2.5 倍,或者說,處理相同多的任務,功耗降低到 40%。
用未來重要應用場景中的關鍵演算法發展趨勢,來指導地平線 AI 晶片的架構設計,首重效率,兼顧靈活,這是地平線一直以來的設計理念——極致的AI能效是地平線在產品上始終如一的理想和追求。
創業幾年來,我們深深感受到,AI 從技術演示到商業落地的路徑非常長,將 AI 解決方案整合到客戶的產品中,賦能併成就客戶,對大部分公司來說,存在不低的門檻。所以我們每天都在努力,如何去降低我們的方案被整合的難度。為此,地平線設計出一整套包含資料、訓練、部署在內的演算法開發流程,並開發出一套全棧式的 AI 平臺工具用來高效地支撐這套開發流程。我們甚至提供大量優秀的演算法模型和原型系統,作為參考樣例提供給我們的客戶。透過這些工具和樣例,客戶可以照貓畫虎,快速地進行產品所需的演算法開發,並持續迭代,由淺入深地進行全方位地調優,探索客戶自己在資料和演算法方面的獨特價值。
可支援廣泛的開源框架的地平線開發工具
地平線的全棧 AI 平臺工具鏈,包括資料、訓練和裝置部署工具。它們形成了一個閉環,高效地運作起來,資料產生模型,模型可以被部署到裝置上執行,執行過程中又可以指導模型的調優,甚至收集新的資料。這樣的一種開發模式,可以提升開發速度,降低開發門檻,保證開發質量。我們當前的評估結果現實,它可以減少約 30% 的開發人力,節省 50% 的開發時間,更重要的是,因為開發門檻被降低了,開發者的規模甚至可以擴大一個數量級。
地平線 AI 開發平臺:提速Software2.0 全流程研發
地平線會持續對開發工具進行升級,為客戶提供半自動化的處理流程,這裡包括:資料工具與模型,模型與端上裝置之間的閉環迭代;豐富的模型/系統參考原型,簡潔易用直觀方便的互動手段;標準化開發流程,加上持續的測試,整合,部署機制。
以開放賦能客戶為本,快速滿足不同客戶需求是地平線AI平臺服務客