SOTA,全稱「state-of-the-art」,用於描述機器學習中取得某個任務上當前最優效果的模型。例如在影像分類任務上,某個模型在常用的資料集上取得了當前最優的效能表現,我們就可以說這個模型達到了 SOTA。
在 2021 年度的學術論文中有超過 2 萬篇自稱「SOTA」(最為先進)的工作——自稱「SOTA」的工作就一定是先進的嗎?對廣大 AI 開發者來說,什麼樣才是先進的技術工作?是思路具有啟發性?還是跑出的實驗分數高?是易於實現,對資料資源、計算資源的需求可控?還是放出的程式碼實現即插即用,可用性強?
2022 年初,在開展了為期 6 天的「Pop SOTA! List for AI Developers 2021」AI 開發者社群線上技術工作評價後,基於千餘份來自 AI 開發者社群對 2021 年發表的 SOTA 技術工作「引領性」、「啟發性」和「應用可行性」的評價,機器之心形成了一份具有代表性的 2021 年度最受 AI 開發者認可的技術工作價值名錄,暨「Pop SOTA! List for AI Developers 2021」,並於2月26日在於臨港新片區舉辦的 WAIC 2022 上海人工智慧開發者大會現場進行線下發布。
以“構建融通開放新生態”為主題,WAIC 2022上海人工智慧開發者大會在上海臨港新片區創晶科技中心順利舉辦。本次大會旨在助力人工智慧上海高地建設,順應城市數字化轉型戰略,延續上海人工智慧技術生態建設,切實解決人工智慧開發者真實需求。
作為WAIC開發者系列活動,本次大會保持了世界人工智慧大會品牌一貫的高水準、高質量。大會堅持以需求引領發展,聚焦基礎研究和基礎設施強化、技術創新、人才培養等核心議題,為人工智慧開發者們提供學術交流、技術探討和溝通合作的平臺,輸出前沿、硬核、熱點內容為人工智慧轉型升級再聚力。
在本次大會的主論壇期間,WAIC開發者生態發起人、機器之心創始人兼CEO趙雲峰代表WAIC開發者生態為部分名錄入選工作研發團隊代表現場頒發 WAIC 開發者生態榮譽貢獻證書 ——
華為 · CANN 團隊:華為昇騰 CANN 團隊更新 AI 異構計算架構 CANN 5.0 版本,針對不同模型進行智慧最佳化,300+ 模型平均可獲得 30% 效能收益。
MSRA · Swin Transformer 研究課題組:微軟亞洲研究院 Swin Transformer 課題組 2021年的 Swin Transformer 將重要視覺先驗引入 Transformer 模型,並提出移位視窗技術,重新整理了諸多計算機視覺任務,獲得了 ICCV 2021 年馬爾獎。
NVIDIA:來自英偉達等的研究人員提出了 StyleGAN3,它從根本上解決了StyleGAN2 影像座標與特徵粘連的問題,實現了真正的影像平移、旋轉等不變性,大幅提高了影像合成質量。
上海人工智慧實驗室:來自上海人工智慧實驗室、商湯科技、香港中文大學和上海交通大學的研究人員聯合釋出通用視覺體系“書生”( INTERN),幫助開發者顯著降低通用視覺模型的開發門檻和成本,並貢獻了大規模精標資料集,預訓練模型和首個通用視覺評測基準,推動 AI 技術的規模化應用。
昇思 MindSpore 團隊:昇思 MindSpore 團隊更新 MindSpore 1.5 版本,新版本繼續在自動分散式訓練上給出新的成績, 32 塊卡就能訓練 2420 億引數量的稀疏模型。
迴圈智慧 · AI 演算法團隊:來自清華大學、北京智源研究院和迴圈智慧等的研究人員開源首個支援 PyTorch 框架的 MoE 系統 FastMoE,相比直接使用 PyTorch 實現的版本,提速 47 倍。
一流科技 · OneFlow 團隊:一流科技 OneFlow 團隊更新了深度學習框架 OneFlow 0.5 版本,在易用性上實現了四大技術特性,包含一行程式碼實現 OneFlow 與 PyTorch 切換等。
亞馬遜雲科技:來自亞馬遜雲科技等的研究人員對 10 個主流機器學習資料集的測試集展開了研究,發現它們的平均錯誤率高達 3.4%。
位元組跳動:來自位元組跳動的研究人員提出了適用於視覺處理任務的大規模預訓練方法 iBOT,該方法在十幾類任務和資料集上重新整理了 SOTA 結果記錄。
AI 技術的應用開發是一個複雜的過程,涉及演算法思路、資料、模型、開發工具、基準的選取,在實際應用中,還需考慮工程限制、效能需求、把控部署、除錯及運維等諸多方方面面的環節。在 AI 技術高速發展的今天,AI 開發者們需要時刻保持對各個方面先進技術的追蹤。在大會現場“智慧時代的 AI 生活”嘉年華系列活動——緊隨 SOTA!的 AI 開發者中,開發者們透過現場展示,瞭解在過去的一年裡各個方面的重要進展(暨 SOTA,State-of-the-the-Art)AI 技術工作。
新技術從實驗室走進產業的過程,也是解決技術工程化課題的過程;新 AI 技術從論文到在現實世界中賦能產業升級的過程中也同樣存在諸多工程問題,需要工程開發者與科研團隊合力解決。
「Pop SOTA!for AI Developers」WAIC開發者大會線上分論壇在本次峰會期間透過 WAIC 官方網站與開發者們首次見面,並將持續開展至 7 月的 WAIC 世界人工智慧大會期間。在此期間,分論壇將持續、連貫地邀請 2021 年度最受 AI 開發者社群歡迎的 "State-of-the-Art" AI 模型 TOP 128 名錄入選的優秀工作的核心研發者透過線上論壇,向 AI 社群的開發者一手解讀 2021 年 AI 開發者所關注的新模型的設計思路、實現技巧,探討應用過程中的工程最佳化方法,圍繞 2022 年度 AI 技術工程化方面的趨勢性主題展開探討,展望未來趨勢。