第一屆深度學習模型壓縮與部署技術會議

大會主席：

劉成林（中國科學院自動化所） 王蘊紅（北京航空航天大學）

程式委員會主席：

程健（中國科學院自動化所） 劉祥龍（北京航空航天大學） 汪玉（清華大學）

宣傳主席：

莊博涵（浙江大學） 林紹輝（華東師範大學） 龔睿昊（商湯科技）

牆報主席：

秦浩桐（ETH Zürich） 鄭俠武（廈門大學） 寧雪妃（清華大學）

註冊主席：

樊彬（北京科技大學） 王培松（中國科學院自動化所）

贊助主席：

趙松（深藍學院）

本地主席：

郭晉陽（北京航空航天大學）

合作媒體：paperweekly、機器之心

社群支援：MLNLP

論壇地點：北京市海淀區遼寧大廈

嘉賓簡介

個人介紹：

丁貴廣，清華大學軟體學院特別研究員，博導，國家傑出青年科學基金獲得者；清華大學軟體學院副院長，資訊科學與技術國家研究中心副主任。先後主持和基金委傑出青年科學基金專案、基金委重點專案、重點研發專案、國家973、863等專案數十項。發表高水平學術論文近百篇，獲授權發明專利30餘項，相關成果成功應用於快手、OPPO、京東、新疆聯海創智、數碼視訊等單位，曾獲國家科技進步二等獎、中國電子學會技術發明一等獎、中國人工智慧學會科技進步一等獎等。

個人介紹：

李國齊，中國科學院自動化所研究員、國家傑出青年基金獲得者， 在Nature、Nature 子刊、Science 子刊、Proceedings of the IEEE、IEEE TPAMI等期刊和會議上發表論文 200餘篇；主持國家自然科學基金重點專案、聯合重點專案、科技部重點研發專案、北京市科委專案等30餘項；擔任IEEE TNNLS、IEEE TCDS、清華大學學報-自然科學版等多個國際期刊編委；曾入選中國科學院百人計劃、北京市傑青、北京市智源學者，中國算力十大青年先鋒人物、中國智慧計算科技創新人物。

題目：

基於脈衝神經網路的類腦大模型

摘要：

類腦計算是受人腦資訊處理機制啟發，基於神經元和神經環路的結構和功能，以更通用人工智慧為目標構建計算系統的技術總稱。近年來脈衝神經網路在通用場景逼近傳統深度學習的主流網路效能，展現出引領未來智慧技術的潛力。本報告介紹脈衝神經網路的模型、演算法及其硬體部署以及基於類腦脈衝神經網路大模型的科研進展。

個人介紹：

黃高，清華大學自動化系副教授，博士生導師。2015年獲清華大學博士學位，2015年至2018年在美國康奈爾大學計算機系從事博士後科研工作。主要研究領域為深度學習和計算機視覺，提出了主流卷積網路模型DenseNet。目前在NeurIPS，ICML，CVPR，ICCV等國際頂級會議及IEEE彙刊共計發表學術論文100餘篇，被引40000餘次，最高單篇引用超過3萬次。獲國家優青、CVPR最佳論文獎、達摩院青橙獎、世界人工智慧大會SAIL先鋒獎、中國自動化學會優秀博士學位論文、中國百篇最具影響國際學術論文、中國人工智慧學會自然科學一等獎和吳文俊優秀青年獎等榮譽，入選北京智源學者、AI 2000人工智慧最具影響力學者、《麻省理工科技評論》亞太區“35歲以下科技創新35人”。

個人介紹：

張寶昌教授主要從事機器學習、計算機視覺、多模態感知等領域研究，發表錄用IEEE彙刊、CCF A期刊和會議等論文近300篇，2篇入選熱點論文和5篇入選高引論文，一作單篇論文谷歌引用1286次。入選愛思唯爾(Elsevier)中國高被引學者，教育部新世紀優秀人才專案、深圳市海外高層次人才計劃團隊專案、江西省千人計劃專案、百度深度學習實驗室學術顧問、中關村國家實驗室核心雙聘人員，獲得一級學會/省級自然科學獎4項（三項一等獎）和國際重要比賽第一名3項（ECCV和ICPR）。

報告題目：

深度神經網路低位元量化技術

報告摘要：

深度學習在解決實際問題中獲得成功應用，但是其模型引數量大、功耗大，存在端側裝置上的部署應用難等瓶頸問題。為了解決相關問題，提出一系列二值卷積網路構建方法，構建了基於調製網路結構的二值網路模型，引入貝葉斯學習、協同梯度下降演算法等方法，實現二值網路模型在目標檢測任務上的無失真壓縮。Transformer是人工智慧領域的里程碑方法，為了解決其在實際端側部署難題，提出Q-VIT、Q-DETR以及在底層視覺任務上的量化方案，實現4-位元目標檢測與識別任務上的無失真壓縮。在應用方面，搭建了智慧相機實現了礦山、工業檢測等領域應用。

個人介紹：

馬豔軍博士現任百度AI技術生態總經理，主要研究方向包括自然語言處理、深度學習等，相關成果在百度產品中廣泛應用。馬豔軍在ACL等權威會議、期刊發表論文20餘篇，多次擔任頂級國際會議的Area Chair等，並曾獲2015年度國家科技進步二等獎。2018年，被評為“北京青年榜樣·時代楷模”。

報告題目：

文心加飛槳 技術創新與產業應用

摘要：

本次報告將結合大模型和深度學習平臺技術及應用趨勢的洞察，介紹百度文心大模型和飛槳深度學習平臺的最新進展。基於AI原生應用對大模型效果、效率的極致要求，分享飛槳支撐大模型訓練、壓縮、推理部署全流程的工具套件，並重點分享大模型自動壓縮、高效能推理最佳化的方法和實踐。報告還將探討透過開源開放凝聚生態各方力量，加速技術創新和產業應用。

個人介紹：

在華為從事人工智慧演算法的研發和在實際業務中的應用落地。主要的研究領域包含計算機視覺、機器學習、模型壓縮、高能效AI計算等，多項演算法落地工業界產品，主導的加法神經網路專案受到了業界的廣泛關注。在相關領域發表CCF A類學術論文100餘篇，包含NeurIPS、ICML、CVPR、ICCV、IEEE TPAMI等。擔任NeurIPS和ICML的領域主席，VALSE的高階領域主席。

報告題目：

盤古“小”模型的進展和思考

報告摘要：

大模型在最近幾年熱度非常高，但是縱觀AI發展的幾波趨勢，大模型趨於一定的穩定之後，由於隱私、時延、記憶體、可靠性等因素，必然要考慮小模型的研發。在這個報告中會對盤古“小”模型的技術創新進行介紹，以及面向未來的思考和討論。

個人介紹：

陳醒濠，博士畢業於清華大學，現為華為諾亞方舟實驗室高階研究員，從事人工智慧演算法的研發和在實際業務中的應用落地。主要的研究領域包含計算機視覺、模型壓縮、高能效 AI 計算等，多項演算法落地工業界產品。在NeurIPS、ICML、CVPR等頂會頂刊發表學術論文多篇，曾擔任AAAI、IJCAI SPC，ICML和ACM MM Area Chair.

報告題目：

TinySAM：極致高效壓縮的分割一切模型

報告摘要：

分割一切模型（Segment Anything Model，SAM）展現出了強大的分割萬物能力，但是網路結構複雜，計算代價高，在資源受限的端側應用中無法直接使用。同時，我們發現在SAM的Everything推理模式中，原始的網格點prompt的方式會帶來巨大的計算代價。針對這個問題，我們提出了TinySAM模型，利用知識蒸餾、量化等手段對模型做了極致的壓縮，同時提出了再Everything推理模式下的層次化推理策略。TinySAM在計算代價降低多個數量級的情況下，仍然保持了SAM模型強大的zero-shot分割能力。

個人介紹：

郭宇飛，男，博士，高工，入選中國科協青年託舉人才、航天科工集團創新型優秀人才，從事先進智慧計算技術等研究，主持軍國家自然科學基金、中國科協專案等國家級專案4項，以第一作者在CVPR、ICCV、NeurIPS等CCF A類國際人工智慧頂會以及Pattern Recognition等SCI期刊上發表論文20餘篇。

報告題目：

類腦脈衝神經網路技術研究

報告摘要：

類腦智慧演算法主要透過對生物神經系統的模擬，構建更符合生物神經系統原理的人工智慧演算法及計算框架，具有低功好計算優勢。近年來，起源於神經科學理論基礎的脈衝神經網路(spike neural network, SNNs)已成為類腦計算領域的主流框架之一，然而，脈衝神經網路仍存在許多需要進一步克服的難題，本報告從解決脈衝神經網路資訊損失問題和建立更好的代理梯度兩個角度來介紹脈衝神經網路最新進展。

個人介紹：

陳佳鑫，北京航空航天大學計算機學院副教授，博士生導師。獲北京航空航天大學博士學位，曾在紐約大學阿布扎比分校從事博士後研究，擔任阿聯酋起源人工智慧研究院計算機視覺研究科學家。近年來聚焦深度模型高效推理、基礎視覺模型預訓練及高效微調、無人系統視覺感知等研究方向，在IEEE TPAMI、IEEE TIP、CVPR、ICCV、ECCV、NeurIPS等國際權威期刊和會議上發表論文30餘篇。主持國家自然科學基金、北京市科學基金、航空科學基金專案，並作為核心技術骨幹參與科技創新2030-"新一代人工智慧"重大專案課題、港澳臺合作專案等。

報告題目：

面向視覺任務的多粒度模型剪枝方法

報告摘要：

當前面向視覺任務的深度神經網路引數規模大、計算複雜度高，難以適配計算資源受限平臺及對響應延時要求較高的應用場景。通道剪枝透過剪除重要性較低的網路通道，能有效降低模型的引數規模並提升推理速度。然而，現有通道剪枝方法通常採用單一的重要性度量準則，且面向特定視覺任務缺乏針對性設計，導致剪枝後模型精度下降顯著。針對上述問題，本報告結合研究團隊最新的研究成果，介紹基於資訊損失的全域性重要性度量和基於分組均衡的細粒度區域性重要性度量，闡述基於多粒度重要性度量的結構化剪枝方法。同時，結合目標檢測等視覺任務，本報告還將介紹任務引導的模型剪枝及微調聯合最佳化策略。

個人介紹：

李鋼，上海交通大學電腦科學與工程系博士後。2021年於中國科學院自動化研究所獲得博士學位。目前從事機器學習、計算機體系結構和人工智慧晶片設計等方面的研究。在MICRO、HPCA、TCAD、DAC、DATE、ICCV、ICLR、ACL等國際會議和期刊發表論文20餘篇，其中近四年獲得3次DATE最佳論文和提名獎（2021、2023、2024）。博士期間曾擔任中科南京人工智慧創新研究院總架構師，帶隊成功研發了量化神經處理器晶片QNPU。作為核心骨幹先後參與了國家自然科學基金、華為、壁仞科技、億咖通科技等多項科研和校企合作專案。

報告題目：

基於低精度量化的DNN稀疏推理架構設計

報告摘要：

低精度量化技術能夠顯著降低DNN模型的計算複雜度以及儲存、頻寬需求，被廣泛應用於定製計算架構設計。隨著量化粒度、位寬的變化，DNN模型內在的稀疏性會呈現出不同的特點。如何在低精度量化的基礎上進一步利用模型內部豐富的稀疏性來提升推理效能是一個重要的問題。本報告將圍繞DNN模型高效壓縮和部署問題，介紹如何針對不同量化精度和不同層次的非結構化稀疏性來設計高效的DNN專用推理架構。

個人介紹：

智慧創作 AI 平臺 AutoML團隊負責人，帶領大模型的訓練加速，模型演算法加速，以及 服務端推理引擎等三個方向。負責抖音/TikTok/剪映等業務的服務端模型加速與最佳化，參與包括抖音-AI 漫畫，抖音-AI婚紗照，輕顏-AI 寫真，抖音-宮崎駿夏天，抖音-莫奈花園， 剪映-瞬息全宇宙等核心專案，在CVPR、ICCV、ECCV、ICML、NeurIPS、ICLR等人工智慧頂級會議上發表多篇文章。

個人介紹：

博士畢業於東北大學(Northeastern University)，波士頓，美國。目前在美的集團擔任資深研究員。研究領域包括邊端智慧、AIoT、深度學習模型輕量化等。先後發表國際高水平期刊/會議論文40餘篇。包括在人工智慧方向國際頂級會議/期刊 AAAI、ICML、NeurIPS、CVPR、TNNLS 等和計算機體系結構頂級會議MICRO、ASPLOS、ISCA、DATE等。擔任國際頂級會議審稿人，包括NeurIPS、ICLR、CVPR、ICCV、ICRA、PR、TNNLS等國際頂級學術會議與期刊。發表專利20餘項，登記軟著5項，並擔任IEEE standard AI on Edge Device（C/AISC/EDGE-WG）工作組主席。

個人介紹：

林紹輝博士，華東師範大學計算機學院青年研究員，紫江青年學者，2021年揚帆計劃獲得者。於2019年博士畢業於廈門大學資訊學院，師從紀榮嶸教授。同年，進入新加坡國立大學計算機學院擔任博士後研究員。目前主要研究方向有計算機視覺、機器學習、影像影片理解、低層視覺，特別是深度模型壓縮與加速。在國際頂級期刊和會議，TPAMI、TNNLS、Neurocomputing、CVPR、ECCV、AAAI、IJCAI等，以第一作者或通訊作者身份發表近15篇論文。擔任IJCAI 2020 SPC以及國際頂級期刊和會議（如：TPAMI、TIP、IJCV、TNNLS、TMM、PR、CVPR、NeurIPS、ICML等）審稿人。

個人介紹：

廈門大學南強青年拔尖B類人才，主要研究方向為深度學習、計算機視覺、機器學習。研究側重點是模型壓縮、自動化機器學習、影像質量評估等。數十篇論文發表於國際期刊PAMI、IJCV、TMM和國際會議ICLR、NeuriPS、CVPR、ICCV、IJCAI、AAAI、ACM Multimedia上。主持博士後面上科學基金；2022 年獲得博士後創新科學人才計劃（每年 400 人）；作為主要起草人之一發布由國內自主制定的 IEEE 2941 標準，推動全球首個人工智慧模型表示與壓縮技術標準，標準獲得 IEEE 標準新興技術獎。由於標準的貢獻榮獲 IEEE 傑出標準貢獻獎。

個人介紹：

寧雪妃，清華大學電子工程系助理研究員，研究方向為模型壓縮和高效AIGC演算法。

會議註冊費用：

全日制在校生參會時需攜帶學生證，便於現場確認。

會議限報200人，註冊費包括會議資料費、1天午餐以及1天晚餐，其他食宿與交通自理。

註冊方式：掃描下方二維碼獲取👇