2019年12月,國際人工智慧頂級學術會議神經資訊處理系統大會NeurIPS 2019(Conference and Workshop on Neural Information Processing Systems 2019)即將於加拿大溫哥華隆重召開。大會期間,谷歌、微眾銀行、卡耐基梅隆大學、新加坡南洋理工大學等機構將聯合舉辦關於聯邦學習技術及應用的國際研討會(Workshop on Federated Learning for Data Privacy and Confidentiality)。從該國際研討會近日揭曉的論文收錄情況來看,聯邦學習這一人工智慧子領域已經受到國內外知名研究機構及企業的關注與重視。
聯邦學習國際社群範圍進一步擴大
據研討會主席、微眾銀行人工智慧首席科學家範力欣介紹,隨著人工智慧技術成功突破演算法與算力上的限制,如何連線“資料孤島”和保護資料隱私,成為人工智慧在各行各業應用落地所必須解決的難題。“聯邦學習”(Federated Learning)作為一種加密的分散式機器學習正規化,可以使得各方在不披露原始資料的情況下達到共建模型的目的。即在不違反資料隱私保護法規的前提下,連線資料孤島,建立效能卓越的共有模型。
近兩年來,聯邦學習在學術研究、標準制定、行業落地等方面一路高歌猛進,成為人工智慧領域引人注目的方向之一。今年8月,IJCAI 2019首屆聯邦學習國際研討會的成功召開標誌了聯邦學習國際社群的正式成立,聯邦學習進入了一個新的階段。此次在NeurIPS 2019中舉辦的聯邦學習主題的研討會則在參與人數、投稿數量、研討深度、應用廣度等方面進一步提升,吸引更多國際研究者與從業者的關注。
據統計,此次研討會共收到68篇投稿論文,來自美、中、英、德、芬蘭、新加坡、日本、印度、以色列、沙烏地阿拉伯等17個國家和地區,其中不乏哈佛、普林斯頓、康奈爾、麻省理工等國際名校與研究機構,以及谷歌、華為、騰訊、微眾銀行等知名企業。資料顯示,美國與中國投稿最多,佔投稿總數70%以上。在近幾年聯邦學習的研究中,以谷歌研究院為代表的技術流派關注消費者端(C端)移動裝置上的隱私保護問題,而國內以微眾銀行 AI 團隊為代表的技術流派,比較看重企業端(B端)跨機構跨組織大資料合作場景。事實上此次研討會的投稿分佈也正體現了在聯邦學習這一人工智慧新方向上,中美的領先地位。
理論研究與應用探索齊頭並進
在被接收的33篇論文中,從入選論文作者的機構分佈來看,卡耐基梅隆大學、谷歌、微眾銀行、騰訊佔比最高。哈佛大學、耶魯大學、康奈爾大學、清華大學、北京大學、香港科技大學、微軟、Facebook、騰訊等海內外知名研究機構與企業均佔一席之地。
入選論文不僅包含對聯邦學習的理論研究,更重要的是呈現了在實際應用中的探索成果。其中最受評委青睞的來自卡耐基梅隆大學的論文《Think Locally, Act Globally: Federated Learning with Local and Global Representations》就提出結合本地與全域性的方式,降低聯邦學習通訊開銷,提升學習效率,該方法即使在參與方擁有非同質資料的情況下仍然有效。無獨有偶,國內微眾銀行AI團隊的論文《A Communication Efficient Vertical Federated Learning Framework》提出針對縱向聯邦,降低通訊開銷,進而提升學習效率的方法,該方法在理論分析與實驗驗證中被證明行之有效。通訊開銷的降低與學習效率的提升將為更大範圍的工業化奠定基礎,對此的研究來源於應用,也將在實際應用中產生巨大價值。此外,谷歌與卡耐基梅隆大學的合作論文《Mitigating the Impact of Federated Learning on Client Resources》提供了一個對聯邦學習各種方法進行客觀全面評價的基準框架(benchmark framework)。
大咖雲集共話聯邦學習未來
值得一提的是,此次研討會匯聚了眾多學術大咖,其中歐洲人工智慧領軍人物、歐洲人工智慧聯盟(ECCAI)與國際人工智慧學會(AAAI)院士Boi Faltings教授的論文《Federated Learning with Bayesian Differential Privacy》從理論分析與實驗結果兩方面,證明了貝葉斯差分隱私聯邦學習的有效性。
此次研討會還邀請了八位特邀嘉賓,發表聯邦學習主題報告:微眾銀行首席人工智慧官、第四正規化聯合創始人、香港科技大學講席教授楊強,谷歌語音識別技術研發帶頭人Francoise Beaufays及谷歌研究院研究員Daniel Ramage,網路安全領域著名專家、加州大學伯克利分校教授Dawn Song及助理教授Raluca Ada Popa,阿姆斯特丹大學機器學習首席教授、高通技術副總裁Max Welling,卡耐基梅隆大學助理教授Ameet Talwalkar,中國科學院計算技術研究所泛在計算系統研究中心主任陳益強教授。
聯邦學習領域的頂尖學者與從業者將從理論研究與實踐探索出發,把聯邦學習與多個行業領域的最新技術結合起來,為應對使用者隱私保護、資料安全與AI落地的矛盾提供更加全面有效的解決方法。相信隨著聯邦學習的深入研究與廣泛落地,AI的更大規模行業應用未來可期。
研討會官網:http://federated-learning.org/fl-neurips-2019/
瞭解聯邦學習:www.fedai.org.cn