聯邦學習新時代即將到來?標準化聯邦互動協議FLEX開源!
你還記得大名鼎鼎的超文字傳輸協議(HTTP)協議嗎?作為網際網路應用最為廣泛的一種網路傳輸協議之一,它的出現奠定了整個網際網路時代資料通訊的基礎。
現在,聯邦學習領域的“HTTP協議”也誕生了!由同盾科技人工智慧研究院自主研發的標準化聯邦互動協議:
FLEX(Federated Learning EXchange)近日在全球最大的開源社群平臺GitHub上開源,也在人工智慧頂會NeurIPS的聯邦學習研討會SpicyFL 2020上首次公佈。聯邦學習的發展即將拉開新的篇章。
聯邦學習體系林立,更廣闊的空間亟需打通
“看聯邦學習了麼?最近又有什麼新的技術進展!”這大概是人工智慧從業者常掛在嘴邊的一句話。
作為時下最火的資料安全類技術之一,聯邦學習已經走入了銀行、證券、保險、醫療、政務、城市管理等各類應用場景。
這有著深刻的時代背景。
社會進入網際網路時代至今,企業生產、管理,運營過程的數字化已經在許多行業逐步實現,資料的積累和資料價值的挖掘成為目前關注的重點。除了應用自身積累的資料資源外,使用其他企業機構、其他行業有價值的資料自然成為破解難題的方法之一。與之對應的,如何在使用過程中保障資料的安全,保障個人隱私不被洩露,禁止未授權資料被不當地傳播、儲存和使用成為了難題。
聯邦學習被視為化解這個難題的絕佳技術。聯邦學習(Federated Learning)的本質是一種分散式機器學習技術,可以在不交換資料樣本的情況下,在多個分散的邊緣裝置或伺服器上訓練演算法。以達到在資料“可用不可見”的基礎上進行安全聯合建模的作用。
2017年穀歌AI在《聯合學習:協作機器學習沒有集中訓練資料》的部落格文章中首次引入“聯邦學習”的概念。2019年,谷歌實現了首個產品級的聯邦學習系統,主要側重針對C端,在移動手機上執行的聯邦平均演算法和分析。
在國內,以同盾科技知識聯邦體系為代表的科技力量,針對B端對於聯邦學習技術的研究和應用也在如火如荼地展開,提升到高階別的聯邦學習,致力於最終打造可信AI 3.0,幫助中國率先實現下一代人工智慧的突破。隨著越來越多的機構投身到聯邦學習領域,除帶來技術的躍遷之外,各聯邦之間也出現了一種山頭林立、體系割裂的趨勢,聯邦學習技術的初衷就是為打破資料孤島而生,而如今卻可能帶來了新的“孤島”現象,那麼有沒有一種方法能打通這麼多不同的聯邦學習技術架構和應用體系,讓聯邦能在更廣的疆域和空間尺度展開呢?
同盾科技近期開源的FLEX協議為這個巨集大的設想提供了方案。
FLEX 何以定義新時代的到來?
“目前市場上各家開發的聯邦學習產品五花八門,在實際應用上各不相容,這就形成了產品上新的資料孤島和系統孤島。”同盾科技合夥人、人工智慧研究院院長李曉林教授談起開源FLEX的初衷時表示,他也在NeurIPS-SpicyFL 2020研討會的圓桌論壇上宣佈FLEX開源,不但打破資料孤島,而且打破系統孤島。我們希望未來聯邦學習技術能夠真正成為資料價值互聯互通的橋樑和紐帶,這就需要有一套標準化的聯邦協議去定義技術互動流程,我們的FLEX協議做到的就是這樣的事情。
FLEX(Federated Learning EXchange,FLEX)是同盾科技人工智慧研究院為知識聯邦體系打造的一套標準化的聯邦協議。它約定了聯邦過程中參與方之間的資料交換順序,以及在交換前後採用的資料加解密方法。只要參與各方能夠遵守這些約定,就可以安全地加入到聯邦中提供資料或使用聯邦服務。
FLEX協議主要包括兩層內容:
應用協議:這一層協議是面向聯邦演算法的,為聯邦演算法提供多方資料交換的應用支撐。協議中會約定多方間資料交換的順序和採用的具體密碼演算法。聯邦過程中採用的通訊協議也會被封裝在這裡。
公共元件:是上層應用協議所依賴的基礎密碼演算法和安全協議,比如同態加密、祕密分享等。
在整個FLEX協議中,對於基礎架構、通訊和安全三方面進行了詳細的闡述和約定,適用於跨特徵、跨樣本和遷移聯邦學習三種場景下的多種不同演算法,清晰的對聯邦學習技術過程中聯邦共享、聯邦預處理、聯邦計算、聯邦訓練、聯邦預測、公共元件和聯邦安全性等流程進行了闡釋和約定,是當前首個開源並定義完整的標準化聯邦協議。
同盾科技FLEX協議的開發與開源為聯邦學習技術的發展應用奠定了更好的基礎。通過FLEX協議,各類高校、研究機構、企業和個人可以對聯邦學習技術的開發實現與安全性檢測進行更進一步的研究與驗證,促進不同行業更快落地聯邦應用。
比如在智慧金融領域,FLEX定義的聯邦技術可以應用在反欺詐、反洗錢、智慧風控、使用者畫像挖掘、智慧交叉營銷等場景,幫助金融機構打通內部各部門的資料價值,並利用更多不同外部資料來源的價值。在智慧政務領域,政府部門不同委辦局的資料將能夠在統一的聯邦平臺上打通,為政府管理和百姓生活提供更好的支援保障。在智慧醫療領域,不同醫院的就診資料、病史資訊能夠利用聯邦模式共享,為醫學研究發展和百姓的就醫提供便利。
目前,同盾科技的FLEX協議已經在GitHub上進行了開源,後續也將逐步進行完善和更新。李曉林教授對於FLEX協議充滿了期待:“我們非常歡迎和希望業界研究使用FLEX協議,也希望更多對聯邦學習技術感興趣的人能夠加入到技術的探討和優化中來,這正是我們開源協議的意義。”
相關文章
- 聯邦學習開源框架FATE架構聯邦學習框架架構
- 聯邦學習:多工思想與聚類聯邦學習聯邦學習聚類
- 車聯網時代即將到來!?
- 多工學習分散式化及聯邦學習分散式聯邦學習
- 《聯邦學習》——個人筆記(二)聯邦學習筆記
- 聯邦學習中的優化演算法聯邦學習優化演算法
- 聯邦學習將帶來全新的資料合作生態系統聯邦學習
- 聯邦學習綜述性論文聯邦學習
- 聯邦學習城市應用實戰指南聯邦學習
- 使用Thanos實現Prometheus指標聯邦Prometheus指標
- 聯邦學習 2020-3-15聯邦學習
- 全球首個聯邦學習工業級開源框架FATE更新!五大模組迎來巨幅最佳化聯邦學習框架
- 聯邦學習開源框架FATE新版本釋出!配套引擎EggRoll更新聯邦學習框架
- 艾拉物聯:標準協議不同,碎片化將是IoT長期挑戰協議
- 物聯網時代即將到來:未來三種職業最吃香
- 分散式機器學習、聯邦學習、多智慧體的區別和聯絡分散式機器學習聯邦學習智慧體
- 如何解決聯邦學習中的通訊開銷問題?聯邦學習
- 第1講回顧:聯邦學習技術介紹、應用和FATE開源框架聯邦學習框架
- 當傳統聯邦學習面臨異構性挑戰,不妨嘗試這些個性化聯邦學習演算法聯邦學習演算法
- 資料隱私之下,聯邦學習與銀行“開放”機遇|新基建·產業科技③聯邦學習產業
- 物信鏈釋出PDash資料共享協議,物聯網迎來資料互聯時代協議
- MindSpore聯邦學習框架解決行業級難題聯邦學習框架行業
- 【一週聚焦】 聯邦學習 arxiv 2.16-3.10聯邦學習
- 【一週聚焦】 聯邦學習 arxiv 3.11-3.18聯邦學習
- 基於正則化的多工聯邦
- 詳解聯邦學習中的異構模型整合與協同訓練技術聯邦學習模型
- 模組聯邦-vite-plugin-federationVitePlugin
- 聯邦學習為公平性研究提供了幾個思考聯邦學習
- 聯邦學習中的差分隱私與同態加密聯邦學習加密
- 《聯邦學習FATE入門與應用實戰》公開課上線!聯邦學習
- 強化學習、聯邦學習、圖神經網路,飛槳全新工具元件詳解強化學習聯邦學習神經網路元件
- 從大互聯到數字化聯接 新華三領航智慧未來
- 阿里自研標準化協議庫 XQUIC 正式開源!阿里協議UI
- 聯邦學習:深度學習之後,AI 安防的第二落腳點聯邦學習深度學習AI
- 模型攻擊:魯棒性聯邦學習研究的最新進展模型聯邦學習
- 京東自研聯邦學習平臺正式亮相;微軟不會將Windows遷移到Linux聯邦學習微軟WindowsLinux
- 去中心化元件共享方案 —— Webpack Module Federation(模組聯邦)中心化元件Web
- 聯邦學習、線上信貸、金融安全課程開始報名 | 產業安全公開課聯邦學習產業