城市免疫力與“AI營養液”:聯邦學習的價值與場景

naojiti發表於2020-03-01

當抗疫戰場上的好訊息不斷傳來,關於“城市免疫力”的話題也不斷升溫。除了公共醫療與我們自身健康上的免疫能力,一座城市如何提高自己的免疫能力,更好應對相關危險,成為了公共話語討論的焦點。

我們在相關討論中,看到了預警機制建設、供應鏈體系完善、城市數字化升級、資訊透明制度等等的話題,可以說益處良多。在這裡我們從自身視角出發,貢獻一點話題:城市免疫力的提高,還與一些新銳技術的應用息息相關。

比如說,在AI領域這幾年有一個“明星技術”,被各種頂會熱捧,被無數開發者關注,它叫做聯邦學習。而這個大眾可能依舊陌生的技術,其實就與城市免疫力話題息息相關。

從這次抗疫過程裡,不難看出城市各領域、各部門之間的資料不打通、不協同是一個巨大問題。比如說,基層人員要把寶貴時間浪費在無窮無盡的填表上;居民進出小區、醫院、車站等公共場所,要一處一掃碼一處一填表;相關部門想要獲悉和應用其他領域的最新動態資料,更是難上加難。

這個顯著暴露的問題,被稱為“城市資料孤島現象”。每個部門都可能建設一套自己的系統和資料,沿用不同的資料表現形式,積累下來就會造成層層疊疊的孤立資料。然而要實現城市資料的全面打通,全面共享,雖然理論上聽起來簡單,但實際操作又是不可能的。每個部門的日常工作方式、資料需求和資料保密等級不同,徹底打通既缺乏操作性,也不利於真實工作的開展。

那麼有沒有既尊重城市資料歸屬權,又能讓AI來全盤洞察城市資料的方案呢?

聯邦學習就是一種有效的方案。比如,北京經濟技術開發區上線了數字化防疫系統——戰疫金盾,能夠實時監控返城人員流向分佈,還能動態掌握園區企業執行情況,幫助地方政府科學決策。業內首創非同步聯邦學習的京東數科,就參與了戰疫金盾的開發,很可能聯邦學習技術也在其中發揮了作用。

聯邦學習的火爆,原因在於它並不致力於改變機器學習和資料儲存的基本實現方式,而是改變了不同AI模型之間的協作模式。

在聯邦學習模式下,資料依舊儲存在“島“中,但AI模型可以跨越島嶼來架起橋樑,實現特定需求和整體智慧的機器學習目標。這種模式被產學研各界認為是未來資料協同和智慧協同的基本實現方式,聯邦學習也成為了AI技術發展到今天的幾大主要趨勢之一。

給城市免疫力注入一支“AI營養液”——聯邦學習的進化,也許在未來某天將成為新的城市之盾。

聯邦學習:打破資料孤島的AI明星

2016年,谷歌團隊提出了聯邦學習的概念,隨後引起了整個AI學術界的共同關注。

聯邦學習為過往AI技術邏輯帶來的最大改變在於,它的資料結構可以在參與各方不披露底層資料的前提下,完成共建模型的搭建,之後利用整個資料聯邦內的資料資源進行訓練,使每個參與方都將獲得能力提升。

而聯邦學習最大的價值,就是改變了AI時代每個資料擁有方單打獨鬥的“常識”,將資料資源以可行的方式聯合在了一起。將聯邦學習投向產業應用,最直接的目標是可以改變重度資料安全領域,尤其是金融產業的智慧化效率;向長遠看,聯邦學習可能改變每一家企業獲取AI、打造自身AI體系的方式與門檻,對智慧社會有著舉足輕重的價值。

肩負著打破資料孤島的重任,聯邦學習很快成為了AI世界中的未來之星。在歐美流行的AI民主化議題裡,聯邦學習今天佔據著舉足輕重的地位。

但在從理論架構向現實產業進化的過程裡,聯邦學習可能還有很長的路要走。而從它保護資料隱私,確保資料安全的基本能力上來看,科技金融毫無疑問是聯邦學習落地的第一站。

在中國,聯邦學習走向產業應用的步伐正在逐步加快。京東數科、微眾銀行等企業對聯邦學習,從技術向產業的一系列探索,正在向各行業展現這一技術滲透到現實的種種可能。

非同步計算與產業化:京東數科破解的“聯邦學習密碼”

聯邦學習走向產業化,是近兩年全球AI產學各界普遍關注的議題。在歐美,聯邦學習的提出者谷歌,以及亞馬遜、IBM等公司都大力發展聯邦學習技術。而在國內BAT、華為等科技公司也都在參與聯邦學習的產業化過程。

同時,聯邦學習也在成為AI頂會的熱門話題。比如去年12月舉行的NeurIPS 2019中,就有大量論文集中討論聯邦學習的產業應用與行業標準化。剛剛召開的AAAI 2020中,由微眾銀行、新加坡南洋理工大學、極視角合著的論文《FedVision: An Online Visual Object Detection Platform powered by Federated Learning》被授予“人工智慧創新應用獎”。

同時,聯邦學習的產業標準化程式也在推進當中。2018年,IEEE聯邦學習標準專案宣佈成立,這是國際首個針對AI協同技術框架訂立標準的IEEE專案,至2019年已經舉行了第三次會議。

而在更具體的產業化落地程式裡,不能不提到京東數科。有媒體認為,在金融科技產業中,微眾銀行由聯邦學習的學術探索而廣為人知,京東數科則將聯邦學習的產業應用做到了更前沿的維度。

比如說,聯邦學習走向產業應用最大的問題之一,在於最早提出的聯邦學習模型,學習程式都是同步的。但在現實中,不同企業和機構所處的計算環境、網路環境、資料環境各不相同。同步計算的聯邦學習,在很多情況下無法應用於產業化的多方聯合建模。

京東數科發現,破解這一問題的關鍵在於非同步計算能力,於是率先提出了非同步聯邦學習技術,在底層技術邏輯上改變了聯邦學習的工作方式,讓它更好進化到產業級需求當中。

以非同步聯邦學習為基礎,京東數科已經打造了一系列聯邦學習走向開放和應用的技術基礎設施。比如基於聯邦學習推出 AI開放平臺;積極參與推進IEEE聯邦學習標準,助力建立行業標準規範;基於自研聯邦學習演算法,保證聯邦森林演算法的模型效果的一致性;藉助京東數科的多種技術優勢,將聯邦學習與安全加密、多方安全計算和同態加密等多項技術並用,構建完善的聯邦學習產業體系。

從平臺化、產業標準、產業一致性,到技術融合,京東數科圍繞聯邦學習的產業化,完成了從基礎技術到技術應用的多層次進化,將聯邦學習的技術原點與產業需求進行對接,通過非同步聯邦學習構築了完善的資料協同產業應用生態,實現了聯邦學習領域的多項領先。

基於非同步聯邦學習的技術優勢,以及多種安全加密技術的融合,京東數科推出了聯邦數字閘道器。聯邦數字閘道器保證了資料不需要離開儲存位置也能夠實現資料的融合利用,在不同機構之間搭建起安全、智慧、高效的連線,並保證資料接入安全、建模安全、資料互動安全,最終形成資料聯盟,實現合作共贏的目標。

基於這一系列聯邦學習的產業實踐,京東數科在聯邦學習領域,實現了商業化和應用場景落地方面的領先。而其領先探索也為我們展示了這樣一副圖畫:未來,聯邦學習究竟如何影響和改變我們的生活。

金融風控與城市智慧:聯邦學習的應用進化紀

在聯邦學習的綜合場景應用中,金融科技領域毫無疑問是落地第一站。因為金融智慧和智慧風控領域,涉及大量的資料智慧化和資料學習,但同時資料的保密等級高、安全要求嚴格。而聯邦學習技術剛好同時滿足了這兩種需求,在金融資料安全與金融產業智慧化升級之間取得了重要平衡。

京東數科的聯邦學習技術,已經在金融風控領域基於聯邦學習進行了持續落地。通過聯邦演算法、安全加密演算法,在個人信用評分、企業信用評分、精準營銷、精準放貸、精準風控、地塊洞察和醫療診斷等場景下實現了跨域學習聯合建模和安全可靠的知識共享服務。

而在金融產業之外,下一個最有聯邦學習技術應用潛力和落地需求的場景,是近兩年如火如荼發展中的智慧城市。

一座城市,是由無數個政務、企業、公共服務系統所構成的。隨著數字化城市升級的加快,各個系統都在構建自己的資料體系與智慧化系統。然而這些系統大多數時候都是獨立存在的,交通不知道物流,水利不瞭解氣象。這就導致城市的整體智慧化很難發展起來,智慧城市變成了千百根聳立的資料煙筒。

然而各系統之間資料保密性、資料權責等客觀需求,又讓資料打通並不那麼現實。這種情況下,聯邦學習體系可以成為關鍵的破解方案,在確保資料各有的同時,構建城市整體智慧進化方案。京東數科的智慧城市體系中,已經大量應用了聯邦學習技術與聯邦數字閘道器,構成了京東數科在智慧城市領域的明星技術。

而從金融風控到城市智慧化,可以看到聯邦學習技術在大量差異化行業場景中,都有著基礎應用價值。各行各業都將可能自聯邦學習模式中獲益,實現智慧協同、消弭資料壁壘。

聯邦學習帶來的改變將是社會化和底層化的,而從理論架構到產業實踐、商業落地這關鍵一步,已經被京東數科探索出了紮實的可能。

一座資料與智慧之間、無數資料架構之間、智慧社會之間的橋樑正在建設進行時。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2677903/,如需轉載,請註明出處,否則將追究法律責任。

相關文章