聯邦學習:深度學習之後,AI 安防的第二落腳點

AIBigbull2050發表於2019-11-25
2019-11-25 11:51:26
聯邦學習:深度學習之後,AI 安防的第二落腳點

夢想與現實從來都是糾葛著的,AI也不例外。

以AI落地最多、最快的安防行業為例,過去幾年,行業各類神捕、鷹眼等產品讓人眼花繚亂。

漸漸地,AI成為了無所不能的代名詞。

但是AI在安防行業的真實應用,還有很多現實問題亟需解決。

大規模落地:AI安防仍存兩大痛點

宇視CEO張鵬國提到,“當前AI落地能力與使用者需求存有較大差距,前者還需面對資料隱私保護與安全管控、低成本、流程再造、組織變革等挑戰。”

具體來看,最為核心的痛點有二:

其一, 資料不夠多元,且異常封閉。

中國擁有龐大的人口數量、使用者量及影像採集點,相關企業得到資料之後經過篩選、過濾、疊加、組合,會對自身演算法效果有階段性提升。

但這類提升屬於個人式的、微乎其微式的。

每個廠商所建設的AI系統類似一個又一個的“煙囪”,“煙囪式”架構也就是垂直的體系結構。

每一個IT系統都有自己的儲存和裝置,以及獨立的管理工具和資料庫,不同的系統不能共享資源、不能交付和訪問,形成了資源孤島和資訊孤島。

由於不同企業的資料庫模型設計和針對的目標有所不同,他們也無法直接交換、共享模型。

即便相關企業間的資料庫可以融合,但受制於隱私、安全等問題,也絕不可如此為之。

有場景缺資料、有資料難共享。這是包括AI安防在內的諸多行業目前存在的普遍問題,也是阻礙AI普惠的最大痛點。

其二,缺乏優質資料,演算法不夠精準。

由於缺乏足夠優質資料作為訓練支撐,大多企業依靠開源框架微創新,然後採用低價策略搶佔市場,導致整個行業喪失了做基礎原創技術創新動力的案例。

堅持自研是一條漫長且艱苦的路,沒人知道數年的努力能不能換得一次數量級的提升,也沒人知道高投入後是否得到與之相匹配的回報。

對此有人或許會提到,基於安防行業自身天然的高試錯率,小數點後的演算法精度數量級提升對於專案的最終歸屬沒有大的改變。

其實,現階段與安防相關的AI技術精準度還遠遠沒有達到天花板,分類檢測、分割、以及對整個影像區域分類問題均還未得到很好解決。

概括而言,AI技術在安防市場上的應用主要還存有幾個挑戰:

1、認知問題相較感知問題較難解決。感知問題可以用神經網路函式逼近,相比之下認知問題解決起來比較棘手,比如如何教會機器辨識一把椅子。


2、在弱線索、遮擋、模糊、物件追蹤等情況下,人類在識別的過程中通常會依據常識,並加入豐富的想象及推理。但是想要將這些能力傳授給機器則非常困難。


3、計算機視覺技術帶給機器的能力不只是用來觀察世界,而是需要與世界建立聯絡,從而一起做互動,而想要做到“互動”這一步,還有很長一段距離。

基於安防場景的不斷變化,其對演算法迭代的要求一定是非常嚴苛且上升的。

在這個市場中,誰能夠看到演算法精度提升解鎖的更多場景,並根據場景的變化做到最為快速且精準的反應,誰就能在未來競比中走得更遠。

聯邦學習:AI大規模落地又一革命性突破

一方面,AI在安防行業的探索才剛剛開始;另一方面,做好AI所必須的資料養料有限且質量較差,不同資料來源之間存在難以打破的壁壘。

除了少數幾家擁有海量使用者、具備產品和服務優勢的巨無霸企業外,大多數中小型AI安防企業難以以一種合理、合法的方式跨越人工智慧落地的資料鴻溝,或者需要付出巨大的成本來解決這一問題。

聯邦學習:深度學習之後,AI 安防的第二落腳點

此外,隨著大資料的發展,重視資料隱私和安全已經成為一種世界性的趨勢,一系列條例的 出 臺 更是加劇了資料獲取的難度,這也給人工智慧的落地應用帶來了前所未有的挑戰。

何解?

針對這個問題,雷鋒網同時採訪了六位學術界、工業界領頭人,得到的答案比較一致: 從目前的研究進展來看,“聯邦學習”技術可能是解決以上問題的最佳選擇。

聯邦學習的概念最初由谷歌在2016年提出,在中國,香港科技大學講席教授、微眾銀行首席人工智慧官(CAIO)楊強教授算是聯邦學習研究第一人。之後包括微眾銀行、騰訊、平安科技、華為、京東等在內的國內企業和機構推動聯邦學習進入了學術研究與行業落地新階段。

聯邦學習之所以能夠在如此短的時間裡迅速由一個構想變為一門學科,主要因為它可以讓參與各方在不披露底層資料的前提下共建模型,之後利用整個資料聯邦內的資料資源,提高每個成員的模型表現。

通俗來說,深度學習時代,每個AI企業的技術能力是單打獨鬥式的;而聯邦學習的出現,更為緊密、安全地將各個AI企業聯絡在了一起,聯邦中的每個成員都可以用最快的速度提升自身能力的同時汲取別人的長處,最終獲得共同成長。

譬如A廠商有校園資料、B廠商有工廠資料、C廠商有社群資料,且這三家廠商都使用了聯邦學習技術。

從業務層面出發,A、B、C這三家廠商便直接獲得了兩種能力:1、最快速地最佳化自身業務;2、最快速地擴充新業務。

最快速地最佳化自身業務表現在,平臺每天會有若干個類似A廠商的企業向平臺輸入加密後的資料模型,而這些資料模型中有A廠商非常缺乏的其他資料資訊,而A廠商便可根據這些資料去更新自己的演算法模型。

最快速地擴充新業務表現在,A、B、C每家廠商都有各自構建好的模型,透過彙總去得到更大的資料模型,在不流通資料的情況下得到資料流通的最好效果,透過資源互補可以在最短時間內安全地獲得對方的能力,去擴充新業務。

從隱私保護層面來看,通常智慧攝像頭產生的資料會被上傳到後臺伺服器中,然後由部署在伺服器上的神經網路模型根據收集到的大量資料進行訓練得到一個模型,服務商根據這個模型來為使用者提供服務。

這是一種集中式的模型訓練方法,這種方式很難保證資料隱私安全。

而聯邦學習就不再是讓資料傳送到後臺,而是在每個企業自己的伺服器上進行訓練,並加密上傳訓練模型,後臺會綜合成千上萬的使用者模型後再反饋給使用者改進方案。

相較傳統學習模式,聯邦學習的優點是顯而易見的:

1、在聯邦學習的框架下,各參與者地位對等,能夠實現公平合作;


2、資料保留在本地,避免資料洩露,滿足使用者隱私保護和資料安全的需求;


3、能夠保證參與各方在保持獨立性的情況下,進行資訊與模型引數的加密交換,並同時獲得成長;


4、建模效果與傳統深度學習演算法建模效果相差不大;


5、聯邦學習是一個「閉環」的學習機制,模型效果取決於資料提供方的貢獻。

在傳統的方法下,使用者只是人工智慧的旁觀者——使用,但沒有參與;而在聯邦學習場景下,每個人都是“馴龍高手”,每個人都是人工智慧發展的參與者。

縱身一躍:聯邦學習已經落地生根

值得一提的是,目前聯邦學習已經從概念走進商業世界,而且誕生了一系列基於行業場景的新平臺、新應用。

今年9月,微眾銀行與極視角聯手打造了中國首個視覺聯邦學習系統。

以影片攝像頭中的火焰識別為例,AI工程師們可能千辛萬苦訓練了一個火焰檢測的識別模型,想要用在監控攝像頭中,識別是否有燃燒現象,從而對火災發生的可能性進行分析,實現火災預警。

原有的AI演算法可以比較準確地識別有明顯大面積燃燒和明火發生的常見場景。然而,遇到打火機點出的火焰時,攝像頭就有些“懵”了。

如果想讓模型增強識別能力,傳統的AI訓練要求適用方能夠提供一些資料樣本,而這又出現了因網路頻寬導致的演算法準確率不高及資料隱私等問題。

種種難題前,極視角與微眾銀行合作,利用聯邦學習技術打造了一個計算機視覺模型的“超級市場”。

聯邦學習:深度學習之後,AI 安防的第二落腳點

圖片來源:fedai.org

在聯邦視覺系統中,依託本地建模,在保證各方資料不出本地的情況下,即可提升AI演算法準確率。

在一次公開分享中,微眾銀行AI部門副總經理陳天健透露,“在‘聯邦視覺系統’專案中,透過聯邦學習技術,整體模型的效能提升了15%,且模型效果無損失,極大地提升了建模效率。”

AI下半場:技術生態正被重新塑造

安防行業歷經兩次跨越,從最開始的通用級產品到解決方案,再到內容分析前置,接下來則是平臺運營。

未來,安防行業背後是兆億級別且呈幾何式增長的巨大流量入口。

IoT時代,資料處理並非孤島式,未來智慧城市中的每個人、每個攝像頭都是可感知的,而聯邦學習可以發揮“群體智慧”的力量,進而升級和變革行業。

最佳化、互補、安全、高效,毫不誇張地說,聯邦學習無疑是目前業界出現的最有可能推動AI普惠的技術路線。

它也是AI行業從B2C到C2B模式的一個變革起點,它的成熟發展可以讓更多人更低門檻地參與到AI社會的構建。

同時,安防領域的應用還只是聯邦學習賦能的冰山一角,未來包括金融、零售、醫療、政務、工業等各行各業、各個場景都可以依據此技術實現降本增效、開源節流。

未來,聯邦學習必須生態化。聯邦學習的精髓在於互補、在於合作、在於生態。聯邦學習正如一個作業系統,一家企業是玩不轉的,唯有各方共同參與,才有機會落地生花。

和羹之美,在於合異;上下之益,在能相濟。

聯邦學習全面賦能之路還很遙遠, 而這些已經落地的“種子”,正在一粒粒萌芽、破土,被人們所肯定。







來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2665620/,如需轉載,請註明出處,否則將追究法律責任。

相關文章