大資料技術在應急事件處理中的啟示
新冠肺炎疫情來勢洶洶,全面考驗國家及民眾的危機應對能力,大考面前當有所深思,方能推動社會治理之 的進步。
針對此次疫情,科技行業依託大資料技術為防控戰輸送“彈藥”,各級政府機構、基層社群也紛紛將大資料作為現代化的精準防疫、決策支援工具。抗“疫”的仗一定會打贏,經驗與思考要及時總結,如何將大資料用於疫情防控、如何將資料整合利用、如何保障資料安全,相信這些關鍵話題經此役檢驗,能為社會治理和大資料行業發展給予更多啟示。
大資料追蹤人口流向,提升防控效力
其實,政府層面對大資料的關注並不是此次疫情才開始,從中央到地方政府近年來非常重視大資料在民生保障領域的應用。比如在人口統計方面,有關部門已經開始引入大資料相關的技術、平臺和能力,而這次突發事件,讓大資料的價值再次得以顯現。
智慧裝置的飛速普及與國家大資料戰略的實施,使得大資料應用在民生領域成為可能。而且隨著技術的發展進步,大資料應用逐漸深化,為日常生活帶來了實際便利,社會對於大資料理念的接受度也越來越高。
中央政府強調,鼓勵運用大資料、人工智慧、雲端計算等數字技術,在疫情監測、病毒溯源、防控救治、資源調配等方面發揮支撐作用。大資料開展精準防疫最直觀的應用場景就是人口統計和人口流動監測,在這方面的資料能力和技術探索也在持續完善。無論是各地政府、運營商等公共事務機構,或者相關行業的企業,都積累了各自領域的“小資料”,將這些分散的資料集合形成“大資料”,就為深入洞察、清晰顯示人員流入及流出方向、動態及規模提供了基礎。
在這個場景中,各地區已經有不少應用案例。比如,基於移動智慧終端的特徵、行為、位置資料,經過脫敏和清洗加工後,透過多種智慧化模型與演算法,可以實現疫情期間人群的覆蓋分佈、趨勢判斷、流動監測、返程預測方面的分析與洞察,為政府的疫情防控工作提供重要參考。目前,TalkingData已經藉助這樣一套“資料+模型+視覺化+報告”的整體解決方案,實現了對北京市的各區人口及區域間、省際間人口流動的動態監測,以及重點區域的疫情監測。
北京市重點區域疫情流動移動大資料監測平臺
回顧梳理一個月來的抗“疫”戰局,在政府的帶領下,大資料在相關領域的應用已經初顯成效,但在滿足龐大資訊需求的層面仍舊有潛力可挖掘。藉助大資料技術,我們可以最佳化流程,把細節做得更高效、更完善,而這需要全行業共同的努力。
破除資訊孤島,實現資料共享、連線
實現聯防聯控,建立一套完善的應急管理大資料體系是對整體綜合能力的考驗,“組合拳”的建立不是一、兩家企業和機構能獨攬,需要全行業、全社會配合才有可能完成。而其中,最迫切的一點是要破除資訊孤島、加強資料共享,在符合國家法律法規和行業標準的前提下,儘可能整合相關的資料資源。這就需要在各級政府部門間、企業與政府間建立有效的資料通道,將各方優勢融成一股力量,才更有助於提升全國的整體防控能力。
在貴陽舉辦的數博會,是大資料領域的國家級博覽會。我們每年參加數博會,都能看到眾多提供視覺化平臺的企業,但很多企業都是聚焦在單一領域,為單一行業提供平臺、服務,其中一大原因就是跨行業的資料難以打通。當面對像新冠疫情這樣涉及全社會方方面面的突發事件,單一領域、單一行業的資料就遠遠不夠用了。
資料共享、連線的目的是整合,而整合的最大價值,一方面在於“全”,一方面在於“精”。尤其是在制定影響力大、影響面廣的決策時,將跨領域、跨行業的資料連線起來,有助於綜合考量多方面因素,建立起縱覽全域性的視角,降低顧此失彼的風險;將多來源、多維度的資訊聚合起來,更便於進行多方交叉驗證,提高分析結論的可靠性和精確度,而據此制定的措施才能更高效。疫情已經造成了巨大的影響和損失,需要我們儘可能全面而精準的決策,不僅做好疫情防控,也能更快從疫情的“創傷”中恢復。
對大資料產業來說也是如此。雖然TalkingData在移動大資料領域有多年經驗,但只依靠自身積累,能做的事情也是有限的。我們知道,資料維度越豐富,越有利於能力的釋放。這也是近幾年TalkingData一直在呼籲資料“連線”和構建生態合作的原因,因為只有合法合規、安全高效地把分散的資料孤島連線起來,把產業鏈上下游的能力連線起來,用平臺化的體系共享資料、共享技術、聯合建模、聯合應用,才能讓資料深入賦能各行各業的不同應用場景,並推動生態中每一家企業的發展。
TalkingData 資料智慧平臺
資料共享,並不是要把資料集中到一個點,這無論從物理上、邏輯上、還是合規性上來講,都是行不通的。但實現“連線”的方式在不斷演進,像TalkingData參與研發的麻省理工學院前沿技術框架OPAL,就在探索“資料不動,演算法移動”的新方式,在不移動資料並加密的情況下,透過呼叫演算法來從資料中獲得所需的分析洞察,實現安全合規前提下的資料的共享和利用。
大資料支撐聯防聯控,要做好隱私保護
藉助個人資訊來有效追蹤疫情是為了保護公共利益,有利於社會治理,但一定要有嚴格的規範和邊界。2月9日,國家網信辦釋出《關於做好個人資訊保護利用大資料支撐聯防聯控工作的通知》,除了鼓勵運用大資料支撐疫情聯防聯控,更明確了基於疫情防控的個人資訊收集、使用、披露的條件,特別強調要重視個人資訊保護並採取防護措施,防止資訊被盜取、被洩露。
技術是中性的,但使用技術的人應該是理性的,使用技術的方式和目的應該是有利於改善人類生活和推動社會發展的。我們在利用技術挖掘資料價值的同時,也必須積極利用技術和管理手段來保護資料和個人資訊保安。TalkingData認為,應該圍繞資料採集、傳輸、儲存、處理、交換、銷燬的資料生命週期,從獲取使用者授權、到資料脫敏加密、再到合作伙伴安全評估等,形成完整的資料合規鏈條。經過幾年的實踐,TalkingData也從組織、資產、物理環境、執行維護、訪問控制、安全審計等多個維度,總結出一套資訊保安保護機制,透過完善管理和流程,來保障資料安全。
這兩年,與資訊保安相關的法律法規、政策、標準逐步或徵詢意見,給所有從事大資料相關行業的企業提供了越來越明確的行為守則。作為大資料行業的一員,TalkingData也參與了《資訊保安技術個人資訊保安影響評估指南》的編制、《資訊保安技術資料安全能力成熟度模型》的應用推廣試點等。
即使在應對像新冠肺炎疫情這樣的突發事件時,也應盡全力做好資料安全和個人資訊保護。為了解決一時的問題、享受短期的利益,而打破社會對大資料應用的信任感,無異於飲鴆止渴。在這裡,我們也想呼籲全行業的夥伴,除了深刻理解和嚴格遵守相關法律法規,也需要根據法律法規的更新及時完善自身的合規制度與措施,這是淨化行業環境、保持企業生命力的必然路徑。
大資料是新時代的能源,也是蘊藏豐富價值的寶藏。除了在人口流動、疫情監控方面的應用,大資料還能夠為傳染源追溯、病毒測序、病情診斷、藥物研發、物資調配、復工影響評估、疫情趨勢預測等諸多方面發揮積極作用,為政府、企業、以及我們每個人在公共事業、醫療、商業、生活等各個領域的決策,提供重要的參考。
“危”與“機”總是相伴相生,從歷史視角看,很多危機事件在對人類構成威脅和挑戰的同時,往往也孕育著推動我們不斷探索和進步的力量。無論是用大資料改善民生的政府,還是提供大資料和技術能力支援的企業,都需要將此次疫情防控中的經驗與教訓沉澱下來,轉化為促成社會應急管理和社會治理能力升級的機遇,也為大資料行業的長遠發展強壯根基。
來源:北國網
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946594/viewspace-2679465/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大資料處理的關鍵技術及應用大資料
- java大資料處理:如何使用Java技術實現高效的大資料處理Java大資料
- 淺談大資料在抗疫中的應用和啟示大資料
- 大資料技術在電商的應用大資料
- 技術支援在大資料分析中的作用大資料
- 我的《海量資料處理與大資料技術實戰》出版啦!大資料
- NLPIR語義挖掘技術提升大資料處理效果大資料
- 日均處理萬億資料!Flink在快手的應用實踐與技術演進之路
- 大資料分析技術在新型智慧能源建設中的應用大資料
- LLVM技術在GaussDB等資料庫中的應用LVM資料庫
- 開源軟體在地圖資料處理中的應用地圖
- 多卡聚合路由裝置在城市應急事件處理中的作用路由事件
- 傳統的資料處理方式能否應對大資料?大資料
- Serverless 在大規模資料處理的實踐Server
- 2018中國資料庫技術大會正式啟動資料庫
- 大資料技術原理與應用——大資料概述大資料
- Java技術在多資料庫系統中的應用研究Java資料庫
- tsv檔案在大資料技術棧裡的應用場景大資料
- 百分點大資料技術團隊:應急領域資料治理“N步法”實踐探究大資料
- 大資料技術原理與應用大資料
- 多卡聚合技術在電力巡檢應急通訊的應用
- 【雲端計算與大資料處理技術】公開課實況大資料
- 技術分享 | OceanBase 資料處理之控制檔案
- 文書處理技術:WORD也在不斷變化中
- 大資料處理的基本流程大資料
- 大資料在智慧城市中的應用大資料
- eBay資料科學家李睿:自然語言處理在eBay的技術實踐資料科學自然語言處理
- 大資料建模、分析、挖掘技術應用大資料
- 多卡聚合技術在應急視覺化指揮排程的應用視覺化
- Pandas多維特徵資料預處理及sklearn資料不均衡處理相關技術實踐-大資料ML樣本集案例實戰特徵大資料
- 剖析大資料平臺的資料處理大資料
- “雲端計算與大資料處理技術”3天課程紀實!大資料
- 分析技術在PMP中的應用
- 資料探勘技術在軌跡資料上的應用實踐
- raid磁碟陣列OFFLINE後的應急處理方案AI陣列
- 系統中資料顯示進行脫敏處理
- 資料探勘在醫學大資料研究中的應用大資料
- 不care工具,在大資料平臺中Hive能自動處理SQL大資料HiveSQL