2022愛分析·資料智慧應用實踐報告
鬥象科技首席安全架構師
方正
特別鳴謝(按拼音排序)
報告摘要
湖倉一體強化全域資料管理效能
為解決資料型別豐富、資料體量倍增帶來的儲存問題,同時滿足人工智慧、機器學習在趨勢預測、探索分析等方面的應用需求,同時配置資料倉儲、資料湖成為企業的普遍選擇。然而企業逐漸發現多架構的配置並不完美,解決既有問題的同時帶來新的架構問題,如資料流通低效、資料冗餘以及儲存成本高。
湖倉一體能有效解決複雜架構問題。湖倉一體透過後設資料層在資料湖上實現全域性資料統一管理,支援流批一體簡化系統架構,以及雲原生、存算分離的特徵成為資料架構新一代進化方向。
從管理到運營,DataOps釋放資料中臺價值
當前,資料中臺的功能主要體現在為企業打通資料孤島、建立指標體系、實現資料質量管理、資產管理等方面,重點解決企業“有資料可用”的問題。隨著資料應用場景的豐富,資料應用的多元化,資料開發運維的壓力驟增,資料不可信、資料應用交付緩慢等問題頻發。解決“資料好用”的問題成為資料中臺實現資料能力複用和共享的關鍵。
DataOps是一套以資料為中心的資料管理及運維開發方法論。融合DataOps方法論,資料中臺將顯著提升資料質量、實現資料應用持續敏捷交付、降低資料管理成本。DataOps實踐尚不成熟,但已經成為資料中臺進一步釋放資料價值的關鍵路徑。
高時效場景爆發,實時資料平臺支撐熱資料價值釋放
物聯網使得海量實時資料觸手可及,進而推動以金融、工業行業為代表的實時資料應用的創新,如精準營銷、風控管理、故障預警等。企業需要對資料架構進行升級,實現實時資料和離線資料融合,充分利用實時資料價值。
實時資料平臺支援多源資料採集、提供高可用、低成本的資料同步方案,並透過流批一體的方式實現離線資料和實時資料統一儲存和查詢,提升企業實時場景開發和上線效率。
政策合規要求推動隱私計算平臺快速滲透
以金融、政務、醫療為代表的行業需要透過資料跨機構協作及共享提升服務價值、控制風險、提升效益。然而資料跨機構的流通阻力極大,一方面,隨著《資料安全法》及《個人資訊保護法》的頒佈,國家對資料流通監管加強;另一方面,資料資產等同於企業的命脈,使得企業對資料流通持十二分謹慎態度。
隱私計算能為企業實現資料跨機構的流通共享。隱私計算透過聯邦學習、多方安全計算、可信執行環境以及同態加密等一種或多種技術組合,實現資料流透過程中的“可用不可見”,已經為越來越多的行業採用。
屬於業務人員的資料分析時代來臨
隨著資料應用的深化,企業資料分析場景正在發生三個“轉變”:1、平民化:資料分析平臺的服務物件從傳統財務人員及管理人員向一線業務人員轉變;2、場景化:資料分析平臺的應用場景也從財務及業績呈現向具體業務分析轉變;3、智慧化:企業對資料分析平臺的功能需求從傳固定式的呈現形式向智慧、個性、靈活自助的形式轉變。這對資料分析平臺的定位和功能提出了挑戰。
資料分析平臺也在與時俱進,可以看到,市場中已經快速出現多種應對方案。如部分技術廠商透過融合NLP、機器學習、低程式碼等技術使資料分析平臺具備滿足智慧化、自助化的特點,使產品具備通用性;部分廠商在原本針對垂直業務場景的體系化產品中增加資料分析功能,為企業實現業務小閉環。企業可靈活根據自身業務需求選擇相應資料分析平臺產品及服務。
資料智慧行業應用從監測、診斷性分析走向智慧決策
傳統的大資料和人工智慧技術建模和分析只能識別現狀和問題,企業若想進行業務決策仍需大量人工介入,嚴重依賴專家經驗,影響決策速度,不能適應快速變化的市場環境。企業希望透過人工智慧技術實現根因分析、資料關係挖掘和決策支援,從而提高決策速度。
智慧決策技術持續迭代更新,融合大資料以及機器學習、深度學習、強化學習、運籌最佳化、知識圖譜等人工智慧技術,能夠深度挖掘資料價值,構建資料知識網路,持續最佳化模型精準度,快速輸出優質的決策方案,支援企業各部門實現高效決策。
目錄
1. 綜述:多種因素推動,資料智慧全鏈路升級
2. 湖倉一體強化全域資料管理效能
3. 從管理到運營,DataOps釋放資料中臺價值
4. 實時資料平臺支撐爆發中的高時效場景
5. 政策合規要求推動隱私計算平臺快速滲透
6. 屬於業務端的資料分析時代來臨
7. 資料智慧行業應用從監測、診斷性分析走向智慧決策
8. 展望
1. 綜述:多種因素推動,資料智慧全鏈路升級
資料智慧是指以資料為生產要素,透過融合大規模資料處理、資料分析與挖掘、機器學習、視覺化等多種大資料和人工智慧技術,從資料中提煉、發掘具有揭示性和可操作性的資訊,從而為企業提供資料驅動的分析與決策。
當前,資料智慧已經成為企業實現數字化轉型的核心方式。一方面,在實現初步數字化的基礎上,企業希望把資料分析擴充套件到更多的應用場景,以在業務發展與運營中實現降本增效,或構建創新性的業務模式;另一方面,資料規模的持續膨脹,與分析場景的更加多樣化,也對資料儲存、處理和分析等方面的能力提出了更高的要求,因此企業需要對資料基礎設施進行持續的升級與最佳化。
本次報告將資料智慧市場劃分為應用解決方案和資料基礎設施兩大部分,其中應用解決方案是指透過資料智慧解決方案在垂直行業或通用職能領域直接賦能業務價值提升的最佳實踐;資料基礎設施指利用雲端計算、人工智慧、隱私計算等新興資訊科技構建的為企業賦能的平臺類解決方案,主要包括資料的採集、儲存、計算、管理等內容,進而為上層應用提供資料服務。
圖 1: 資料智慧市場全景地圖
隨著數字化轉型進入深水區,各行各業中的資料形態和應用端需求正在發生變化,傳統的以結構化資料為主的管理和分析已經遠遠不能滿足當前市場中企業對於資料的需求,對於多源異構資料的管理和更加智慧化的資料應用是每一個企業在數字化時代必須構建的能力。
與此同時,政策對於資料安全和隱私安全的合規要求也越來越嚴,未來更加業務友好、更加智慧化、更具價效比且滿足合規要求的資料智慧解決方案將成為資料智慧市場發展的主流趨勢。
圖 2: 資料智慧應用趨勢
2. 湖倉一體強化全域資料管理效能
2.1 資料儲存異構阻礙資料高效流通
隨著資料型別的豐富、資料體量的快速擴張,以及企業希望利用人工智慧、機器學習解決趨勢預測、探索分析的需求增長,資料湖與資料倉儲同時部署成為企業的普遍選擇,同時也帶來資料架構複雜、資料流通效率低的問題。
圖 3: 資料倉儲、資料湖共存帶來的挑戰
資料架構複雜:企業普遍有資料倉儲、資料湖以及其他多種型別的專業資料倉儲如時間序列、圖形和影像資料庫等,導致企業資料架構複雜,為技術人員運維帶來巨大困難。
- 資料流通低效:資料倉儲、資料湖兩種資料架構在叢集層面割裂導致資料不能自由流通。如機器學習中資料來源於資料倉儲或資料湖,難以跨架構進行資料融合分析,增加了資料流通和計算開發成本。
- 資料冗餘,儲存成本高:資料倉儲、資料湖的同時存在也會造成資料冗餘,且隨著資料量增長,儲存成本將持續攀升,超大規模體量資料的計算效能也將持續下降。
企業尋求一種資料架構,可以兼具資料倉儲成長性和資料湖靈活性的同時,提供一套共同的資料標準,提高資料流動靈活性,提升資料效能。針對此需求,湖倉一體應運而生,是繼資料倉儲、資料湖之後資料架構的最新解決方案。
2.2 湖倉一體引領資料架構迭代更新
圖 4: 湖倉一體架構示意圖
湖倉一體在技術架構、功能和效能層面主要具備以下主要特徵:
透過後設資料層在資料湖上實現資料管理功能。智慧湖倉使用標準檔案格式(如Parquet)將資料儲存在物件儲存中,並在物件儲存上構建後設資料層,從而在後設資料層實現諸如ACID事務處理、版本控制等資料管理功能,使得多種計算引擎可以共享統一的資料儲存。同時,透過對快取、輔助資料結構(如索引、統計資訊)和資料佈局進行最佳化,智慧湖倉也具備了良好的SQL效能。
流批一體,簡化系統架構。智慧湖倉可以實現批處理與流處理的統一,透過CDC(Change Data Capture)將業務系統資料實時抽取到資料湖,實時加工後傳輸至OLAP系統中對外服務,實現端到端過程的分鐘級時延。與此同時,系統架構得到簡化,大幅降低了系統維護以及資料開發工作的難度。
雲原生、存算分離。基於雲原生架構,智慧湖倉儲存和計算資源得到有效分離,企業可以基於需求靈活地對儲存和計算資源進行分別擴充套件,且擴充套件需求幾乎沒有限制,從而實現對大規模資料查詢與分析的高效能,並顯著降低TCO(Total Cost of Ownership)。
案例1:某跨國零售集團建設統一資料底座,全面提升資料管理運營效率 某海外跨國綜合零售及服務集團為世界500強企業,主營商業零售、地產、金融、健康、遊戲娛樂5大主要業態,旗下包含數百家成員公司,在日本、中國、東南亞等地區具有廣泛影響力。 舊架構難服務新零售,資料開發管理應用全流程能力需提升 近年來,“新零售”的崛起為零售行業持續帶來巨大變革,該零售集團也希望藉助其商超和供應鏈優勢開闢線上——線下到家業務,並透過逐步構建完善的線上零售體系,實現傳統零售業務的全面轉型。 經過多年數字化建設,該集團陸續在本地和雲上建成多個資料倉儲,並面向整個集團建立了統一的CDP平臺,沉澱了豐富的資料資源。然而線上業務的開展引發了資料量激增,底層資料架構混亂、端到端資料運營分析能力落後的問題暴露無疑。具體而言: 1. 煙囪式建設,資料資產不統一。該集團資料存、算基礎設施均是以需求為導向進行階段性單點建設而成,建立在離線、微軟雲、亞馬遜雲之上的結構化、非結構化資料儲存及資料排程、實時計算工具等縱橫交織,底層技術棧混亂,這直接導致了集團資料標準、資料口徑不統一,資料開發格式和資料開發工具相互獨立,難以形成統一資料資產。 2. 業務穩定性、即時性不達標。該集團資料倉儲層次結構不清晰,資料域、主題設計不合理,導致資料重複開發和計算問題嚴重,資料分析低效且耗費大量資源。在資料分析需求激增的情況下,原有云資源算力和儲存都達到瓶頸,一項資料分析需求的響應往往需要2-3天,大大影響了任務穩定性和即時性,無法滿足業務需求。 3. 資料全流程運營管理方法不健全,服務能力差。該集團分別採購海外供應商抽取、整合、排程、監控、服務等資料開發管理工具,但這些工具之間彼此割裂,不僅導致資料全流程運營效率低,透過程式碼開發出的資料能力無法複用,影響對外開放賦能,同時導致資料分析師、資料科學家、業務人員、管理人員等不同角色 之間無法有效協作。 該集團經內部評估規劃,決定面向整個集團當下及未來5-10年數字化轉型需要,統一資料存、算基礎設施,並透過全方位資料治理統一全域資料資產,健全資料開發、管理、運營全流程體系,從而支援智慧化應用,統一開放賦能,並最終將整套成功經驗推廣複製到該集團的全球市場。 透過長時間細緻地對眾多國內外優秀廠商及其客戶進行實地調研和技術驗證,以及對各廠商產品的開放式體驗,該集團發現,國外廠商工具能力較強,但不同資料開發管理工具彼此獨立,無法形成有機串聯,導致資料工具和資料治理體系“兩張皮”,無法實現該集團構建統一資料資產管理運營體系的需求。而科傑科技在工具能力與國外廠商旗鼓相當的基礎上,將資料資產管理運營全流程的方法論和最佳實踐融入資料工具設計中,使客戶能夠使用科傑科技全套產品構建統一、可持續的企業級資料資產運營管理體系。因此該集團最終選擇科傑科技作為合作伙伴。 北京科傑科技有限公司(簡稱“科傑科技”)是領先的資料能力構建商,核心技術團隊擁有豐富的頭部網際網路企業大資料平臺建設和運營經驗,針對多業態、多場景的大型複雜組織的資料底座建設運營,沉澱出了一套成熟的實施方法論。現已服務能源、汽車、零售、製造等多個行業頭部企業。 建設湖倉一體資料底座,統一資料儲存和管理,支援對上開放賦能 該集團在科傑科技的幫助下,梳理現有資料能力,規劃設計了滿足未來5-10年的資料能力建設藍圖,以科傑雲原生資料底座,統一納管底層資料基礎設施,建立資料標準規範和管理體系統一全域資料資產,並最終實現對組織統一開放賦能。 1. 搭建湖倉一體資料底座,實現資源統一納管。 該集團利用雲原生湖倉一體資料底座良好的相容適配性,實現跨雲資料整合,統一集團主資料、後設資料,同時支援多租戶。雲原生架構帶來的資源彈性擴縮容能力使該集團能夠便捷、靈活為二級單位進行資源調配,滿足其個性化的資源使用需求,同時其良好的擴充套件性也能夠支援集團未來數年的數字化發展。 2. 統一全域資料資產,構建資料資產管理體系。 首先,該集團在科傑科技幫助下進行了資料治理工作,完整重構資料倉儲體系,設計核心資料指標模型,制定資料標準,規範資料質量,構建起全域統一的資料資產。 其次,透過一系列工具平臺落實資料資產管理框架、標準、制度和流程,形成資料資產管理體系。建立統一的資料開發管理平臺,與統一系統認證系統整合,集離線、實時開發能力於一體,實現全域資料的接入、加工及任務維護和管理;建立資料資產目錄,對資料指標、標籤進行分類管理,形成資料地圖和血緣關係圖譜,面向業務構建商品、店鋪、交易、利潤、會員、營銷等主題,方便資料查詢呼叫。 3. 開展資料資產服務化運營,實現統一開放賦能。 搭建資料服務平臺,提供資料API、標籤服務、實時服務、報表服務和大屏服務。如對於面向使用者畫像、個性化推薦等智慧應用的特徵指標,能夠透過指標平臺,以及API釋出資料服務方式,直接提供給業務人員使用。同時,平臺將資料管理體系進一步貫穿組織架構和業務主題,面向不同角色和不同業務場景,進行資料能力的整合,支撐團隊協同開發,實現資料資產的共享交換。 融入DataOps理念,透過平臺多個資料開發管理工具的有機串聯,實現資料開發運維一體化。資料科學平臺支援托拉拽的方式編排演算法元件,輔以對資料應用模型演算法構建方式和流程的指導,大大縮短資料分析模型開發上線的速度,同時支援複用,演算法和業務過程快速互動形成閉環,最佳化結果能快速傳遞到業務端,實現資料反哺業務。 圖 5: 湖倉一體資料智慧平臺
打造統一開放的資料協作體系,持續穩定賦能業務發展和創新 透過集團統一大資料底座建設,該零售集團全方位完善了從底層基礎設施到上層資料應用能力,具體而言: 1. 資源統一納管,高效穩定支撐上層業務開展。透過基礎設施統一納管和靈活的資源排程,減少系統風險,提升上層業務穩定性,同時降低了總體擁有成本。 2. 統一資料資產體系,為企業資料資產持續開放共享打好基礎:打通消費者在WEB、APP、小程式、門店系統的資料,以及各業務系統會員、門店、電商、供應鏈、財務等全域資料,進行全鏈路資料血緣關係資料資產沉澱,並形成公司內統一的資料門戶,提升企業資料資產的使用效率。 3. 資料資產服務化運營,實現組織規模化資料協作。資料研發人員透過資料中臺實現大規模專案跨團隊協同開發的能力,極大地提高了研發人員工作效率;業務和運營人員在平臺內實現資料需求線上提報並自動流轉,並透過高度視覺化的功能實現業務資料自助分析和分發,極大地提升了資料在企業內流轉和使用的效率,完成由傳統的被動資料研發模式到基於統一資料資產之上進行高度複用的開發模式升級轉變。 |
3. 從管理到運營,DataOps釋放資料中臺價值
資料中臺的意義在於連線資料底層與資料應用,提供一個企業級的資料能力共享和複用的平臺。近來大火的DataOps方法論,其目標是提高資料分析質量、實現資料應用敏捷開發,DataOps將成為提升資料中臺能力的重要途徑。
3.1 資料應用多元化導致資料應用開發效率低
隨著企業風險控制、精準營銷等資料應用場景越來越豐富,背後需要關聯分析、歸因分析、預測分析多元化資料分析能力支撐。這意味著企業從依靠BI報表,被動式分析、集中式展現為主的傳統資料分析階段,正在進入去中心化、主動分析、智慧分析為特徵的資料分析新階段。資料應用的多元化同樣帶來資料質量、資料應用交付以及資料使用者協同等方面的挑戰和困難。
- 資料質量難保證
業務影響:資料來源的業務系統不規範更新表結構;資料口徑不一致;資料填報不規範等
技術影響:ETL過程中欄位變更導致資料加工出錯;系統服務異常導致排程任務執行失敗;資料儲存架構調整如上雲引發資料來源的超預期改變;
- 資料使用者型別複雜,資料應用交付緩慢
企業中的資料使用者型別複雜,如IT部門的系統工程師和資料庫管理員,BI團隊中的資料工程師、資料管理員和報表開發人員,以及資料分析師、資料科學家以及業務部門的資料消費者等,協調所有資料使用者及各自的工具耗費大量人力物力。這也導致原本從業務提出資料需求,實現資料建模、資料開發到資料應用的線性流程協作變得更加困難,交付週期長,效率低下。
資料應用問題可能出現在資料採集、儲存、計算、融合、建模、開發、運維等多個環節。為滿足多元化的資料應用需求,企業需要以資料為主角,統籌資料全鏈路,協調資料相關多角色,以持續快速交付為目標打通資料流。
3.2 DataOps方法論實現資料應用高質量、持續交付
DataOps是人、流程和技術的高效組合,用來管理程式碼,工具,基礎架構和資料本身,從而實現資料領域應用的敏捷開發和持續整合應用,最佳化和改進資料管理者(生產者)和資料消費者的協作,持續交付資料流生產線。DataOps能力構建包含資料工程、資料融合、資料安全和隱私、資料質量四個方面。而一個成熟的DataOps體系應具有持續性、敏捷性、全面性、可信性、自動性等五個特徵。
圖 6: DataOps能力構建
圖 7: 成熟的DataOps特徵
目前,DataOps實踐尚不成熟,如何將DataOps方法論融入資料中臺、充分發揮效能,仍待持續探索。
案例2:九州通建設資料中臺打通資料壁壘、挖潛資料價值 九州通醫藥集團股份有限公司(以下簡稱“九州通”)為科技驅動型的全鏈醫藥產業綜合服務商,立足於醫藥流通、物流服務及醫療健康等大健康行業,主營業務包括數字化醫藥分銷與供應鏈服務、總代品牌推廣服務、醫藥工業及貼牌業務、數字零售、智慧物流與供應鏈解決方案、醫療健康與技術增值服務六大方面。九州通連續多年位列中國醫藥商業企業第四位,領跑中國民營醫藥商業企業。 IT架構複雜、資料分散阻礙資料跨平臺共享協作,資料價值難展現 早在2015年,九州通集團就開啟了數字化轉型之路。隨著集團規模持續擴大,市場競爭愈加激烈,九州通迫切需要發揮資料價值支援經營分析、經營決策以及服務上下游客戶。但在資料應用過程中,九州面臨IT架構和資料層面的痛點。 資料孤島嚴重。一方面,九州通集團業務線複雜,包含中西成藥、中藥、醫療器械、零售等多業態,各業態又分為集團、地市、區域三級結構。九州通以業務為主導,各業態、各層級分別依據各自需求建設資料平臺,造成資料平臺架構各異,資料共享協作效率慢。另一方面,同一公司內不同業務單元也會引入不同業務系統,系統之間難打通,造成資料分散。因此,九州通雖儲存有海量資料,但資料難流動難使用,資料價值難實現。 資料標準體系不完善,資料質量差。目前九州通未對資料進行分層管理、未建立完善的指標體系且缺乏藥品標籤;同時資料存在不及時、不準確、不完整、關聯性差等質量問題,造成資料難使用,不能有效支援經營分析應用。 資料模型複用度低,不足以支援業務應用需求。目前九州通單個資料平臺內的資料模型僅支援對應系統應用,複用度低,導致應用重複開發,浪費資源。同時資料應用在下鑽深度、關聯廣度、資料呈現豐富度等方面都不足以支援經營分析需要,資料模型有待完善。 建設資料中臺,盤活資料資產,數字化提質增效 數字化轉型大背景下,九州通迫切需要盤活資料資產、發掘資料價值,推動降本增效、營銷創新。九州通曾先後嘗試自建Oracle數倉以及Hadoop數倉來統一儲存集團資料,雖然投入大量資源,但效果有限。為打通集團各業態各層級資料平臺,為業務賦能,九州通決定透過招標建設集團資料中臺。透過綜合考慮技術整合能力、資料開發工具便捷性以及廠商最佳實踐經驗等因素,最終九州通決定與網易數帆合作。 網易數帆是網易集團旗下To B數字化轉型技術與服務提供商,為客戶提供國產軟體基礎平臺產品及相應技術服務,業務覆蓋雲原生基礎軟體、資料智慧全鏈路產品、人工智慧演算法應用、低程式碼應用開發平臺四大領域,致力於幫助客戶搭建無繫結、高相容、自主可控的創新基礎平臺架構,快速應對新一代資訊科技下實現數字化轉型的需求。目前已服務金融、零售、製造、能源、通訊等各領域頭部客戶三百餘家。 在網易數帆協助下,九州通曆時8個月完成了資料中臺規劃以及資料中臺初始化部署,包含建設資料倉儲、實現資料開發及運維以及資料治理。 圖 8: 九州通資料中臺架構示意圖
1)建設統一的資料倉儲平臺,打通集團跨平臺資料,提升資料利用率 建立資料倉儲及分層模型:資料倉儲分為資料運營層(ODS)、明細資料層(DWD)、彙總資料層(DWS)、應用層(ADS)共四層。將不同型別資料根據資料模型需要進行分層存放,避免不同業務部門因對資料利用方式不同,而需要對模型進行重複開發,提升資料利用率。 資料彙集:藉助網易數帆豐富的Hadoop大資料平臺元件,九州通將多種架構資料平臺的資料整合到數倉平臺的資料運營層(ODS),並對資料進行清洗、匯聚、加工和計算。 資料建模:在網易數帆的諮詢規劃協助下,九州通在不同數倉層建模,其中在明細資料層(DWD)拉通商品、客戶、人員、供應商、崗位及組織架構維度資料,搭建主資料公共域模型;在彙總資料層(DWS)建立採購、銷售、供應鏈、營銷、財務等主題模型;在應用層(ADS)建立各業務報表需要的業務資料模型。 2)實現資料便捷開發和運維,提升工作效率 利用網易數帆提供的一套便捷視覺化資料開發工具,九州通資料研發團隊可快速實現離線開發、實時開發、許可權管理、資源管理等功能。透過資料運維平臺實現任務的監控和報警推送,預估任務例項的產出時間、展示例項對下游報表影響範圍,實現任務高效運維。 3)對多源資料進行統一治理,降低工作量和資源成本 九州通建設數倉平臺匯聚各業態各層級的多源資料,包括不限於各中西成藥、中藥、醫療器械、零售等業態版塊中,集團、區域以及子公司各級的採購、庫存、人力、營銷等系統資料。之後透過資料治理平臺對多源資料進行統一治理,包括建設資料地圖使業務人員能在海量資料中快速找到所需資料,透過資料血緣關係展示表的上下游表動態追溯、表的下游任務等;搭建資料指標體系實現跨部門指標定義統一和指標定義管理;建立資料質量管理體系,業務人員可預設多場景下的質量監控規則,並設定郵箱、電話等多種告知形式;建立資料資產管理體系,評估資料資產的成本、價值、質量,最佳化儲存成本,節約計算資源,實現精細化的資料生命週期管理等。 資料中臺賦能業務應用,經營效率再提升 透過資料中臺,九州通實現集團複雜組織架構下跨業態、跨層級、跨系統的資料打通,成功消除資料孤島;並透過統一的資料架構、模型開發、資料治理等功能盤活資料資產,建立通暢、標準化的資料鏈路,持續為前臺業務應用和分析提供資料服務,推動營銷創新、提升經營效率。 消除資料孤島,實現資料共享共通。九州通透過資料中臺對旗下各業態各層級資料進行匯聚,由資料中臺提供統一資料出口,實現全集團跨平臺資料分享呼叫。 搭建統一的資料指標體系,實現資料科學管理和快速響應。本次專案共建設8個主題域,落地213個業務指標,全部指標統一口徑、統一管理,能有效避免因指標定義模糊和邏輯混亂而導致的資料質量問題,大大減少無效、重複工作,同時能快速提高資料響應速度,如採購分析體系中,所有采購分析資料需求,均實現秒級響應,平均5秒出結果。 健全客戶標籤體系,支撐精準客戶洞察。本次專案開發客戶標籤共計6大分類,共100+個標籤,覆蓋基本資訊、行為屬性、交易屬性、企業信用及風險資訊等,組成標籤工廠,對資料進行更精細的分類管理,支撐精準營銷決策和風險控制。 利用資料中臺靈活快速開發業務應用,實現降本增效。如透過資料中臺開發供應商畫像,綜合資金週轉、供貨預期、付款週期、銷售情況等資訊,為供應商付款審批提供資料支撐;針對業務員開發業務員畫像,跟進業務員成單率、拜訪計劃、拜訪效果等實現精準考核等;針對藥店拜訪開發藥店畫像,提高業務員拜訪成功率等。 深挖資料價值,從資料支撐到資料賦能。相較於傳統數倉,大資料平臺提供了更強的算力支撐,在透過中臺整合了各系統資料資源,利用專案完成資料的集中化標準治理的基礎上,九州通深挖資料價值,嘗試透過AI演算法模型在業務前側,包括採購體系、銷售體系、獲客體系等方面實現數智化。例如:零售門店的銷售預測、活動商品的精準營銷、採購智慧AI補貨、中藥生產供應鏈最佳化等。 廠商資料整合和諮詢能力是傳統企業搭建資料中臺關鍵 回顧本專案實施全過程,廠商的選型對九州通資料中臺建設以及成功應用具有關鍵影響。對於有同類資料中臺建設的企業,在選擇資料中臺廠商時可借鑑以下兩點經驗。 針對具有複雜組織架構的傳統企業,應選擇具有深厚底層數倉開發以及資料整合能力的廠商。對於複雜架構的集團型企業,在數字化程式中,各子公司及各業務常根據業務需要分別建設數倉,造成數倉架構不統一。因此廠商需要具備紮實的元件開發以及資料整合能力,以靈活適配多種資料庫環境,實現多源資料高效、穩定整合。 針對技術團隊開發能力較弱的傳統企業,應選擇具有諮詢能力的廠商。尤其對於雖有技術團隊,但尚未成功建立數倉平臺,且資料應用意識較弱的企業,應選擇具有諮詢能力的廠商,在廠商協助下開展梳理業務、制定指標體系、搭建資料模型、管理資料許可權、開發資料應用等活動,快速建立起資料中臺,並最終透過廠商知識轉移,快速提升企業資料中臺使用能力和資料建模能力,挖潛資料價值。
|
案例3:某高速行業資訊化公司建設資料中臺,打造高效智慧高速系統 十四五以來,隨著我國開啟全面建設社會主義現代化新徵程、轉向高質量發展階段,公路交通也進入高質量發展新階段,發展重心由原來的交通運輸網路建設轉向交通運輸供給有效性和適配性、以及出行服務品質等。發展數字交通,尤其以5G、物聯網、大資料、雲端計算、人工智慧技術為代表的新基建與交通運輸深度融合,成為深化交通供給側改革、提升運輸服務效能、促進綜合交通高質量發展的重要推動力。 高速行業資料缺乏融通和應用,相關高速單位提升運營效率存在困難 近年來,隨著資訊化的發展,高速領域的相關單位已具備多個資訊化系統,如影片監控系統、交通流管控系統、收費站管控系統、應急指揮系統等,但由於資訊系統相互獨立,在高速運營中仍會面臨以下資料問題: 資料孤島:高速資料來源於導航系統、ETC、龍門架、路網路卡口、攝像頭、毫米波雷達、車載終端等形色各樣的系統和終端裝置,資料型別複雜,且分屬於高速公路建設、管理、養護以及運營等四個階段,導致不同系統的資料無法互通互聯形成資料孤島。 資料質量不穩定:由於高速資料的採集來源於不同的感知裝置,存在資料不穩定、資料空包、丟漏資料的現狀。原有系統缺乏資料質量管理體系,導致採集的資料中存在大量缺失資訊或無效資料。 缺乏資料標準:當前高速公路業務資料尚未形成國家或是行業標準規範,尤其不同地域、不同供應商產品的資料格式、模型、表結構千差萬別,導致上級單位在進行資料收集彙總時需花費大量人力物力。 難以有效支援多元應用:高速領域包含多元的服務應用及物件,諸如影片監控、交通流管控、收費站管控、應急指揮、綠通查驗等服務,現有資料系統存在資料難呼叫、難使用的問題,不能支援業務應用體驗升級需求。 為了更好地賦能各地域的高速公司,提升各地高速交通的運營效率,某高速行業資訊化公司基於高速行業的發展現狀和系統基礎,提出建設資料中臺解決上述問題。透過多方考察,該公司綜合考慮行業經驗、產品功能、產品體驗以及公司規模等因素,最終決定與國內專業的資料智慧服務商每日互動股份有限公司(以下簡稱“每日互動”)合作建設資料中臺。 每日互動成立於2010年,是專業的資料智慧服務商,為企業客戶及政府單位提供豐富的資料智慧產品,便捷、穩定的技術服務與智慧運營解決方案,服務行業涉及網際網路運營、使用者增長、品牌營銷、金融風控等領域客戶以及政府部門。同時,基於強大的資料積累能力和豐富的資料治理經驗,每日互動構建了資料中臺——“每日治數平臺”,將資料探勘、萃取和治理能力向各行各業輸出,用資料智慧幫助客戶解決其實際業務中所遇到的痛點難題。 建設資料中臺,實現智慧高速 每日互動在城市大腦、智慧交通、應急管理等公共服務領域具有豐富實踐,積累了對人、車、道路、時間、空間等多要素資料進行關聯計算和分析洞察的能力。依託於“每日治數平臺”一站式數倉搭建、視覺化資料資產管理、零程式碼模型構建、低程式碼機器學習等特色功能,每日互動和該高速行業資訊化公司共同建設資料中臺,包括構建資料標準、管理資料資產以及制定資料質量管理體系等,實現了資料資源的統一整合和資料治理,主要運用於支援高速公路的高效運營和高質服務。 圖 9: 相關高速單位資料中臺架構圖
資料接入和整合:依託於每日互動的技術支援,某高速行業資訊化公司可將相關高速單位的多個自有資訊平臺如高速管控平臺、裝置維修管理平臺、隧道管控平臺的異構資料,以及可靠第三方資料統一接入資料中臺。 構建資料標準,建立統一的資料倉儲模型:每日互動與該公司組織的多個業務專家一起深入高速業務一線,理清當前資料現狀以及資料使用過程中的痛點,根據資料來源不同,建立相應的業務主題庫,構建起一套完整的資料標準體系,形成統一、整合的資料倉儲模型。 資料資產管理和視覺化:基於每日互動提供的資料勘探、資料血緣、後設資料採集、建表/分割槽管理等工具,該公司可進一步幫助相關高速單位完善資料資產;並且對資料資產進行視覺化呈現,如資料資產目錄層級結構展示,相關單位可便捷地從不同視角檢索和管理資料資產。 制定資料質量管理體系:基於資料標準,制定資料質量校驗規則,實時對資料質量進行智慧監測和預警;結合AI演算法,定期對資料質量進行稽核,如系統根據資料缺失情形,參考歷史資料進行補充或是對嚴重缺損資料進行剔除,保證高速資料可用、可信。此外,透過資料血緣功能可定期對資料流轉過程進行追溯和梳理,實現資料全生命週期的智慧管理。 資料應用:多源異構資料經資料中臺清洗、融合治理後形成共享資料,透過API以服務目錄的形式供各部門呼叫,消除應用部門對資料質量、資料來源的擔憂,專注提升應用體驗。 資料中臺有效提升高速執行效率和服務品質 在本專案資料中臺建設過程中,每日互動梳理建立起一套完善的高速資料標準體系,運用於高速行業多個場景的效率提升,相關單位的高速交通應急處置效率、執行效率和服務品質等多個方面均有顯著提升,具體表現如下。 打通資料孤島,實現資料高效高質共享:透過資料中臺,某高速行業資訊化公司將相關高速單位系統內多個渠道資料進行整合、清洗、融合治理,形成高質量資料,賦能各業務部門。 實時視覺化,提升應急處置效率:依據每日互動資料中臺的影像智慧和視覺化等功能,該公司實現了對高速交通全域性態勢的實時感知以及對區域性路段路況的實時查詢、分析,並透過大屏監控車禍、擁堵、拋錨等突發狀況,能對突發狀況實現快速定位和救援。該公司將此視覺化功能應用到道路救援時,救援時間縮短了60%至80%,救援效率得到大幅提升。 資料融合,促進路網通暢:透過對ETC、服務區卡口、高速路網等資料融合,業務人員對停靠超時的車輛進行精準引導,緩解夜間服務區的大流量痛點,提高服務區的服務質量。 AI演算法預判,提升通行效率:針對高速匝道等事故多發以及易擁堵路段,業務人員可基於每日互動資料中臺AI演算法進行提前預判和事前預警,為相關高速單位進行道路擁堵疏導提供科學依據和有效支撐,也為民眾合理規劃錯峰出行路徑提供引導,促進路網流量合理分佈,提升高速通行效率。 資料中臺廠商綜合資料能力為資料中臺建設、資料中臺應用良好體驗提供堅實保障 回顧資料中臺建設前期、建設中期以及建設後期應用的全過程,資料中臺能成功發揮效用、提升高速交通運營能力有兩點關鍵因素。 1)選擇優質廠商事半功倍:某高速行業資訊化公司在進行資料中臺廠商選型時,應考慮廠商在特定行業已積累豐富案例,形成完善資料治理方法論,其中行業不限於高速行業。該廠商應具備資料資產管理、資料分析、資料視覺化、資料標籤等資料治理專業能力以及豐富的資料治理輸出經驗,具備成熟的久經市場驗證的資料產品引擎與提效工具,能將以往行業經驗遷移到高速行業中,服務高速行業。在本專案中基於“每日治數平臺”豐富的行業客戶和相關政府單位解決數字化轉型難題經驗,每日互動已經沉澱出可複用的資料能力、業務能力、效率工具等,因此能快速為該公司建設資料中臺,服務於高速公路建設、管理、養護、運營四個階段。此外,廠商還應具有演算法建模、機器學習、影像智慧等綜合資料能力,在實現資料整合、資料治理等基本功能基礎上,能為資料在多元場景應用提供支援。在本專案中,每日互動的資料中臺產品“每日治數平臺”具備多元完善的AI演算法、影像智慧等技術,操作便捷、輕量、易上手,可實現路況實時查詢分析並視覺化呈現、對路況預判提升通行效率等功能,為客戶的數智化創新賦能提效。 2)建設執行團隊落地生花:除廠商選型外,為使資料中臺真正落地、發揮最大效用,某高速行業資訊化公司在明確資料中臺規劃、踐行資料中臺建設的過程中,還需搭建崗位配置齊全的團隊,包括但不限於中臺建設、中臺運維、資料產品經理、資料資產管理、資料運營等崗位來支援中臺建設及運維,實現跨組織協同,實現資料驅動。
|
4. 實時資料平臺支撐爆發中的高時效場景
4.1 實時資料應用場景爆發
隨著物聯網和大資料技術的深入發展,企業透過物聯網裝置或線上系統可以收集到大量的實時資料。與此同時,實時資料的應用場景也被迅速挖掘,如精準營銷、風控管理、工業製造等場景中,對實時資料的分析處理、應用將有效為企業避免損失、提升效益,企業對於實時資料從產生、收集、處理、儲存到產出分析結果的全鏈路時延需求已經從過去的T+1天發展到到小時級、分鐘級甚至秒級,實時資料平臺也因此獲得極大關注。
但是傳統的數倉或資料平臺難以支援海量實時資料處理和分析的需求,企業急需針對實時資料的收集、管理和分析技術以及基礎設施進行最佳化升級,可以將實時資料端到端地管理起來,並將實時資料轉化為能夠幫助業務提升的工具,利用實時資料提升業務價值。
4.2 構建端到端的實時資料解決方案
要支撐實時資料應用的需求,需要一套從匯入(採集和同步)、儲存、處理到查詢實時資料的端到端解決方案。
圖 10: 端到端的實時資料解決方案
可以採集多種型別資料:實時資料來源眾多,包括線上資料(訂單、交易等)、IoT裝置資料和日誌資料等,實際業務場景中的實時資料型別也包括結構化資料、影片、音訊、文字等,因此實時資料採集需要支援多源異構資料的處理需求,同時由於不同的業務場景中的資料協議不一致,實時資料平臺還需要包含豐富的通訊協議介面。
高可用、低成本的資料同步方案:實時資料同步過程主要是針對流式資料的處理,在可用性方面,資料同步解決方案需要保證企業級應用的場景下海量實時資料同步的完整性和高可用;在運維方面,資料同步解決方案要具備監控預警和自動運維等配置化的運維方案,降低開發和管理成本。
統一的資料儲存和查詢:由於一般實時資料平臺多采用離線數倉和實時數倉同步執行的方式會導致開發成本翻倍、資料管理體系複雜等問題,使用以資料湖為基礎的流批一體的方式來替代原有的離線數倉和實時數倉,可以解決傳統架構中的存在的問題。透過流批一體的方式可以將流計算和批計算的儲存都統一到資料湖中,使得資料血緣關係、資料質量管理、後設資料都可以統一在相同的資料管理體系下,系統程式碼也可以統一進行開發和維護。在資料查詢方面,因為同樣採取分層架構和資料湖可以支援OLAP查詢引擎,依然可以在不同的中間層支援OLAP的實時查詢。
金融作為數字化程度最高的行業之一,其在實時資料平臺方面的探索和需求相較於其他行業更為領先,金融機構由於傳統的批處理資料量大,基礎實施架構複雜且業務場景眾多,在實時資料平臺的建設方面最好基於原有的批處理基礎上進行批處理的升級和流處理的新建,優先選取重點業務場景進行實時資料處理和分析的試點,獲得成功經驗再逐步推廣到全機構中執行。
案例4: 某股份制銀行搭建實時應用支撐平臺,透過實時資料賦能業務價值提升 隨著金融數字化時代的來臨,金融業務正在發生深刻的變化。國內某股份制銀行結合市場趨勢變化和自身情況,將大資料技術作為企業數字化戰略目標的基礎。該銀行目前處於業務發展的新階段,資產規模持續擴大,經營實力不斷增強,同時積極推進金融創新,而新業務模式的創新離不開資料的支援,也對核心資料能力提出了新要求。 傳統的資料處理時效性和靈活性無法滿足業務發展需求 在傳統的批處理方式下,透過T+1的全量或增量資料更新和處理可以滿足銀行內各部門對於經營情況和內部管理等資料分析的需求,但是隨著精準營銷、風險監控和內控管理等場景對於資料時效性的要求越來越高,銀行內現有的批次式、準實時式資料處理效率無法滿足所有的業務場景,未來需要實現對交易、日誌等流式資料的毫秒級實時採集、處理和計算能力。 數字經濟時代下,銀行需要收集和管理的資料量也將持續高速增長,現有的資料基礎設施從效能和處理方式層面都難以滿足PB級海量、混合資料的儲存、整合、加工以及完成實時流式新增場景接入的要求,需針對現有的資料基礎設施進行維護和升級。 在業務支撐方面,當前的資料交付方式複雜且低效,無法滿足快速變化的業務需求,需要提升快速、自主、迭代式平臺的交付能力。 該股份制銀行綜合考慮自身業務情況和當前技術能力,提出了搭建實時應用支撐平臺來滿足海量資料的實時處理和分析,對於實時應用支撐平臺具體的需求如下: 1.流處理接入和批處理升級
2.系統元件最佳化升級
3.叢集擴容升級
為滿足上述需求,該股份制銀行在實時應用支撐平臺搭建中,綜合技術能力、產品成熟度和過往經驗等多種考慮因素,最終選擇與九章雲極DataCanvas展開合作。 九章雲極DataCanvas成立於2013年,是一家資料智慧基礎軟體供應商,專注於自動化資料科學平臺的持續開發與建設,提供自動化機器學習分析和實時計算能力,為政府及企業智慧化升級和轉型提供全面配套服務。 透過開源產品搭建實時應用支撐平臺,利用低程式碼環境提升資料開發效率 在專案中,該銀行的IT團隊與九章雲極DataCanvas共同合作,對全行的實時業務場景做了全面梳理,作為構建實時應用支撐平臺的基礎。在落地層面,藉助九章雲極DataCanvas成熟的企業分散式流資料實時處理,分析和決策產品(以下簡稱“DataCanvas RT實時決策中心“),依託主流網際網路大資料生態圈,引入開源社群軟體框架,採取自主和合作研發相結合,完成某銀行實時應用支撐平臺的搭建和基礎資料的準備,以此開展各業務應用工作。 圖 11: 某股份制銀行全行級實時應用支撐平臺架構圖
實時應用支撐平臺透過對批次資料和實時資料的處理、計算、分析,尤其是透過機器學習模型對實時資料進行分析獲取業務洞察,進而為下游的業務系統提供多樣化的資料服務。在實時資料應用支撐叢集中,九章雲極運用DataCanvas RT實時決策中心為該銀行提供實時指標引擎、模型引擎、資料資產管理、資料作業管理(運算元作業、SQL作業、JAR作業)、資料服務、日誌管理、多租戶及租戶資源、UDF管理功能等眾多模組和功能。 圖 12: 運算元作業開發示意圖
其中UDF的全稱為User Definition Function,是DataCanvas RT實時決策中心作為一個平臺級的產品基於Flink的框架下開發的低程式碼資料開發功能,結合預置的運算元,讓使用者可以用視覺化拖拽的方式把運算元在畫布中連線,組成資料開發任務。在實時應用支撐平臺專案中,該銀行IT人員利用UDF可以極大減少流式資料開發任務的難度,提升開發任務效率,使得實時場景的資料開發上線週期大大縮短。 本次實時應用支撐平臺專案歷經初建、擴容和推廣三個階段:
實時應用支撐平臺除了一般的技術和功能需求外,九章雲極DataCanvas還針對該銀行的特殊需求對於DataCanvas RT實時決策中心進行定製化開發,包括:
實時應用支撐平臺最佳化資料服務,提升業務洞察 該股份制銀行透過九章雲極DataCanvasRT實時決策中心搭建的實時應用支撐平臺,在投產後已實現無間斷執行近四年,並且可以有效應對海量資料處理和實時業務場景應用需求: 1.實現了海量實時資料的處理和分發。該銀行在上線實時應用支撐平臺後,每日實時報文采集量和準實時資料日採集量有了顯著提升。類似於大額資金變動預警的實時場景中,實時資料經平臺規則處理後可以在0.2秒內輸出預警,目前日預警量達到千萬條,實時動帳交易日預警量約百萬條。 2.極大提高了實時場景開發和上線的效率。隨著實時應用支撐平臺專案的實施,平臺上支撐的總體業務場景不斷增加,平均每2周就能上線一個實時業務場景,截止2022年3月已經上線了80多個實時業務場景,總體的需求提出部門達到了15個,包括運營管理部、信用卡中心、資訊科技部、網路金融部等,共涉及3種業務型別,包括營銷類、監控類、監管類,平臺在對使用者需求的支援上得到了顯著提升。 3.適用業務發展需要的流資料計算架構。實時應用支撐平臺上線後,實現了十萬級以上的TPS峰值報文配對處理量,每日全行匯流排報文采集量加足跡資料採集量達到20億以上。並且隨著業務不斷髮展,九章雲極DataCanvas RT實時決策中心也對平臺架構進行持續最佳化,例如最新版本的RT產品支援Flink SQL,可以有效提升實時資料的開發效率。 流批一體的資料處理能力和低程式碼環境可顯著提升實時資料處理平臺的落地效果 實時資料平臺的資料處理能力和開發效率是決定其是否能夠滿足企業需求的核心要素,總結該股份制銀行的實時應用支撐平臺建設經驗,其他銀行在選擇實時資料平臺產品時應注意關注以下兩點: 流批一體的資料處理能力。在選擇實時資料平臺產品時,能夠承載企業的流批一體資料處理工作,具備方便的橫向擴充套件能力,並且可以對產品架構持續最佳化改進,不斷引入新的技術和功能,才可以保證該產品可以長期穩定的滿足業務發展需求。 低程式碼開發環境提升開發效率。基於DataCanvas RT實時決策中心的低程式碼開發環境,由成熟的測試團隊完成工作流的配置和測試。對於複雜業務場景則透過大資料開發工程師透過UDF運算元開發的形式,完成部分資料處理難點的實現,後續將UDF運算元交由測試團隊,透過可拖拽的方式構建資料開發工作流。 |
5. 政策合規要求推動隱私計算平臺快速滲透
5.1 政策合規驅動隱私計算長足發展
隨著數字化程式的深化、資料應用場景的擴充,越來越多的企業及機構發現僅挖掘內部資料價值不足以應對快速變化的市場環境及使用者需求,如金融機構需要藉助其他機構資料完善風控模型、實現精準營銷;政府單位需要打通多部門資料提高政府治理水平、提升公共服務效能;醫院需聯合多家醫療機構共同完成罕見病全基因組關聯分析等。企業或機構需要透過資料共享協作提升運營效率、提升服務價值。
與此同時,對資料流通安全的擔憂成為資料共享協作的阻礙。一方面,國家加強對資料分享及利用的監管,相繼頒佈《資料安全法》及《個人資訊保護法》,嚴格限制資料的不安全流通;另一方面,資料已經成為企業立身之本,企業需要保護自身資料資產,保護資料隱私。
圖 13: 隱私計算發展驅動因素
隱私計算能實現資料共享協作過程中的“可用不可見”,保護資料隱私安全、滿足合規要求,被企業廣泛採用。企業對隱私計算技術的需求主要體現在以下幾方面。
- 功能完善,提供全面資料安全解決方案。不同業務場景下企業能接受的安全假設前提不同,如風控、營銷場景下,企業能接受可信第三方,採用聯邦學習實現隱私計算;而在醫療多中心合作模式下,醫院會面臨串謀攻擊、環境攻擊、模型攻擊等內部攻擊,需要融合多方安全計算、同態加密以及可信執行環境共同滿足資料安全要求。廠商應具備完善的隱私計算保護功能,不限於聯邦學習、多方安全計算、可信執行環境以及同態加密,滿足不同場景下的安全要求。
- 滿足業務高精度、高效能的計算需求。特殊場景如工業決策、人臉識別以及多中心全基因組分析等,對精度、效能的要求極高。企業應具有底層隱私計算底座開發最佳化能力,透過提高模型計算效率最佳化、通訊效率最佳化、網路頻寬最佳化等多種方式滿足業務場景高精度、高效能要求。
- 提供豐富資料來源。資料來源也是企業實現資料協作過程中的一個主要痛點。資料質量將影響資料協作共享的價值產出,因此企業需要篩選、連結合適的資料來源。企業希望廠商具有豐富的 資料來源網路,瞭解各行業資料特點,能為企業提供資料連結建議並推動實現合作。
- 具備場景專業知識,提供建模及演算法支援。金融、醫療等理論門檻較高,企業需要隱私計算廠商具備專業業務知識,能提供恰當的資料分析演算法和模型,幫助企業實現產出。
5.2 隱私計算保護資料隱私,實現資料可用不可見
不同場景對隱私計算技術能力要求不同。如政務聯合計算場景下,同態加密即可滿足需求;金融風控場景下,需要具備聯邦學習、同態加密以及多方安全計算;而特殊醫療場景如全基因組分析場景下,要求更嚴格,解決方案需同時具備聯邦學習、多方安全計算、同態加密甚至可信執行環境等多種隱私計算技術。一個普適的隱私計算平臺解決方案如下圖所示。
圖 14: 隱私計算平臺架構圖
案例5:某三甲醫院借力隱私計算開展多中心基因組學分析,取得突破研究成果 某三甲醫院是一所集醫療、教學、科研為一體的綜合性三級甲等醫院,脊柱脊髓傷病診治、關節外傷修復重建、顱腦創傷救治、顱內腫瘤診療、器官移植、多發傷、多臟器功能衰竭救治等處於國內領先水平。其中脊柱外科是上海市醫學領先專業重點學科,該三甲醫院持續推進並引領脊髓型頸椎病研究。 多中心醫療合作面臨資料安全、合規風險 全基因組關聯分析(Genome-Wide Association Study, GWAS)指在全基因組水平上,以單核甘酸多型性(Single Nucleotide Polytide, SNP)作為分子遺傳標記,進行對照或關聯性分析,可篩選出與複雜性狀相關的突變基因位點,對於疾病預防、診療和新藥研發意義重大。該三甲醫院持續關注強直性脊柱炎(簡稱“AS”)疾病的預防及治療研究。由於該三甲醫院的樣本量不足以支撐一項全基因組關聯分析研究,因此需要聯合多家醫院及院校共享AS患者基因資訊進行研究,以開展更好的疾病防治工作。但在跨機構AS基因資料協作和共享過程中存在資料隱私安全隱患、資料合規以及計算難度大等問題: 資料合規趨嚴,醫療資料難流通 隨著我國《資料安全法》及《個人資訊保護法》的頒佈,對資料安全監管進一步加強,醫療健康資訊被列為敏感個人資訊,醫療資料的不安全流動被嚴格限制,只有在採取嚴格保護措施下方可處理敏感個人資訊。目前醫院普遍透過資料脫敏隱去患者隱私,但在實際應用中,資料脫敏無明確規定,主觀性高,且已被證明存在保護漏洞,被隱去的資訊可能被重新推斷出來導致患者身份或隱私洩露,無法達成現行法律所要求的“資料匿名化”。對醫療資料隱私洩露的擔憂及資料共享合規性上的不足成為生物醫療資料跨機構分享的阻礙。 傳統多中心合作仍存在患者隱私洩露或資料篡改風險 傳統的多中心合作通常將多家機構資料彙集到第三方平臺,由第三方平臺集中進行資料處理或計算以實現跨中心協作。但隨著參與方增多,資料洩露和被篡改的風險也隨之升高,如醫療資料安全保護的責任歸屬難界定、各個參與方的醫療許可權劃分不明確,都有可能造成醫療資料共享過程中的洩露、侵犯患者個人隱私或是導致重大醫療事故。 資料體量龐大,資料傳輸、計算及分析難度大 基因資料具有高通量、高敏感度的特點,例如本案例中,單個個體的全基因組測序資料量接近300G,而全基因組分析需要幾百甚至幾千個樣本量,龐大的資料體量為資料儲存、傳輸、計算及分析帶來挑戰。 隱私計算方案推動多中心AS全基因組研究順利開展 為規避隱私洩露風險,實現基因資料分享和聯合分析,推動本次AS全基因組關聯分析專案順利開展,該三甲醫院決定採購隱私計算解決方案。經過綜合考慮產品功能、效能、安全以及團隊醫療專業素質等因素,最終選擇與鍩崴科技進行合作。 鍩崴科技成立於2019年, 是一家專業的隱私保護計算技術服務提供商,由“海外高層次青年人才”、隱私計算專家王爽教授,前矽谷知名科學家鄭灝博士共同創立,具備深厚的隱私計算、生物醫療資訊等領域的學術和實踐經驗,團隊成員多來自IBM、Google、Thermo Fisher等世界五百強企業,業務場景覆蓋醫療、金融、保險、政務、安防等。 該三甲醫院隱私計算方案從確定需求、實現跨醫院平臺部署到完成全基因組關聯分析獲取研究成果,歷時近3個月。 圖 15: 某三甲醫院及合作機構隱私計算部署示意圖
明確AS全基因組關聯分析多中心合作需求 為實現AS全基因組關聯分析,該三甲醫院及合作機構對鍩崴科技主要提出三點需求:1)隱私計算解決方案能提供AS疾病全基因組關聯分析管道所需的模型和工具,並支援靈活組合;2)針對跨機構提供的3000個樣本、單個樣本300G的資料體量,解決方案應實現計算效能等價於明文計算效能;3)該方案保證資料安全合規。 部署隱私計算一體機平臺 鍩崴科技的鍩崴信®隱私保護計算一體機(以下簡稱:鍩崴信®一體機)包含介面層、計算節點、加密層、協同層等,可實現接入醫院資料、完成本地計算、對計算結果加密、將加密後的資訊通訊至全域性模型進行迭代,重複計算流程使模型反覆迭代至收斂。基於鍩崴信®一體機,該三甲醫院及合作機構只需完成安裝、接通網路、接通資料、配置規則等步驟即可“開箱即用”,簡化搭建應用隱私計算平臺的難度。 其中針對資料接通環境,鍩崴科技鍩崴信®一體機提供豐富的資料介面,該三甲醫院及合作機構可以以檔案、資料庫或者資料介面等形式將資料接入一體機,即可實現在安全可控的前提下與外部合作方進行資料價值互動。 各資料使用方設計並構建全基因組分析管道 為滿足AS全基因組關聯分析研究需求,鍩崴科技開發出GWAS分散式計算技術框架iPRIVATES。該框架融合多種演算法,包含可定製的基因組資料預處理模組,基於主成分分析的聯邦人口分層模型、基於邏輯迴歸和對數似然比檢驗的關聯分析模型等。該三甲醫院及合作方可靈活地整合和配置不同的全基因組關聯分析管道,方便識別SNPs與AS疾病特徵之間的關聯,獲得統計學意義上顯著相關的基因位點資訊,為後期的實驗室驗證、確定AS早篩生物標誌物提供支援。 實現隱私計算安全 依託iPRIVATES框架,該三甲醫院實現與多個跨省合作機構的AS基因組資料連結和共享協作,並在多中心協作過程中,保障基因資料共享全鏈路隱私安全。一方面基於iPRIVATES框架中的安全聯邦學習技術,該三甲醫院和合作機構在本地終端節點對基因資料進行計算,僅共享交換經過加密後的中間統計值,不分享明文個體資料,保護資料隱私;另一方面,依託於iPRIVATES框架中可信執行環境技術,該三甲醫院和合作機構能防禦內部攻擊、避免因計算過程被篡改,實現對模型本身的保護。 隱私計算推動多中心合作高效開展,並取得卓越研究成果 依託鍩崴科技隱私保護計算技術,該三甲醫院及合作機構在滿足資料安全合規要求的前提下完成多中心AS疾病全基因組關聯分析,取得重大研究成果,獲得業內高度認可;並在縮短評審週期、提高統計意義、降低資源消耗等方面有良好表現。 研究成果獲廣泛認可:基於鍩崴科技提供的iPRIVATES隱私計算框架,該三甲醫院關於強直性脊柱炎的研究成果發表在生物資訊學頂級期刊Briefing in Bioinformatics上,同時獲得2019年度上海市科技進步獎一等獎,收到廣泛讚譽。 計算結果的可靠性、準確度大幅提升:基於隱私計算解決方案,該三甲醫院最終與多家機構達成多中心合作,樣本量相較單中心模式提高3-5倍,統計意義也提高1個數量級,研究結果的準確性、普適性大幅提升,有利於AS疾病的預防和診治工作。 計算效率顯著提升,計算結果等價:iPRIVATES框架在演算法時間上等價於資料物理集中的方式,且研究成果的特徵靶點也與集中式計算結果一致,驗證了隱私計算方法在解決生物醫療多中心資料協作方面的可行性和巨大潛力。 大幅縮短資料風險評審週期,降低多中心合作時間成本:傳統模式下開展多中心研究前,需要各醫院機構評審資料共享風險,評審週期可能長達一至兩個季度。而隱私計算方案能實現在資料不出域的情況下完成多中心的合作,規避資料洩露風險,因此能大幅縮短醫院多中心合作的評審週期,減少管理流程成本,加速聯合研究。 降低資源消耗:傳統多中心模式下,所有樣本資料需彙總到該三甲醫院再進行計算,對儲存、算力條件要求極高,而基於聯邦學習的多中心模式應用分散式計算框架,物理分散,邏輯集中,對參與方的計算資源損耗和計算條件要求下降。 隱私計算廠商選型決定多中心醫療合作成敗 隱私計算方案在該三甲醫院AS疾病研究中起到重要作用。回顧該三甲醫院實施隱私計算解決方案全流程,隱私計算廠商選型對隱私計算解決方案的成功具有決定性作用,因此對於同樣有多中心醫療研究需求的醫院,在選擇隱私計算廠商時,應注意以下三點廠商能力。 選擇有完全自主智慧財產權,能兼顧效能、精度、安全等多方面實力的隱私計算廠商。由於醫療行業資料體量龐大、精度要求苛刻、資料安全風險高,要求隱私計算廠商除建模能力外,更要具備最佳化調整隱私計算底座併發性、準確性、演算法複雜性等方面的自主開發能力。 選擇有豐富醫療經驗、具備專業醫療知識的廠商。醫療研究理論門檻高,因此要求隱私計算廠商具有醫療從業經驗或是具備專業醫療知識,準確理解不同醫療業務中的資料分析理論,進而提供對應的醫療演算法和模型,如在全基因組關聯分析中能提供人口分層模型、關聯分析模型。甚至更進一步,允許不同醫療機構根據業務能、精度和安全等多方面平衡的解決方案。 選擇具有豐富醫療資料來源的廠商。生物醫療資料的各項科學研究通常都需要大量樣本,單一資料來源的資料量很難滿足一項研究所需的樣本量,因此,能連結多方資料來源,諸如醫院、第三方檢測公司、影像中心等,打通各醫院、藥企上下游資料網路,為醫院聚合大量樣本,將能為醫院節省大量的資源和時間。 |
6. 屬於業務端的資料分析時代來臨
圖 16: 資料分析平臺趨勢及解決方案演進示意圖
6.1 資料分析需求向業務端演進
資料分析平臺作為企業資料價值提煉和挖掘的最後一站,長期以來都是企業數字化建設的重中之重。然而,由於資料分析工作的專業性和複雜性,以及資料邏輯與業務邏輯之間的高度差異性,導致資料分析和業務之間存在較高的壁壘,這對企業的資料運營體系和資料文化提出了很高的要求。近年來,隨著外部市場環境不確定性的增強,以及企業資料應用的不斷深化,資料和業務之間的壁壘在很大程度上影響了企業資料價值的傳遞,具體而言:
- 業務人員漸成資料分析工具終端使用者。外部環境不確定性增加,市場需求瞬息萬變,業務側對資料分析的需求也隨之調整,逐漸脫離固定的分析邏輯和報表,向個性化、多樣化轉變,而傳統資料分析產品在搭建之初就已形成固定的資料分析模型,資料人員需要透過複雜的定製化工作才能解決這些個性化分析需求,導致溝通成本高,等待週期長,資料分析結果滯後於業務動向,業務人員直接參與資料分析的需求不能及時滿足。
- 從集團統一賦能走向場景化建設。資料分析平臺往往是企業從全域性出發進行建設,由企業資料中心滿足所有部門的資料分析需要。隨著企業數字化水平提高,各部門逐漸無法滿足於來自集團資料中心的固定報表式資料應用,而是希望能夠將其特有的業務邏輯與資料分析能力深度結合,形成豐富細緻的資料分析場景,滿足業務精細化運營的需要。
6.2 低門檻、場景化解決方案推動資料與業務深度融合
面對個性化、場景化的分析需求,企業需要透過更加智慧化、敏捷化的資料分析解決方案,提升分析的靈活性,填補業務和資料間的壁壘,真正讓資料分析能力下沉到一線業務人員和具體業務場景。
1)為業務人員和管理人員搭建新型智慧化、自助化分析平臺。以智慧化、自助化為特點,面向業務人員的新型分析引擎搭載NLP to SQL、機器學習、低程式碼等技術,提供自然語言等新型互動方式,便捷地低程式碼、零程式碼資料分析模板搭建方式,從而簡化資料準備、資料探勘和建模以及資料結果分發全流程操作,為業務人員提供強大的資料分析能力。具體而言,系統能幫助使用者輕鬆訪問資料,並實現實時分析,滿足業務實時分析需求;系統能幫助使用者透過托拉拽操作,生成豐富的視覺化圖形,並支援指標和維度的切換,以及指標和資料的關聯分析,讓業務人員透過極為簡單的操作實現靈活的資料分析,大大降低資料使用門檻。
案例6:精準高效資料分析實現業務與資料深度融合 某知名網際網路教育公司是我國最具影響力的綜合性教育集團,擁有素質教育、國際教育、成人及職業教育、教育服務與支援、線上電商等多個業務板塊。 多重挑戰,資料分析體系面臨瓶頸 作為行業領先的教育集團,該公司較早開啟了數字化探索,但由於缺少專門的資料管理及分析工具與科學的資料管理體系,在實際執行過程中存在諸多問題: 1. 取數繁瑣,資料管理難統一。由於企業內部多系統間未在資料層面打通,資料許可權管理不清晰,各分公司頻繁需要總部協助從多個系統匯出資料並進行初步加工,集團側資料響應工作量大,反饋慢,效率低。 2. 分析效率受限,個性需求難滿足。資料展示工具侷限於Excel資料透視表,呈現形式單一,缺乏靈活性。因此,各地分公司在資料標準存在較大差異的情況下,很難滿足各分公司對資料分析的個性化需求。 3. 分發不及時,推送慢成本高。在分析結果推送方面,原先資料人員需將分析結果手動傳送至指定的群聊或郵箱,耗費大量人工成本,無法在資料分析結果產出第一時間推送到相關負責人。 三措並舉,建設高效、精準的資料分析體系 為解決上述問題,該公司決定面向整個集團搭建大資料分析與視覺化平臺,以實現精準、高效的資料分析。在充分考慮自身管理模式與產品適配性、產品易用性等維度後,最終選擇觀遠資料作為合作伙伴,共建大資料分析與視覺化平臺。 觀遠資料作為一站式智慧分析與服務提供商,依託在資料分析和商業智慧領域多年實戰經驗,致力於為網際網路、金融、零售、消費、高科技、製造等行業的領先企業提供一站式資料分析與智慧決策產品及解決方案。截至目前,觀遠資料已深入服務聯合利華、3M中國、招商銀行、安踏、華潤集團、揚子江藥業、元氣森林、小紅書、蜜雪冰城等400+行業領先客戶。 基於BI平臺,雙方攜手搭建了集團——分公司資料分級管控體系,搭起資料分析管理和協作的完整“骨架”,並透過平臺強大功能,實現全面自助式分析、自動化推送預警,充盈了資料分析的內容。 圖 17: 觀遠資料分析應用介面
來源:觀遠資料 1. 資料管理模式改革——中央廚房集中供給,分公司按需取用。首先將多系統資料統一錄入集團資料倉儲,再推送到觀遠BI平臺資料中心,形成集團統一的基礎資料層。隨後,集團作為“中央廚房”,統一管理各學校資料訪問許可權,並依據許可權管控機制將資料開放給各學校,無需人工干預;最後,集團將許可權下放,由各個學校自主管理內部使用者,學校透過觀遠ETL將資料進行規則梳理和加工後形成各自獨有資料集,並基於自身資料集自助生成個性化看板。這種方式不僅保障了資料安全,提升取數效率,更提升了分公司和學校資料管理分析的靈活性。 2. 資料分析能力提升——靈活開放的自助式分析。雙方以業務價值鏈和場景為基礎細化資料指標,搭建資料分析模型,並提供豐富的報表型別。 首先將客戶全生命週期資料上線觀遠BI平臺,對多個內部細化節點形成對應資料和指標支撐;其次面向自身業務場景與角色劃分多個資料分析模組,在對應模組中進行該業務板塊的專題分析;同時模組之間可以進行穿透和級聯分析,實現對某一資料的精準追溯歸因;最後,觀遠BI平臺提供豐富報表圖形,一目瞭然,便捷和精準定位問題環節。 此外,觀遠BI平臺能夠面向不同角色提供自助式分析體驗。
3. 分析報表秒級推送——智慧化訂閱和推送預警。首先,觀遠BI平臺和該公司內部統一認證的系統打通,實現統一登入,精簡前端操作鏈路。其次,針對業務資料每日高頻重新整理,而管理人員忙於日常辦公不能及時檢視資料的問題,平臺支援自主訂閱式推送,降低人力成本;最後,針對重要業務指標,觀遠BI平臺提供預警功能,當某一指標突破閾值,訊息能夠分秒級自動推送到對應負責人的釘釘,從而能夠對問題進行快速感知和響應。 圖 18: 觀遠資料網際網路行業數字化運營解決方案
雙管齊下,資料分析平臺落地推廣 在與觀遠資料合作後,該公司為啟用集團內部活用資料的習慣,成立BI推廣小組,創造性地推出了集團與學校的三類合作模式,並面向整個集團舉辦BI挑戰賽。
圖 19: 集團總部與學校資料合作三類模式示意圖
BI推廣小組成功將觀遠BI平臺推廣至公司各個城市,初步在集團內部形成以BI平臺為依託的資料文化。 2.全面上線觀遠BI平臺後,為進一步提升覆蓋率,該公司舉辦了BI挑戰賽,各校區根據自身資料需求指定參賽命題,以物質獎勵吸引參賽,並各自選擇本校區優秀選手在集團層進行比拼,透過評委的細緻點評增強選手資料分析能力,同時沉澱優秀作品進行復用。 在集團總部的大力推廣下,全集團人員在觀遠BI平臺之上逐步挖掘出集團資料分析潛能,在內部形成了濃厚的資料文化。 一以貫之,BI平臺賦能業務與資料深度融合 透過BI平臺的全面鋪開,該公司原有經營分析邏輯在觀遠BI平臺完美兌現,業務與資料的融合程度逐漸加深,從而提升了整個集團開源節流、敏捷響應的能力。具體而言: 1. 精準資料分析賦能精細化業務運營管控,實現開源節流。針對招生和成本兩大重要問題,觀遠BI平臺能夠讓該公司管理層對於企業關鍵資料指標進行精準分析和洞察,生源線索回訪支援從原來的一月後回訪精細到一週、兩週、三週後,從而實現精細化業務管控,更有針對性進行擴新,降低運營成本。 2. 高效資料分析與推送賦能業務敏態調整,快速實現業務轉型。首先,觀遠BI平臺提升了取數、分析、視覺化和結果推送全流程效率,使業務側從原來的事後響應轉變為事中有效干預,大大提升了業務的敏捷性。其次,受“雙減”影響,業務變革導致資料分析邏輯也要隨之進行重大調整,觀遠BI的輕量化資料分析能力支援資料分析需求靈活變更,有效節約變革的時間、人力、資金成本,幫助上下快速適應並投入新業務的運轉。
|
2)在不同業務場景選用嵌入資料分析能力的SaaS產品。
出於投入產出比的考慮,大量企業在財務、營銷、HR、供應鏈等各個業務場景中使用垂直領域廠商的SaaS產品進行協作與管理,而這些產品往往在自身領域已經形成高度成熟和體系化的業務邏輯沉澱,而在產品中嵌入資料分析能力則能夠幫助企業快速且具有針對性地實現垂直業務場景中的各類分析需求,在各個業務場景實現業務和資料的小閉環,提升精細化運營水平。
案例7:分貝通藉助衡石科技資料分析 PaaS平臺快速落地資料分析能力,實現產品價值進階 北京分貝通科技有限公司(以下簡稱“分貝通”)成立於2016年,致力於為企業提供整合費控、場景、支付、報銷於一體的新一代支出管理平臺,透過企業支付+員工墊付報銷,實現無死角覆蓋全部企業費用支出,幫助企業費用管理更高效,更最佳化。目前已累計服務元氣森林、海底撈、湯臣倍健等數千家高成長企業。 資料分析能力漸成客戶剛需,自研、外採均難以滿足 在業財融合的大趨勢下,財務的工作重心正逐漸從基礎財會過渡為資料統計、經營分析,企業財務人員及管理層對資料分析和報表的需求強烈。因此,對於分貝通而言,SaaS產品資料分析功能的完備性直接影響到新客擴充與老客續約。 在資料分析功能上線之前,為了解決客戶對資料分析報表的需求,分貝通只能透過系統+人工處理的方式,由分貝通的專業顧問幫助客戶做資料梳理,再以 PPT形式提供給客戶。每份報表需要數個人天的工作量,每月數十份定製報表的需求不僅為分貝通帶來了很大的負擔,同時也只能服務部分KA客戶,難以滿足所有客戶財務部門定期定量的資料分析、報表需求。 基於上述痛點,分貝通迫切需要在產品中增加資料分析能力,滿足各類客戶的業務人員和管理層對於資料分析的共性和個性化需求,同時提升公司內部對大客戶定製化報表的服務效率。然而分貝通發現,無論是自研還是採購市場上主流BI產品,均不能完全滿足當下需求。具體而言: 1. 自研投入成本過高:分貝通產品需聚合20多個場景、API 直連 200家以上供應商,自研資料分析和報表功能需要投入數十位專業資料工程師持續研發6-12個月,且面臨較高的研發失敗風險;外採+自研的方案下,由於大多數BI廠商缺少產品功能模組化輸出的能力,導致採購和維護費用高昂,且需要設定專門的報表團隊,成本總計過百萬元/年。 2. 外採產品,個性化分析需求難滿足:分貝通客戶群體行業屬性和體量差異大,對於個性化分析需求,市面主流BI產品普遍需要由專業資料分析師根據需求重新搭建分析模型才能實現,無法由業務人員進行自助分析,使用這類產品無法改變分貝通需花費大量人工成本為客戶代勞的情況。 嵌入衡石科技資料分析 PaaS 平臺,滿足場景化資料分析和多租戶管理需求 經過多方探尋,分貝通接觸到衡石科技,經評估後認為,HENGSHI SENSE 資料分析 PaaS 平臺在技術先進性和產品成熟度方面具有明顯優勢,能夠與 SaaS 軟體快速實現無縫對接,模板化沉澱分析場景,並一鍵釋出給SaaS多租戶,完美貼合分貝通的需求,隨即與衡石科技展開合作。 衡石科技是一家資料分析和 BI 領域的標準化軟體廠商,核心團隊來自Amazon、BAT、秒針等頂級高科技公司大資料部門,以 Analytics as a Service 形態,靈活高效地生成高價值的資料應用場景,賦能各行業客戶持續構建資料生產力。 衡石科技為分貝通提供HENGSHI SENSE 資料分析 PaaS 平臺,以強大的資料全生命週期管理、分析和視覺化能力,以及成熟的多租戶功能,幫助分貝通輕鬆搭建起既能滿足客戶多樣化大資料分析需求,又能實現平臺多租戶資料自動隔離的線上資料分析體系,全面提升客戶企業財務資料分析的便捷性、有效性,同時確保資料安全性。 1. 覆蓋資料全生命週期,高效便捷滿足客戶多樣化個性化資料分析需求
圖 20: 分貝通嵌入HENGSHI SENCE後的線上資料分析功能示意圖
2. 強大的多租戶服務支援,適配SaaS產品資料安全與租戶資料管控需求 在認證方式整合上,HENGSHI SENSE 內建了Oauth2、企業微 信、釘釘、CAS、JWT 等多種認證方式,可實現快速對接,且對於不同的租戶可支援不同的認證方式。 在租戶資料管控上,HENGSHI SENSE 首先建立了靈活的資料許可權管控能力,基於複雜組織架構,給不同的租戶配置不同的使用者屬性值,並按賬戶進行最小粒度許可權控制,實現千人千面的效果;其次,HENGSHI SENSE擁有完整的許可權控制體系,可以採用租戶管理員自由管控、租戶屬性控制租戶資料庫連線等多種管控方式,快速幫助分貝通實現租戶資料的完全隔離,保障租戶資料安全、準確。 圖 21: 衡石科技HENGSHI SENSE產品架構示意圖
分貝通依託HENGSHI SENSE強大的開箱即用能力,短時間內完成產品部署和交付,無需專門的實施團隊。後續依靠分貝通的客戶成功團隊,在兩週內完成了與分貝通20個2C大平臺、150多個2B2代理、70多個終端供應商、自營直採 5000 多個 SKU的對接工作,相比傳統BI,部署時間提升10倍以上,有力推動了產品功能快速上線使用。 低成本快速滿足客戶資料分析需求,帶來新客轉化與續約持續提升 分貝通上線HENGSHI SENSE,不僅大大節約了分貝通的自研成本和人工製表成本,同時大幅提升了分貝通的市場競爭力,用高效便捷的資料分析能力吸引大批客戶,推動公司長遠發展。 1. 節約人工成本與研發成本 分貝通產品自此實現報表分鐘級建立,實時更新,並透過配置按許可權直接批次釋出,使分貝通資料分析效率提升十倍以上,無需資料工程師幫助,節省初期研發費用數百萬元。 2. 快速迭代升級,提升產品競爭力 分貝通能夠藉助HENGSHI SENSE 架構的靈活性快速按照新的業務需求和想法迭代資料分析功能,2022年初上線線上資料分析功能後,分貝通在幾乎無需依賴衡石科技的情況下,1個月建成費控行業專業分析場景,3個月實現專業的資料分析功能反超業內其他費控SaaS廠商,產品競爭力大大提升。 3. 真實降本,大幅提升客戶滿意度 分貝通藉助HENGSHI SENSE 滿足財務在進行費用管理時90%以上的資料分析需求,透過資料分析輔助規則設定後,為分貝通每家客戶平均節省20% 以上開支,直接最佳化了終端企業的費用支出。同時,分貝通資料分析模組可以直接生成業務回顧報告供財務人員高效彙報工作,將產品價值直接傳遞到客戶企業核心管理層,大大加深客戶對分貝通產品價值認同。
|
7. 資料智慧行業應用從監測、診斷性分析走向智慧決策
7.1 企業需求由識別現狀和問題向實現智慧決策轉變
在數字化浪潮下,人們日常生產生活而成的資料與日俱增,資料逐步成為企業、政府部門開展業務的重要依據。企業紛紛進行數字化轉型,在採集資料、儲存資料、管理資料、計算資料層面已經建立了認知。
當下,企業面臨精細化運營需求,多變的使用者需求對企業決策效率提出更高的要求,複雜的應用場景增加了決策考慮難度。然而傳統的大資料和人工智慧技術建模和分析只能識別現狀和問題,在根因分析、資料關係挖掘和決策支援方面作用有限,仍然需要大量人工介入才能給予業務反饋,不能滿足企業決策速度要求。企業對於資料智慧應用需求正在從資料採集監測、診斷性分析向決策支援轉變。
企業、政府部門需要運用更先進的人工智慧技術高效精準地搭建演算法模型進行業務判斷、識別以及預測,從廣度和深度上充分挖掘資料價值,為企業和政府部門業務開展高效賦能。企業和政府部門對資料智慧解決方案有以下幾個層面的需求:
一是深度挖掘資料價值,提高資料利用率。廣泛收集、儲存、管理海量資料以後,在應用層面更需要對資料進行計算和分析,判斷資料性質,分析資料特徵,結合各行業領域知識積累深度挖掘資料價值,為企業和政府部門提供決策參考。
二是精準快速出具最優解決方案。決策場景遍佈企業和政府部門業務環節,選擇哪個排產方案最優?哪個出行方案最合理?哪個營銷方案效果最好?面對每個具體場景,能夠廣泛採集相關領域的資訊,快速組合形成多項解決路徑,在場景的約束條件下出具優決策方案。
三是深入應用場景,形成行業領域知識沉澱和工作方法論。資料基礎設施構建已經成為企業和政府部門數字化轉型過程中的必經之路,但行業應用解決方案還要與行業知識深度融合,充分運用專家經驗,形成行業領域知識沉澱和工作方法論,才能夠在具體業務場景中充分地、長久地發揮資料價值。
7.2 靈活應用智慧決策技術高效解決企業業務決策難題
現階段,基於上述需求及痛點,運用機器學習、深度學習、強化學習、運籌最佳化、知識圖譜等人工智慧技術和大資料技術深度挖掘資料價值,識別判斷資料性質,構建資料知識網路,綜合多項資訊建立訓練模型,不斷最佳化模型精準度,快速輸出優質的決策方案,憑藉更多樣的呈現形式以支援各領域企業或部門實現高效決策。
圖 22: 資料驅動的企業業務決策流程
7.2.1 運用安全大資料解決方案監測潛在威脅,保障資料安全
在資料安全方面,可將資料儲存和分析模型不斷擴充套件形成儲存分析叢集,對海量資料進行全量資料儲存和實時查詢、多維分析。透過訓練AI分析模型對安全資料進行判斷和分析,從海量資料中提取特徵,完成風險判定,實時對已知和未知的安全威脅進行監控預警。
案例8:某大型金融組織運用多級聯安全計算分析系統高效處理全流量安全資料 某國內大型金融組織處於我國銀行產業的核心和樞紐地位,對我國銀行產業發展發揮著基礎性作用。截至2021年底,除總公司外,在全國範圍內設有30+家地方分支機構,創投分支機構,以及境外國際分公司等。對於這樣的金融樞紐企業而言,其管理與技術體系規模複雜且龐大。為應對場景日益複雜的銀行清算業務以及不法分子層出不窮的釣魚郵件、web攻擊等風險,該金融組織組織在網路中構建了應對日益複雜多樣的風險與威脅的安全防護措施,在提升安全性的同時,也使得安全資料處理難度大幅提升。 因此,在複雜網路環境和海量日誌中,如何對千億級資料進行全量資料儲存和實時查詢、多維分析,如何對已知和未知的安全威脅進行監控預警,能否匹配IT集中化、資料集中化、基礎設施雲化的發展趨勢,以及能否支援多級級聯部署、多分支機構安全管理等,是該大型金融對安全大資料解決方案的考察重點。 基於以上考慮,該大型金融組織需要能夠採集、整合、治理、分析、監測大規模安全資料的多級級聯部署的安全計算分析平臺,透過可行性研究和對眾多技術方案的遴選,最終選擇了鬥象科技作為合作伙伴。鬥象科技成立於2014年,是中國領先的網路安全資料智慧與安全運營提供商,為政府及企業提供安全資料智慧與安全運營產品的解決方案。 該大型金融組織與鬥象科技合作搭建的安全大資料專案需要實現以下目標: 圖 23: 某大型金融組織安全大資料專案目標
1)大規模的網路流量採集:解決方案能夠支援該金融組織大規模網路流量採集、檢測與分析,適應未來5-10年集團網路發展規劃; 2)高可用、可水平擴充套件的系統:在業務活動流量激增、異常等情況下,系統還具有高可用性、支援水平靈活擴充套件,能夠滿足處理效能提升和儲存擴容的需求; 3)大資料溯源、取證:系統以大資料技術為基礎,對網路報文進行高速捕獲、深度解析與儲存,支援異常事件的回溯分析以及調查取證; 4)支援多級級聯部署、多分支機構安全管理:系統以資料分析為核心,驅動常態化攻防體系不斷建設和完善,實現不同層級防禦系統之間的協作與聯防聯控。 根據現有架構和外部經驗,建設多級聯安全計算分析平臺 在安全大資料專案中,該大型金融組織的IT團隊與鬥象科技團隊共同合作,對集團總部、分支機構安全業務進行了整體梳理,構建了以資料分析為核心的PRS“中心計算+區域節點”級聯解決方案架構。 PRS“中心計算+區域節點”級聯架構是由上海、北京的全網路流量安全分析系統控制檯和部署在全國32個全網路流量安全分析系統引擎組成。 圖 24: PRS“中心計算+區域節點”級聯架構
鬥象科技提供的解決方案中,上海、北京總部的PRS-NTA系統控制檯可以實現整體級聯方案的資料彙總、分析與管理,省級分公司可以向總部控制檯同步各分割槽的威脅告警資訊、配置資訊等。兩臺高可用的管理控制檯可以保證若其中一臺出現故障,另一臺也能正常管理流量安全分析引擎,並保持所有功能正常使用。 32個省級分公司的PRS-NTA安全分析引擎可以進行區域流量的協議解析、威脅檢測及資料加工儲存,包括引擎管理模組、流量偵測模組、資料儲存模組、模型檢測模組等。安全分析引擎將流量日誌儲存在本地,最終將風險資訊透過互聯專線上送到上海、北京的全網路流量安全分析系統控制檯中,控制檯可對所有引擎的所有風險資訊統一管控。 鬥象科技的PRS-NTA安全分析儲存叢集可以實現海量資料處理能力。在資料採集層利用DPDK進行資料包捕獲,利用最小的資源捕獲最全的資料包,進而透過訊息傳輸層的Kafka叢集將資料包傳遞給安全智慧分析引擎的業務應用中,滿足對網路流量資料的全面管理。再透過資料解析層將原始流量資料進行深度報文解析和基礎安全識別,可進行特徵分析、統計分析、智慧安全分析、攻擊畫像分析、調查畫布分析和異常行為分析,將分析資料用歸一化格式儲存在安全資料湖中。除了實時分析資料外,安全資料湖還可儲存原始資料和系統資料,能夠為所有級別的計算與決策制定提供所有型別資料集合的支撐。 該級聯方案設計對控制檯、引擎之間互聯專線的頻寬負載並不會造成壓力,當控制檯需要查詢對應的風險資料詳情時,可直接免密訪問各區域引擎的流量日誌,最大化保證安全風險集中管控的時效性。同時,控制檯、引擎之間的資料都會以加密的方式傳輸,保證資料的安全性、可靠性、完整性。 安全計算分析平臺滿足穩定採集、全量儲存、精準回溯、集中管控安全資料的多層次需求 該大型金融組織透過分支試點建設、全面落地安全計算分析平臺,在安全資料檢測與分析上實現了以下價值和效果: 第一,穩定的資料採集效能,具備全量資料儲存、高速檢索以及靈活的擴容能力。分析平臺能夠採集並實時處置60-80Gbps的資料,日均流量日誌數達百億條。分析平臺可對資料進行冷、熱分離處理,滿足了集團PB級資料儲存與秒級檢索的需求。安全分析引擎系統可以支援橫向無縫擴充套件,能夠滿足未來5-10年的安全建設擴容需求。 第二,能夠進行安全事件回溯與調查取證。全流量安全計算分析平臺可對協議上下文與協議內容進行調查取證,可以快速定位風險事件與協議事件的關係。同時,還可以觸發告警事件,透過檢視告警事件分析,可以追溯攻擊事件發生的時間、IT資產、攻擊型別等。 第三,能夠實現級聯部署和集中管控。落地的安全計算分析平臺支援級聯部署和集中管控,分公司可以透過互聯專線將告警事件上送,在總控平臺上檢視告警資訊。不僅如此,在總控平臺上可以對原始資料選定區域後進行查詢,能夠連線到下層分析平臺進行查詢,實現安全資料的集中管控。 全流量安全計算分析平臺有效降低人力參與成本、提高安全運營效能 1、藉助AI賦能安全應用,降低人力參與成本。人工智慧可以直接利用原始資料進行訓練,從大量的資料中提取特徵,自動完成分類判定的工作。在保障監測效果的同時,還能夠對人工、非智慧技術手段起部分替代作用,從而降低成本。 2、透過人機結合的方式,建立多維度的網路安全防禦體系。該大型金融安全計算分析平臺PRS能夠在第一時間發現和識別威脅,其智慧檢測機制有助於簡化流程、降低成本。同時,能夠全面提高網路空間各類威脅的響應和應對速度,全面提高風險防範的預見性和準確性。 3、改善安全防禦體系和提高安全運營效能。全流量安全計算分析平臺PRS能夠全面提高威脅攻擊的識別、響應和應對速度,提升風險防範的預見性和準確性,極大地改善了企業安全防禦體系,提高了安全運營效能。
|
7.2.2 融媒體技術為媒體領域高效採集、生產、分發和接收內容提供更優方案
融媒體平臺是資料中臺與媒體業務結合的產物,幫助企業融合多源異構資料,匯聚媒體企業歷史資料資產、接受外部共享的資料資訊、實現內部資源開放互通,構建媒體領域知識體系,為內容創新持續賦能 。
案例9:新華社建立智慧中臺,實現融媒體資料、業務、渠道高效統籌 新華社媒體融合生產技術與系統國家重點實驗室(以下簡稱“新華社國家重點實驗室”)是在中宣部指導下、科技部批准建設的媒體融合生產領域首個國家重點實驗室。新華社國家重點實驗室順應了全程媒體、全息媒體、全員媒體、全效媒體發展趨勢,重點圍繞人工智慧在新聞生產流程中的應用,面向跨媒體資訊分析與推理、人機協同複雜問題分析、響應及評估等方向,開展媒體融合生產技術與系統應用基礎理論研究。 在“加快推進媒體融合發展,建設國際一流新型全媒體機構”的背景下,新華社國家重點實驗室的建設圍繞以下三個問題展開:國際一流的新型群體機構需要怎樣的技術體系?如何建設新一代技術體系?如何運用先進技術推動國際一流新型全媒體機構建設?根據上述明確要求,新華社從技術底層、技術應用、技術輸出三個層面發力,進一步探索融媒體技術研發以及創新性融媒體技術應用,賦能自身媒體業務智慧化轉型的同時,助力全行業媒體融合的一體化發展。 傳統媒體管理平臺無法適應當下日益多元的媒資管理需求 傳統媒體管理平臺普遍存在資料孤島、編目傳統、生產效率低、稽核困難、利用率低等痛點: 1)資料孤島:傳統媒體資產管理平臺與平臺間互相獨立且封閉,無法滿足媒體融合發展互融互通的需要; 2)編目傳統:傳統的編目方式成本高、體系複雜,時效性低,無法適應當下媒體的發展變化; 3)生產效率低:現有的內容生產工具效率低下、無法適應日益新增的海量素材和二次製作內容製作情況; 4)稽核困難:新媒體多模態資料量快速提升,在引入和輸出方面都對稽核工作造成巨大壓力,傳統的稽核手段效果差; 5)利用率低:傳統媒體資產內容庫含有大量資料,標籤體系不一,檢索維度少、準確度較低。 相對於傳統媒體管理平臺面對的諸多難題,新一輪科技革命興起,5G、大資料、人工智慧等應用到新聞領域,讓傳媒業實現了深度變革。作為國家通訊社,新華社亟需將5G、大資料、人工智慧等先進科技,運用在新聞採集、生產、分發、接收、反饋全流程,解決融媒體資訊資源管理難題,透過知識圖譜、自然語言理解、多模態語義知識搜尋與推薦等核心技術能力,搭建整合新華社內外資料資源、實現融媒體業務資料化的智慧中臺,將資料資產、知識資產融合共享,透過中臺實現對各類應用的資料賦能、AI賦能、運營賦能、決策賦能,由此推進媒體移動化、數字化、智慧化程式,為提升傳播力、引導力、影響力、公信力提供技術支撐。 “2服務6中臺”助力新華社構建新型融媒體機構 為加快推進融合發展轉型升級,新華社國家重點實驗室青睞的合作廠商需要具備以下能力要素: 1)能夠在媒體領域長期深耕,對融媒體機構如何建設新一代技術體系擁有獨到見解; 2)能夠充分理解新華社媒體業務,以國際一流新型全媒體機構建設提供個性化整套解決方案為出發點; 3)自主掌控核心技術,其技術研發能力行業領先。 透過對眾多廠商方案的可行性研究和對比,新華社國家重點實驗室最終選擇了中科聞歌作為此次智慧中臺專案的合作伙伴。 中科聞歌是中國科學院旗下企業,成立於2017年,是一家資料與決策智慧服務商。中科聞歌團隊深耕資料智慧+人工智慧+運籌科學領域十餘年,研發團隊吸納了各領域高水平技術人才,經過了中科院“弘光專項”、 國家科技創新2030 “新一代人工智慧”、北京冬奧會等數十個國家級重大專案的檢驗,融媒體領域豐富的研究實踐經驗和高層次的技術水平為中科聞歌的智慧中臺解決方案提供了有力保障。 此次智慧中臺專案由新華社和中科聞歌聯合孵化,組建了研發團隊、演算法團隊、CV團隊、研究團隊、使用者團隊以及產品團隊,共同研究各類中臺和擴充套件性應用的定位和目標市場,面向媒體行業輸出一套智慧全媒體資訊創新思路,提供基於主流媒體演算法相關的包含政策、資訊、運營等在內的定製化服務。 專案雙方在方法論、標準體系、組織機制、運營體系、評價體系、技術平臺和產品工具幾方面持續研究,推動新型全媒體機構數字化轉型能力提升的中臺戰略性工程,形成了“2服務6中臺”建設模式: 圖 25: “2服務6中臺”整體建設內容
智慧中臺解決方案統籌新華社全量媒體資源 此次新華社和中科聞歌搭建的智慧中臺,基於中科聞歌自研”天湖“資料智算平臺的資料處理能力,可以統籌超3億條文字、圖片、影片形式的內容以及100餘種演算法資源,中臺儲存超過2.5PB媒體資料,涵蓋了60餘個媒體場景,支撐了媒體融合生產、傳播、運營、數字化報導工作室、演算法大賽、多模態知識搜尋、領域知識體系建設等創新應用,進一步實現了以下價值成果: 1) 實現了新華社內資源開放互通:透過智慧中臺充分調動了新華社各部門專業人才、內容生產、行業研究、領域調研、行業合作資源間的協同配合與高效複用; 2) 搭建了各領域完善的知識體系:透過智慧中臺研究推進了知識融合方法、標準、工具和機制,不斷吸納融合構建通用知識和領域知識,透過媒體大資料與多源異構資料的萃取、分析與知識處理演算法與技術,沉澱瞭如人物知識、事件知識、核心報導知識、政策法規知識、內容安全知識等,作為數字化轉型和資料業務化、業務資料化的基礎,充分發揮資料要素化、資料資產化對創新生產方式、傳播形式、產品形態、服務樣態的作用; 3) 構建了新華社內外多方創新協同機制:圍繞使用者和場景衍生服務,透過智慧中臺構建產品服務創新的孵化機制,創新構建全媒體產業鏈價值評估、流通和分配機制,促進全員媒體、全程媒體、全息媒體、全效媒體有效協同,圍繞使用者和場景推進“新聞+政務服務商務”創新產品和服務模式試點。 在媒體領域、大資料領域、人工智慧領域的技術和人才積累是智慧中臺建設的有力支撐,是建成、建好此次融媒體智慧中臺的核心要素。基於中科聞歌融媒體領域的成熟產品體系,“天湖”資料智算平臺支撐了整個智慧中臺各類資料的匯聚、處理,知識圖譜、資料標註等成熟的AI產品為知識加工提供了智慧、快速的技術 平臺;媒體、國際關係、人工智慧等領域專家對智慧中臺的領域知識資料進行收集、梳理、歸類,形成領域知識體系,為中颱的業務化、智慧化執行提供了知識體系保障。
|
7.2.3 營銷領域可應用大資料技術覆蓋消費者市場動態,為產品營銷決策高效賦能
在產品營銷業務過程中,可運用大資料技術和科學演算法,廣發收集和分析線上社交媒體平臺和電商平臺的使用者資料,迅速捕捉市場趨勢和消費者需求,挖掘潛力趨勢,輔助產品營銷決策。
案例10:安利(中國)研發中心打造智慧營銷產品創新平臺,實現產品創新亮點挖掘 安利(中國)研發中心成立於2004年12月,是安利全球研發部門的重要組成部分。安利全球研發團隊在全球健康領域擁有超過50年的領導者地位,中國研發基地主要負責新概念研究、毒理研究、配 方設計、產品功效驗證、臨床試驗、消費者洞察等。多學科多交叉點的結構以及與全球產品團隊合作的氛圍,讓安利(中國)研發中心的研發力量在業內名列前茅。 消費者反饋評價和市場熱點趨勢都是各型別消費品研發過程中的重要參考因素。安利(中國)研發中心以往透過消費者調研、桌面分析以及專家意見等調研方式瞭解使用者評價和市場關注點,這樣的傳統調研方式存在調研結果紛繁複雜、調研週期長、投入資金成本和人力成本高等諸多痛點。 基於內部分析討論和綜合判斷,安利(中國)研發中心期望透過運用更高效更系統的大資料手段瞭解消費者市場,協助安利深入瞭解當下消費者使用保健食品時關注的具體功效和原料成分等概念元素,降低創新戰略階段的調研成本,為產品研發創新高效賦能。安利(中國)研發中心認為,基於大資料的產品創新解決方案需要具備以下條件: 1)解決方案可以藉助大資料能力,運用科學演算法,全面迅速捕捉市場趨勢和消費者需求,自動發掘新興潛力趨勢,為研發人員提供更多創新靈感。 2)其次,解決方案可以透過對社媒、電商等資料的廣泛收集和分析,深度挖掘具備潛力的產品創新機會在市場中的綜合情況,輔助決策下一步行動。 3)最後,透過此次專案可以總結出科學可行的產品創新研究方法論和研究體系,以支援後續產品創新研發過程。 基於以上考慮因素,安利(中國)研發中心最終選擇與數說故事共同搭建智慧營銷產品創新平臺。 數說故事成立於2015年,員工800+人,60%+為大資料和AI研發團隊,在“認知AI”領域佔據領先地位。公司構建了從資料收集、處理、分析、建模到商業應用的全價值鏈解決方案,完整覆蓋產品創新、品牌營銷、內容營銷、渠道銷售、使用者運營、風險預警、投資顧問等豐富的商業場景,幫助10+行業的500+頭部企業完成營銷數字化轉型。 安利智慧營銷產品創新平臺,精準匹配產品創新趨勢洞察需求 數說故事憑藉對安利(中國)研發中心工作內容的深入瞭解和訴求解讀,設計了在產品研發階段可以高效洞察市場趨勢和創新點的解決方案,該解決方案主要運用了自有產品數說雷達進行智慧營銷產品創新系統的構建,主要包括創新趨勢發現和創新趨勢研究兩個業務方向: 圖 26: 安利智慧營銷產品創新平臺架構
創新趨勢發現主要由趨勢榜單來體現,透過對品類、趨勢型別和推薦指數的判斷和篩選進一步形成趨勢榜單,趨勢榜單由上升指數、熱度指數、萌芽榜單等模組組成。 創新趨勢研究方向下主要實現趨勢洞察功能,透過對榜單維度的進一步篩選,形成了趨勢概覽(社交媒體聲量趨勢、店鋪SKU分佈、情感分佈、產品趨勢、同類品牌對比等)、人群和場景洞察(性別、年齡、地域、時間等)以及使用反饋(滿意度表現、情感表現、正負向詞雲)發現產品創新趨勢及熱點。 安利智慧營銷產品創新系統的工作路徑具體分為6個步驟: 第一步,資料構建。透過社媒(微 博、微 信、新聞、論壇、小紅書、抖音等)和電商(天貓、京東)等公開渠道和合作渠道,大範圍持續收集產品原料、功效、銷量、使用者反饋等維度的實時合規資料,為概念識別、分類、挖掘、分析打造良好的資料基礎。 第二步,概念識別。安利智慧營銷產品創新系統在落地前憑藉過往資料構建了行業庫,行業庫內實現各層級模組細分,例如蛋白類下有植物蛋白模組和動物蛋白模組,運用概念識別模型根據安利(中國)研發中心需要的植物蛋白成分類別剔除非核心的動物蛋白概念資料。接著運用關係識別演算法,對資料進行二次採集和篩選,儘可能的保留植物蛋白相關實時資料。然後透過訓練趨勢識別演算法判斷產品成分、功效的熱門程度,在原料、成分、功效、科技、工藝等偏產品研發創新的維度進行概念升級和處理。 第三步,概念分類。透過演算法模型對已經識別出的維度進行分類,幫助產品研發中心快速識別當下植物類產品的熱門話題維度和創新維度。 第四步,概念挖掘。透過演算法模型實現概念挖掘,參考權威機構和企業釋出的產品榜單或正在討論的創新產品原料、成分、功效概念。 第五步,概念分析。深度分析社媒、電商平臺裡消費者反饋的當前趨勢,包括各型別植物類產品的銷量和使用效果評價,綜合消費者偏好及關注點,運用口碑評估體系評估產品成分及功效,從而給予安利(中國)研發中心產品原料、成分、功效的前期評估參考。 第六步,知識積累。智慧營銷產品創新系統識別出當下產品的市場趨勢後,運用知識圖譜技術持續形成行業底層知識積累,知識圖譜會隨著產品熱點和創新點的出現持續更新,以便研發人員或審查人研究人員在瀏覽產品知識或資訊時能夠快速擴充套件其他知識類別,為產品創新提供更多靈感來源。 以上6個步驟實現智慧營銷產品創新系統的協助工作,為安利(中國)研發中心產品研發創新高效賦能。 安利智慧營銷產品創新系統讓產品研發前期調研覆蓋更廣、效率更高 安利(中國)研發中心與數說故事共建的智慧營銷產品創新解決方案覆蓋資料範圍廣泛、維度多樣,有效降低調研階段人工投入成本,併為創意戰略階段持續賦能。 1)智慧營銷產品創新解決方案採集到的資料覆蓋範圍廣泛、維度多樣,在遍及使用者生活的社交媒體和眾多電商平臺上實時採集產品原料、成分、功效、銷量等維度評價,前期調研的廣度和速度得到最佳化。 2)智慧營銷產品創新系統可釋放大量人力價值,免除低效人工識別工作。產品研發支援系統實現了超過85%的實體識別準確率,免除了大量人工挑選的低效工作,實體識別演算法還可隨市場發展實時最佳化,持續發現和挖掘產品熱點。透過演算法自動識別新詞,從而發現產品研發創新方面的未來趨勢。 3)智慧營銷產品創新解決方案可為產品創新提供衍生知識參考,產品研發支援系統可為核心概念持續連結衍生知識,進而形成網狀結構的知識圖譜,提高了知識的關聯探索能力,在前期創意戰略階段,為實現要素重組提供豐富的靈感。 強有力的大資料技術+科學可行的研究方法論+精準的專案訴求解讀=成功的智慧營銷產品創新解決方案 此次安利智慧營銷產品創新專案的成功是建立在紮實的資料能力、科學可行的研究方法論和精準的專案訴求解讀基礎上的。 在大資料技術層面,數說故事提供的產品基礎資料能力紮實,資料採集能力和演算法能力優勢明顯,能夠為產品創新研發系統提供持續穩定的資訊採集技術。 在產品創新研究方法論層面,此前合作的植物原料研究思路和此次產品創新解決方案思路一致,安利(中國)研發中心和數說故事探討出研究方法論科學可行,只需將一次性的研究報告進一步升級成實時可用的智慧營銷產品創新系統,可為安利(中國)研發中心全線產品提供更全面更廣泛的研究支援。 在專案訴求解讀方面,安利(中國)研發中心在過往研究專案中與數說故事建立了良好合作關係,熟悉了彼此的工作風格及具體訴求,讓安利對數說故事建立了較高的認可度,有效降低了此次專案的前期溝通成本。
|
7.2.4 醫療大資料技術有效支援醫學研究、健康決策
在醫療領域,可運用人工智慧影像技術和醫療大資料管理技術輔助癌症篩查工作,覆蓋更多篩查人群,提高癌症篩查效率,降低人工篩查成本。醫療大資料管理技術有效幫助相關部門實現資料管理,資料互通共享,輔助實現健康決策,同時為後續的醫學大資料研究打下堅實的基礎。
案例11:“AI健康地圖”助力構建浙江省癌症篩查資訊平臺 浙江省腫瘤防治辦公室從屬浙江省腫瘤醫院,浙江省腫瘤醫院始建於1963年,是新中國成立最早的四所腫瘤醫院之一, 是中國科學院首個以腫瘤醫學為主要研究方向的專業研究機構,集腫瘤預防、醫療、科研、教學、康復於一體,承擔著國家腫瘤防治重任,在全國的腫瘤防治工作中發揮著龍頭作用。 2016年中 共中央及國務院印發了《“健康中國2030”規劃綱要》,明確指出對慢性病實施綜合防控戰略:“強化慢性病篩查和早期發現,針對高發地區重點癌症開展早診早治工作,推動癌症、腦卒中等慢性病的機會性篩查。基本實現高血壓、糖尿病患者管理干預全覆蓋,逐步將符合條件的癌症、腦卒中等重大慢性病早診早治適宜技術納入診療常規。到2030年,實現全人群、全生命週期的慢性病健康管理,總體癌症5年生存率提高15%。” 浙江省腫瘤防治辦公室和疾控中心為響應《“健康中國2030”規劃綱要》 “全民健康 共建共享”的戰略目標,計劃透過早篩查、早診斷、早治療惡性疾病的方式來降低人群疾病負擔。然而傳統人工篩查癌症方式存在眾多痛點:傳統篩查方式依賴人工填寫各類文書,篩查效率低,工作人員篩查成本較高;癌症篩查涉及的人群數量龐大,資料管理難度較大;從事腫瘤防治的一線工作人員缺乏專業的篩查系統等。 基於以上考慮,浙江省腫瘤防治辦公室尋求人工智慧影像和醫療大資料管理技術輔助進行早期癌症篩查工作,透過可行性研究和對技術方案的評選,最終選擇了深睿醫療作為合作伙伴。 深睿醫療深耕智慧醫療領域,致力於透過人工智慧“深度學習”技術及自主研發的核心演算法為國內外醫療機構提供人工智慧和網際網路醫療解決方案。其研究院國內外學術領域成果突出,累計影響因子超1200,獲得了700多個專利及軟著,顱內動脈瘤自動化分割與檢測方向的科研成果被Nature Communications (IF 17.694)收錄。深睿醫療牽頭參與了7項科技部重點研發計劃,9項國家自然科學基金, 30多個省市級科研專案,2021年深睿醫療與國內多家知名醫療機構聯合申報成功4個國家自然專案。今年,深睿醫療牽頭或參與的6個專案上榜工業和資訊化部和國家藥品監督管理局公示的人工智慧醫療器械創新任務揭榜單位名單 “AI健康地圖”推動腫瘤篩查工作流程完善、篩查資訊統一管理 “AI健康地圖”推動腫瘤篩查工作流程重塑。為響應浙江省數字化改革的號召,浙江省腫瘤防治辦公室在2020年開始著手腫瘤篩查平臺的打造,並對腫瘤篩查業務流程進行重塑,包括風險人群入組、評估/初篩、精準篩查、隨訪等完整的篩查流程,並超前考慮到所有與腫瘤防治相關的所有參與單位,包括政府主管部門、各地腫瘤防辦、定點醫院、社群醫院。 “AI健康地圖”實現全省腫瘤篩查一盤棋。目前浙江省腫瘤篩查平臺已接入了130個管理機構、292個篩查機構、1423個招募機構(超90%的浙江省社群醫院),形成了一套組織嚴密的腫瘤篩查網路,可以持續開展不同腫瘤的大規模篩查。 浙江省腫瘤篩查平臺包括3類終端(醫生電腦端/醫生移動端/居民移動端)、30個高頻應用(包括受試者招募、篩查專案預約、腫瘤篩查、隨訪等篩查全鏈路環節的一體化服務功能)、N個腫瘤篩查模組(結直腸癌篩查/肺癌篩查/上消化道癌篩查) 浙江省腫瘤篩查平臺的功能模組有系統管理(機構管理/使用者和許可權管理/登入管理/行政區劃管理/系統幫助)、任務管理(公告管理/待辦事項管理/任務管理)、受試者管理(受試者資訊總覽/受試者查詢/受試者資訊匯出)、目標人群管理(新增目標人員/修改目標人員/匯入目標人群)、評估管理(評估資格稽核/知情同意書管理/問卷管理/評估結果展示)、檢驗管理(檢驗耗材管理/檢驗結果錄入/檢驗狀態追蹤)、預約管理(檢查預約/簽到管理/動員管理/放號管理)、篩查管理(篩查結果錄入/篩查結果查詢/篩查狀態追蹤/AI影像輔助診斷)、隨訪管理(隨訪錄入/隨訪提醒/隨訪結果管理/隨訪查詢)、資料管理(資料駕駛艙/業務指標統計/資料使用管理/資料匯出)等30個應用模組。 憑藉“AI健康地圖”,浙江省腫瘤篩查工作實現效率躍升 AI健康地圖”可篩查不同病變階段的患者,有效節約醫藥費用。截止到浙江重點人群結直腸癌篩查專案累計完成風險評估和便潛血檢查(FIT) 4,58餘萬人,結腸鏡檢查近30萬例,篩查出結直腸癌3,110人,進展期腺瘤31,947人,非進展期腺瘤57,306人。透過資訊平臺及早救治了1000多名患者,節省群眾的醫藥費用、減輕群眾的負擔,為醫保節約費用28億多元。 “AI健康地圖”可對潛在癌症人群進行提示和預警。篩查專案在實現了結直腸癌的早期診斷,還對處於“早早期”的結直腸癌進行了提示和預警,臨床的提前干預直接將癌症扼殺在萌芽之中。截止目前浙江省重點人群結直腸癌篩查專案累計完成風險評估和便潛血檢查(FIT)近460萬人,篩查出結直腸癌3,110人及近9萬處於早期病變不同階段的患者。 “AI健康地圖”可促進癌症篩查和早診早治一體化及標準化。癌症篩查資訊平臺透過實現省域內資訊統一接入與管理,使篩查資料實現高效質控、互聯互通及便捷共享,為浙江省後續癌種、區域的擴充及醫學大資料研究打下堅實的基礎。 “AI健康地圖”可賦能疾病預防控制和健康決策。癌症篩查資訊平臺內沉澱了大量的區域癌症篩查資料,可透過人工智慧技術對醫療大資料進行治理及智慧分析,最終賦能疾控和健康決策。 透過“AI健康地圖”腫瘤防治工作實現了模式創新、技術創新和場景創新 此次癌症篩查平臺搭建過程中實現了產學研用相結合,創新性地應用了人工智慧技術,提高了居民癌症篩查參與率,實現了疾病診斷關口前移,在腫瘤防治工作層面實現了模式創新、技術創新和場景創新。 1)模式創新:實現篩查業務數字化流轉,減少工作人員從的重複工作,加速專案推進,提升篩查資訊管理效率;腫瘤篩查遵循浙江省統一的篩查技術方案,實現從省級到地市到區縣的統一,擁有一致的工作流程和標準規則;針對不同腫瘤篩查設計專門的統計指標,透過對比分析各類指標在全省各篩查單位的差異程度,可幫助管理機構及時指導篩查機構進行整改,有效保證各癌種的篩查質量。 2)技術創新:充分運用5G、雲端計算、AI等先進的新興技術,構建全省乃至全國獨樹一幟的智慧腫瘤篩查雲,可以支撐全省不斷開展各種不同腫瘤的大規模人群篩查;採用AI與雲端計算結合的技術,居民做完檢查後影像可自動轉發至雲端,並透過影像AI技術自動計算篩查結果,篩查準確性相當於中高年資醫生水平。AI分析結果按篩查要求自動回填醫生診斷所需填寫的欄位內容,極大節省篩查診斷醫生的閱片錄入資料的工作量。 3)場景創新:創新應用醫生移動端篩查,方便醫務工作者在人民群眾家門口開展腫瘤篩查工作。靈活支援高風險人群在日常就醫過程中隨時參與腫瘤機會性篩查,進一步拓寬腫瘤篩查渠道,增強腫瘤篩查的人群覆蓋面。對於重點風險人群及家屬,支援線上參與腫瘤篩查,廣泛提升居民對腫瘤防治的知曉率和參與度。 |
8. 展望
當前,出於政策合規、採購習慣和認知等方面的原因,中國企業尤其是中大型企業對於公有云的採納進展仍處於早期,但基礎設施上雲的趨勢仍在穩步推進。未來,隨著基礎設施上雲,基於雲上的資料分析和應用,以及跨組織、跨區域的資料共享和消費是值得關注的趨勢。
同時,隨著區塊鏈、隱私計算等技術的滲透,政策對於資料要素流通的倡導,以及資料資產定價機制的探索,相關基礎設施將逐步走向成熟,為資料要素的高效流通和應用、釋放更大的價值帶來可能
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2913838/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 2022愛分析・人工智慧應用實踐報告人工智慧
- 2022愛分析·低程式碼應用實踐報告
- 2022愛分析 地產科技應用實踐報告
- 報告解讀分享會報名開啟:2022愛分析·人工智慧應用實踐報告解讀人工智慧
- 2022愛分析·地產科技應用實踐報告(附下載)
- 愛分析:2022年智慧城市實踐報告(附下載)
- 2022愛分析· 資料智慧廠商全景報告
- 2022愛分析・資料庫廠商全景報告 | 愛分析報告資料庫
- 2021愛分析・智慧城市實踐報告
- 2022愛分析・智慧客服廠商全景報告 | 愛分析報告
- 2022愛分析・智慧決策廠商全景報告 | 愛分析報告
- 2022愛分析・智慧園區廠商全景報告 | 愛分析報告
- 2022愛分析·虛擬化活動實踐報告
- 愛可生榮獲《2022愛分析·中國資料智慧最佳實踐案例》
- 2022愛分析・銀行數字化實踐報告
- 2022愛分析·國央企數字化實踐報告
- 巨杉資料庫入選2022愛分析·資料智慧廠商全景報告資料庫
- 2022愛分析· RPA廠商全景報告 | 愛分析報告
- 2022愛分析· 流程挖掘廠商全景報告 | 愛分析報告
- 2022愛分析· 信創廠商全景報告 | 愛分析報告
- 2022愛分析 · DataOps廠商全景報告 | 愛分析報告
- 2022愛分析・汽車行業數字化實踐報告行業
- 2022愛分析・工業網際網路實踐報告
- 2022愛分析· 虛擬化活動廠商全景報告 | 愛分析報告
- 2022愛分析· 隱私計算廠商全景報告 | 愛分析報告
- 2023愛分析 · 認知智慧廠商全景報告 | 愛分析報告
- 走向全民開發——2022愛分析·低程式碼應用實踐報告解讀線上分享會成功舉辦
- 2022愛分析·國央企數字化實踐報告(附下載)
- 2022愛分析・採購數字化廠商全景報告 | 愛分析報告
- 2022愛分析·資料庫廠商全景報告 | 廠商徵集資料庫
- 愛分析:2022年時尚品牌數字化實踐報告(附下載)
- 2023愛分析 · 資料科學與機器學習平臺廠商全景報告 | 愛分析報告資料科學機器學習
- 2022愛分析・出海數字化系列報告之“出海實時互動與通訊”廠商全景報告 | 愛分析報告
- 2022愛分析 · 智慧決策廠商全景報告(附下載)
- 2021愛分析·中國房企數字化實踐報告
- 2022愛分析・消費品零售數字化廠商全景報告 | 愛分析報告
- 愛分析:2022年人工智慧廠商全景報告(附下載)人工智慧
- 2022愛分析· IT運維廠商全景報告運維