銀彈谷:治理陷阱與趨勢洞察

我的程式碼歲月發表於2022-04-21

資料埋點的大而全陷阱 

抓大放小,從核心資料著手:資料埋點是指標對特定使用者行為或事件進行捕獲,處理和傳送的相關技術及其實施過程,是資料治理中範圍圈定的一環。 出於對投資回報的考慮,客戶往往傾向於做一個覆蓋全業務和技術域的、大而全的資料治理專案,將每個資料都納入到數 據治理的範圍中,這就導致進行資料埋點時放縱提需,埋點需求爆炸,給後續的資料治理和資料分析帶來隱患。為避免數 據埋點的大而全陷阱,企業應該做到抓大放小,謹記2/8原則——80%的問題產生於20%的系統和資料——從最核心的系 統、最重要的資料、最容易產生問題的地方開始著手做資料治理。


什麼是資料埋點:資料埋點是指標對特定 使用者行為或事件進行捕獲, 處理和傳送的相關技術及其實施過程,是資料治理中範圍圈定的一環。針對不同行為的埋點採集,從埋點在應用中的位置也可 以區分成前端埋點、後端埋點等;從實現手段上劃分,可分為:程式碼埋點、視覺化埋點、全埋點等。

資料埋點的大而全陷阱:出於對投資回報的考慮,客 戶往往傾向於做一個覆蓋全業務和技術域的、大而全的資料治理專案,每個資料他們希望 都能被納入到資料治理的範圍中。這就需要儘可能捕獲、處理和傳送產品的大量事件的相 對全面的屬性,而這就挾持了 廠商進行“大而全”的資料埋 點,但“大而全”的資料埋點會隨之帶來許多問題。

潛在危害:大而全的資料埋點會佔用大量空間和流量,資料治理後 得到資料質量低,後續資料 分析困難,從而溝通協作和 整體專案推進出現問題。

預防措施:埋點需求和設計需要有明確的提需規範和把控。 a.需求側:確立好自身AI 應用的需求,以及需求對應 下的資料範圍。 b.供給側:充分了解客戶 的公司架構與資料結構,引 導客戶選定可行性高、實施 性高的應用落地與資料框


資料治理體系的流轉運營:溝通、組織、聚焦、文化 

為能充分發揮資料治理的價值、避免一次性資料治理,供需兩側要齊心協力,共同、持續、優質地運營資料治理體系。數 據治理是系統性工程,是由上至下指導,由下而上推進的體系工作。因此,供給側企業與需求側廠商,在體系運營和建設 方面需形成共識,具備明確的目標、合理的組織、嚴格的監管、完善的系統,這樣才能使資料治理工作得到保障,達到體 系的流轉運營。


完善資料安全治理框架,確保資料安全合規

資料洩露事件在大資料時代層出不窮,隨著行業新網路形態、新技術以及新應用場景的發展,新的資料型別、資料生產方 式、資料處理方式和終端形式不斷湧現,資料安全挑戰也隨之加劇。國家已出了各級各行業的法律法規及配套檔案,不斷 加大資料安全與隱私保護的監管力度。對此,企業需建立符合企業管理現狀及發展需求的資料安全治理框架,資料在採集、 儲存、傳輸、處理上均有對應的執行管理依據,做到挖掘資料資產、發揮資料價值的同時,確保資料全週期的安全與合規。


將資料治理流程化、自動化、智慧化

資料規模的指數級增長給資料治理工作帶來巨大壓力,傳統人工方式做資料的清洗、分辨與調優使治理工作耗時冗長,帶 來高昂的人力成本,且愈發難以滿足智慧應用對資料在規模量與質量的高要求,傳統的人工資料治理工作已變得捉襟見肘。 如今,人工智慧和RPA等技術手段已被逐漸應用於資料治理的模型管理、質量管理、資產管理、後設資料管理等模組,最終 實現資料系統的“自治與自我進化”。總體來看,前沿技術手段應用可以讓資料治理工作趨於流程化、自動化與智慧化, 同時讓資料變得可擴充套件、更負責可溯、更可信,已然成為未來資料管理髮展的必由之路。


最後,珠海銀彈谷資料治理服務中心表示:資料治理有效的解決企業資料難以整合利用、資料質量差亂、資料共享服務低、資料資產管理手段等痛點,為企業提供高效的資料分析工具!


詳情請檢視報告,文章主要資訊來源《2022年中國面向人工智慧的資料治理行業研究報告》.


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69982242/viewspace-2888030/,如需轉載,請註明出處,否則將追究法律責任。

相關文章