談談2023年資料治理的5大趨勢

2023年資料將繼續在商業行業和經濟體中流動。有了更多的渠道、更快的速度和包含更多的洞察力，組織將別無選擇，只能向資料驅動的業務模型發展。企業領導者面臨的問題是：它是積極主動和動態的——還是更加被動並參與追趕?

前幾年可能意味著資料氾濫使處理和提取見解變得更加困難。在大資料挑戰更多圍繞儲存和安全性的時代。現在情況正在發生巨大變化。我們看到越來越多的組織開始意識到其資料驅動的潛力。成功的用例廣泛且跨行業。

隨著資料價值達到新高，管理資料驅動決策的基本規則沒有改變。要做出正確的決策，您需要高質量的資料。您需要知道您擁有什麼、它位於何處、它的沿襲是什麼以及哪些業務規則決定了它的結構、內容和有效性。如果您的資料質量低下或您的資料資產管理不善，那麼您將無法使用它們做出正確的業務決策。

隨著資料的作用和資料驅動的決策制定的增加，以及可用資料的總體數量和速度的增長，資料治理也在不斷髮展，以滿足不斷變化的業務需求。2023年資料治理的最大趨勢是什麼?

“到2025年，30%的Gartner客戶將使用“需要共享”方法而不是傳統的“需要知道”方法來保護他們的資料。“

1.雲資料治理

從遠端工作到人工智慧，雲繼續支撐著現代商業的重塑。超過70%的組織已將至少部分工作負載遷移到公共雲中。然而，成為雲原生的競爭並非沒有風險，從預算超支到遷移延遲。

“效率低下導致平均每年公司的遷移支出比計劃多14%，而且38%的公司的遷移延遲超過四分之一。”

------麥肯錫

DevOps人才的持續短缺將加劇遷移和生態系統的挑戰。尤其是在受到高度監管的行業中，傳統和本地基礎設施佔很大比重，不同的工作負載不太適合“提升和轉移”方法。組織將需要尋找其他方法來保持競爭力，例如自動化和自助資料分析。

這些基於雲的管理系統提供了一種轉換原始資料並在正確的時間將其交付給正確的使用者的方法。無需IT或資料分析師先準備報告。相反，可以按需儲存和訪問大量資料。超越使用資料倉儲的傳統和靜態方法，而是為每個使用者及其相關用例帶來可定製的儀表板。

至關重要的是，基於雲的服務現在越來越多地得到AI和ML產品的支援。這些釋放了企業應用人工智慧最佳化現有流程的潛力，例如透過自動化工作流程。還可以根據歷史請求應用學習元素，確保現代資料治理的持續改進週期。

2.自適應人工智慧

在當今瞬息萬變的世界中，“一切照舊”的概念要求提高靈活性、活力和適應生存的準備。預計2023年將透過自適應人工智慧的興起來實現這一點。系統根據新資料不斷學習、調整和重新訓練模型。它不同於傳統的和更靜態的人工智慧，後者需要人類開發人員更新模型並防止它們變得過時或過時。

透過有效地“內建”持續學習，人工智慧將需要更少的人工干預。更重要的是，從資料中自適應學習的能力將產生新的見解來支援執行決策，從而使企業能夠引入應用可觀察性。這是可以分析基於AI的決策以獲得進一步建議的地方。然後可以建立一個反饋迴圈來跟蹤以前的結果。由此產生的基於證據的見解可用於提高預測的準確性併為未來的戰略提供資訊。

“到2026年，採用AI工程實踐來構建和管理自適應AI系統的企業將在執行人工智慧模型所需的數量和時間上超過同行至少25%。

------Gartner

自適應人工智慧有可能解決機器學習模型帶來的一些歷史挑戰。在離群值經常影響訓練資料的情況下，每次迭代都會以指數方式扭曲結果，而不是被忽視。當然，真正新穎的觀察或現實世界變化的影響可能很容易在小資料集中檢測到。而在AI所需的數量中，此類異常值更難確定。因此，自適應人工智慧可以降低這種演算法偏差的風險。透過動態調整流程，自適應人工智慧還可以透過應用更智慧的自動化來幫助企業確保更有效的治理。

3、實時資料

資料使企業保持運轉，但實時資料提供了競爭優勢。從以毫秒為單位進行交易的金融機構到批准付款和處理PII的電子商務商店。在按需自助服務體驗的推動下，對實時資料的進一步需求將來自不斷提高的客戶期望。與批次資料管道相比，建立實時資料管道還可以降低處理成本。批處理資料必須從源頭反覆查詢，而實時只需要對新資料或事件做出反應。

一些用例只需要基於批處理的管道來處理歷史資料。然而，隨著資料集和相關的治理要求越來越大，許多組織將不得不進行一些大型基礎設施呼叫。這種演變的規模，加上所需的處理能力和能力，是資料分析自動化到2023年將發揮如此重要作用的原因。從自動執行訂單的簡單指令碼，到自動檢測異常或風險活動的複雜演算法。

能夠成功利用自動化的組織將能夠提高生產力、更快地發現洞察力並更好地管理複雜變數。它只需要正確選擇平臺。資料生命週期可以自動化，但仍提供具有所需可見性級別的統一事實來源。

4.資料訪問治理

資料隱私、保護和治理在世界各國政府的待辦事項清單上名列前茅。

歐盟的GDPR、加拿大的PIPEDA和中國的PIPL——這些和其他國家已經表明，大規模調整立法是可能的。這種勢頭使資料治理和資料訪問控制成為2023年業務戰略的核心。

“截至2020年，全球10%的人口的個人資料受到現代隱私法規的保護。到2023年，預計全球總人口的65%的個人資料將受到隱私法規的保護。

當多個業務職能協調一致時，這些趨勢將在2023年及以後帶來許多機會。從外部角度來看，展示合規性可以作為品牌差異化因素，在消費者中建立信任。從內部角度來看，自動化資料治理和策略管理提高了整個企業的生產力。員工可以自由訪問他們需要的資料，而無需手動檢查他們是否合規。資料可以動態到達，用於聚合、共享和與其他BI工具整合。當然，它始於遵守必要法規的基本要求。以及靈活性和穩健性。當這些法規更新時，或要求對PII進行更多控制或圍繞無偏差演算法提高透明度時。一旦資料保護框架到位，資料治理就可以成為競爭優勢。重點不是簡單地控制資料，而是更多地關注需要資料的人。

5.資料民主化

到2023年，對資料民主化的需求將繼續上升，要求企業擺脫傳統的自上而下的資料治理方法。相反，重點將放在根據需要將資料交到儘可能多的被批准的資料消費者手中。合規資料將變得更易於訪問和按需提供。而不是期望人類專業知識必須經常透過手動和冗長的過程和瓶頸來尋找資料。

這將意味著商業智慧將更加面向自助服務，而不是IT的專利。隨著員工越來越多地將資料納入決策和協作，企業文化也將發生變化。

“組織越來越希望透過內部協作、跨生態系統的資料共享、直接商業化或作為AI驅動的業務決策的基礎來利用其資料來獲得業務優勢”

低程式碼的興起表明了非技術使用者可以實現的目標。從生成豐富的資料視覺化到構建應用程式。民主化資料——結構化和非結構化——是該過程的自然演變。在優先考慮可用性的地方，同時降低傳統資料治理流程的複雜性和剛性。

人工智慧和機器學習在即將到來的資料管理趨勢中的作用

資料管理自動化不僅使普通業務使用者能夠自行執行復雜的資料相關任務，而且確保滿足所有法規要求。因此，越來越多地使用AI和機器學習解決方案和工具已成為企業在日益規範的資料管理生態系統中保持相關性和合規性的必要條件。

■越來越多的關於地震等自然災害的研究將依賴AI、RPA和ML驅動的大資料來進行可操作的預測。

AI和ML將完全控制從資料中心湧出的大資料——試圖捕捉隱藏的關係，並在人類理解的邊界內保持和投射洞察力。

■隨著全球供應商在推出變革性AI和ML解決方案方面展開並駕齊驅的競爭，組織現在將擁有更廣泛的可用解決方案選擇。然而，技術和工具的廣泛選擇也會讓企業領導者和決策者進退兩難，難以做出最適合他們需求的選擇。

■人工智慧技術革命將為2023年及以後的資料分析創造新機遇。突然崛起資料分析自動化將需要企業使用人工智慧、機器學習、低程式碼、無程式碼工具和更多選項來自動化儘可能多的流程。

■協助管理客戶資料的工具也為實施創造了機會智慧自動化，這是另一個值得關注的AI趨勢。

■自動化支援資料管道的敏捷建立、管理和關閉，為任何規模或成長階段的組織提供他們在持續整合、持續部署(CICD)框架內所需的資料可見性。

■到2025年，人工智慧驅動，“上下文感知”分析模型將取代60%的基於傳統資料構建的現有模型。

最後，業務人員可以將這些AI和ML解決方案適當地整合到他們的業務流程中，以利用組織資料功能來做出有效的決策、分析當前趨勢並明確識別關鍵競爭優勢。