近日,全球領先的資訊科技研究和顧問公司Gartner指出,增強型分析(augmented analytics)、持續型智慧(continuous intelligence)與可解釋型人工智慧(explainable AI)是資料與分析(data and analytics)技術領域內的主要趨勢之一,並有可能在未來三到五年帶來重大顛覆。
Gartner研究副總裁Rita Sallam表示,資料與分析領導者必須考察這些趨勢對業務帶來的潛在影響,並相應調整業務模式與運營,否則將失去與他人競爭的優勢。
她指出:“從支援內部決策到持續型智慧、資訊產品以及任命首席資料官,資料和分析始終在不斷演化。深入瞭解推動這一演化的的技術趨勢並根據業務價值對其加以優先排序,至關重要。”
Gartner副總裁兼傑出分析師Donald Feinberg認為,數字化顛覆帶來的挑戰——即資料太多,同樣也創造了前所未有的機遇。由雲驅動的海量資料將實現更強大的處理能力,意味著現在可以大規模訓練與執行演算法,最終發揮出人工智慧的全部潛力。
Feinberg先生表示:“資料的規模、複雜性與分散性質,以及數字化業務所需要的行動速度與持續型智慧,意味著僵化且集中的架構與工具將會分崩離析。任何企業的長久生存都將取決於能夠響應各種變化的以資料為中心的靈活架構。”
Gartner建議資料及分析領導者與高階業務領導一同討論他們至關重要的業務優先事項,並探索如何利用以下主要趨勢獲得競爭優勢。
趨勢一:增強型分析
增強型分析是資料與分析市場內的下一波顛覆性技術。它利用機器學習(ML)與人工智慧改變分析內容的開發、消費與共享方式。
到2020年,增強型分析將成為分析與商業智慧(analytics and BI)、資料科學與機器學習平臺(data science and ML platforms)以及嵌入式分析新增購買的主要驅動力。資料與分析領導者應在平臺功能逐漸成熟時採用增強型分析。
趨勢二:增強型資料管理
增強型資料管理利用機器學習功能和人工智慧引擎來生成企業資訊管理類別,其中包括資料質量、後設資料管理、主資料管理、資料整合以及資料庫管理系統(DBMS)自我配置與自我調整。它可以自動執行許多手動任務,便於不太精通技術的使用者能夠更加自主地使用資料,同時也讓高技能的技術人員專注於價值更高的任務。
增強型資料管理將以往僅用於審計、沿襲及報告的後設資料轉而支援動態系統。後設資料正在從被動走向主動,並且正在成為所有人工智慧/機器學習的主要驅動因素。
到2022年底,通過加入機器學習與自動化的服務級管理,資料管理手動任務將減少45%。
趨勢三:持續型智慧
到2022年,超過一半的重要新業務系統將嵌入持續型智慧,使用實時情景資料改善決策。
持續型智慧是一種設計模式,其中實時分析與業務運營相結合,處理當前與歷史資料,以便為事件響應行動提供建議。它能夠實現自動化決策或為決策提供支援。持續型智慧採用多種技術,如:增強型分析、事件流處理、優化、業務規則管理以及機器學習。
Sallam女生表示:“持續型智慧讓資料與分析團隊的工作發生重大變化。這既是一個巨大的挑戰,也是一個極大的機會,因為分析與商業智慧團隊可以在2019年幫助企業做出更明智的實時決策。它可以被視作一種終極運營型商業智慧。”
趨勢四:可解釋型人工智慧
人工智慧模型越來越多地被用於增強與代替人類決策。但在某些情況下,企業必須證明這些模型是如何做出決策的。為了與使用者及權益方建立信任,此類應用的領導者必須讓這些模型變得更易解讀與更易理解。
不幸的是,大多數這些先進的人工智慧模型都是複雜的黑盒子,無法解釋為何提出了某條具體建議或決策。而資料科學和機器學習平臺中的可解釋型人工智慧將運用自然語言從準確性、屬性、模型統計及特性等方面自動生成模型提供解釋說明。
趨勢五:圖形
圖形分析(graph analytics)是一系列可用於探索企業機構、人員與交易等相關實體間關係的分析技術。
2022年前,圖形處理和圖形資料庫管理系統的應用將以每年100%的速度快速增長,以持續加速資料準備,並支援更加複雜且適配的資料科學。
圖形資料儲存可以跨越資料筒倉(data silos)高效地建模,探索與查詢具有相互複雜關係的資料,但Gartner認為,特殊的技能需求限制了該技術目前的應用。
為了滿足對於複雜資料的綜合查詢需求,圖形分析將在未來幾年內得到發展。利用SQL查詢完成大規模的複雜查詢並不總是切實可行,有時甚至無法完成。
趨勢六:資料結構
資料結構(data fabric)支援分散式資料環境內的無摩擦資料訪問與共享。其支援單一與一致的資料管理框架,通過克服孤立儲存的獨特設計,實現無縫的資料訪問與處理。
到2022年,定製式資料結構設計將主要用作靜態基礎架構,促使各企業機構為完全重新的設計投入資金,進而實現更具動態的資料網格(data mesh)方法。
趨勢七:自然語言處理/會話式分析
到2020年,50%的分析查詢將通過搜尋、自然語言處理(NLP)或語音生成,或者將自動生成。分析複雜資料組合以及讓企業機構中的每個人都可以訪問分析的需求將推動更廣泛的採用,從而讓分析工具變得如同搜尋介面或與虛擬助理進行對話一樣簡單。
趨勢八:商業人工智慧與機器學習
Gartner預測,到2022年,75%利用人工智慧與機器學習技術的新終端使用者解決方案將採用商業解決方案而非開源平臺構建。
商業廠商現在已經在開源生態系統中建立了聯結器,為企業提供擴充套件與推廣人工智慧及機器學習所需要的功能特性,例如專案與模型管理(project & model management)、複用(reuse)、透明度(transparency)、資料沿襲(data lineage)、平臺凝聚力(platform cohesiveness)以及開源技術所缺乏的整合。
趨勢九:區塊鏈
區塊鏈與分散式分類帳(distributed ledger)技術的核心價值主張是在非置信的參與者網路中提供去中心化信任。對分析使用案例帶來的潛在結果非常大,尤其是對於利用參與者關係及互動的那些使用案例所帶來的影響。
然而,尚需幾年時間才會有四或五項主要區塊鏈技術佔據主導地位。在此之前,技術終端使用者將被迫與由其主導客戶或網路所指定的區塊鏈技術及標準相整合。這包括與您現有的資料及分析基礎架構進行整合。整合成本可能會超過任何潛在收益。區塊鏈是資料來源,而非資料庫,不會取代現有的資料管理技術。
趨勢十:持久記憶體伺服器
在採用記憶體中計算(IMC)所支援的架構方面,新型持久記憶體(persistent memory)技術將有助於降低成本與複雜度。持久記憶體代表著DRAM與NAND快閃記憶體之間的新記憶體層,可為高效能工作負載提供經濟高效的大容量記憶體。它將有望改進應用效能、可用性、啟動時間、叢集方法與安全實踐,同時保持成本可控;通過減少資料複製需求,還將有助於企業機構降低其應用與資料架構的複雜度。
Feinberg先生表示:“資料量正在快速增多,實時將資料轉化成價值的緊迫性也在同樣快速增加。新的伺服器工作負載不僅需要更快的CPU效能,而且還需要大容量記憶體及更快的儲存。”