2021年大資料和分析4大趨勢

自動駕駛汽車、仿生機器人和自主送貨的無人機是我們今天看到的數字化轉型的尤物，不時出現在新聞頭條。不過如果沒有第四次工業革命的石油--資料以及分析技術來讓我們解讀和理解資料，這些都是不可能實現的。

大資料是一個術語，它被用來描述處理資料的技術和實踐，這些資料不僅數量大，速度快，而且有許多不同的形式。埃隆·馬斯克的自動駕駛汽車以及傑夫·貝佐斯的無人便利店背後，都有一個複雜的大資料系統和一支聰明的資料科學家隊伍，他們已經把願景變成了現實。

“大資料”這個詞可能不像幾年前那樣無處不在，因為它所體現的許多概念已經徹底融入了我們周圍的世界。不過大資料並沒有過時，事實上，即使在今天，大多陣列織也在努力從其所能接觸到資料中獲得價值。作為一種商業實踐，大資料仍然處於非常初級的階段。

因此，以下是我對一些關鍵趨勢的看法，這些趨勢將影響今年和不久的將來如何將資料和分析用於工作和生活中。

AI推動更深入的洞察力和更復雜的自動化程式

人工智慧(AI)改變了分析領域的遊戲規則。由於公司及其客戶生成了大量結構化和非結構化資料，自動手動分析也只能觸及表面。

今天使用的人工智慧，最簡單的思維方式是計算機和軟體能夠自我學習。舉個簡單的例子，我們的客戶中，哪一個對我們最有價值?

如果是傳統的、非學習型的計算方式，可以透過建立一個資料庫來探究一下哪些客戶花錢最多。但是，如果出現了一個新客戶，第一次交易就花了100美元，該客戶是否比過去一年每月消費10美元的客戶更有價值?要了解這一點，我們需要更多的資料，比如客戶的平均終身價值，客戶本身的個人資料，比如他們的年齡、消費習慣或收入水平也會很有用!

從資料集中解讀、理解和得出見解是一項複雜得多的任務。這就需要人工智慧，因為它可以嘗試解釋所有資料，無論是否理解資料之間的關聯，並根據我們所知道的一切預測客戶終身價值。它不一定會得出“正確”或“錯誤”的答案，但是能夠提供一個機率範圍，然後根據這些預測的準確性進行改進。

探索和解釋資料的新方法

資料視覺化是分析過程中的“最後一公里”，然後我們才會根據我們的發現採取行動。傳統上，人機互動是透過視覺化來進行的，採取圖形、圖表和儀表盤的形式，突出關鍵的發現，幫助我們獲得資料價值。

問題是，並不是所有的人都能洞察隱藏在一堆統計資料中的潛在價值。隨著組織內每個人從資料中獲得洞察越來越重要，新的技術和方法也不斷髮展。

其中一個取得重大突破的領域是人類語言的使用。分析工具可以讓我們對資料提出問題，並以清晰的人類語言獲得答案，這將極大地增加對資料的訪問，並提高組織的整體資料能力。這一技術領域被稱為自然語言處理(NLP)。

另一個是新技術，沉浸式體驗發揮資料價值。擴充套件現實(XR)這個術語包括虛擬現實(VR)和擴增實境(AR)，他們是推動創新的動力。VR可以用來建立新型的視覺化，讓我們從資料中傳遞出更豐富的意義，而AR則可以直接向我們展示資料分析的結果如何實時影響世界。例如，一個試圖診斷汽車問題的機械師可能會戴著AR眼鏡檢視發動機，並預測哪些部件可能有問題，哪些部件可能需要更換。在不久的將來，我們應該期待視覺化或資料交流的新方式的應用。

混合雲和邊緣計算

雲端計算是另一個對大資料分析方法產生巨大影響的技術趨勢。無需昂貴的本地基礎設施的情況下，就能夠訪問龐大的資料儲存和對實時資訊採取行動，這推動了按需提供資料驅動服務的應用程式和初創公司的發展。但完全依賴公有云提供商並不是最佳業務模式，當你將整個資料操作託付給第三方時，難免對資料安全和治理產生擔憂。

許多公司現正在嘗試混合雲系統，其中一些資訊儲存在AWS、微軟Azure或谷歌雲等公有云伺服器上，而其它個人或敏感資料則部署在本地或私有云。雲提供商也不斷佈局混合雲，提供“雲-本地”解決方案，提供公共雲的所有豐富功能和穩健性，但允許資料所有者完全保管其資料。

邊緣計算是另一個強勁的趨勢，它將在未來一年內影響大資料和分析。從本質上講，邊緣計算意味著裝置在收集資料的地方處理資料，不用將其傳送到雲端進行儲存和分析。有些場景對時延要求很高，比如從自動汽車上的感測器收集的資料，需要及時處理。此外，當消費者可以直接從他們的裝置中收集洞察力，而無需將資料傳送給任何第三方時，隱私也有了一定的保障。例如，谷歌新安卓手機上的Now Playing功能會持續掃描環境中的音樂，因此它可以告訴我們超市中播放的歌曲或我們正在觀看的電影的名稱。這在純基於雲的解決方案中是不可能的，因為使用者會拒絕向谷歌傳送全天候的音訊環境流。

DataOps的崛起

DataOps是一種方法和實踐，它借鑑了軟體開發中的DevOps框架。DataOps(資料操作)是一門新興學科，將DevOps團隊與資料工程師和資料科學家角色結合在一起，提供一些工具、流程和組織結構服務於以資料為中心的企業。

DataOps工作不需要任何正式的培訓，對IT職業感興趣的人希望從事創新的專案，這通常是資料專案，DataOps為其提供了一個很好的機會，我們還將看到“DataOps即服務”供應商的普及，提供資料流程和管道的端到端管理，並按需付費。這將繼續降低小型組織和初創組織的進入門檻，這些組織對新的資料驅動服務有很好的想法，但缺少實現這些想法所需的基礎設施。

原作者：Bernard Marr