2024 年大資料領域的關鍵預測

應對大資料的挑戰迫在眉睫，我們如何儲存、管理、治理和使用大資料，從未像現在這樣緊迫。人工智慧的進步可能會成為 2024 年的驅動力，但如果您的大資料失控，AI又能如何呢。

在新的一年裡，大資料會給我們帶來什麼?這誰也說不準，因為過去的事實證明未來很難預測。關於大資料預測，我們向業界專家求教。

資料庫提供商 Percona 的技術傳道者 Dave Stokes 說，人們對向量資料庫的興趣會激增。不過，這不會一直持續。

“向量資料庫將成為許多人討論的熱門新領域，但幾年後最終會被關聯式資料庫所取代。”Stokes預測說，“每隔 10 年左右，就會有一種‘新’資料庫技術被宣稱為關聯式資料庫的終結者，而開發人員在加入這一行列後才會重新發現，關係模型非常靈活，關聯式資料庫供應商可以輕鬆地將新技術應用到自己的產品中。”

不同資料孤島的存在一直是資料工程師的心頭之痛。不過，據 Hammerspace 市場營銷高階副Molly Presley稱，隨著集中式資料編排的發展，2024 年將帶來一線希望。

“企業將開始從‘儲存和複製’轉向資料編排(data orchestration)的世界，”Presley說。“在人工智慧進步的推動下，現在已經有了強大的工具來分析資料並提出可行的見解。然而，檔案儲存基礎架構並沒有跟上這些進步的步伐。與那些試圖透過將檔案副本從一個地方移動到另一個地方來管理儲存孤島和分散式環境的解決方案不同，資料編排可以幫助企業將資料從不同的孤島和位置整合到一個單一的名稱空間中，並在資料最有價值的時間和地點自動放置資料，使其更易於分析和得出見解。”

我們儲存的大部分資料都是非結構化資料。MinIO 聯合創始人兼執行長 Anand Babu "AB" Periasamy 表示，隨著資料的堆積，管理資料將成為一項真正的挑戰，但 2024 年將帶來管理資料的新方法。

“2024年，隨著人工智慧應用的飛速發展，我們將看到真正的非結構化資料(音訊、影片、會議記錄、會談、簡報)的爆炸式增長。從人工智慧的角度來看，這些內容具有很強的‘可學習性’，將其收集到人工智慧資料湖中將大大提高整個企業的智慧能力，但同時也會帶來獨特的挑戰，”Periasamy 說。“在保持數十 PB 的效能方面存在明顯的挑戰。傳統的 SAN/NAS 解決方案通常無法解決這些問題，它們需要具備現代高效能物件儲存的屬性。這就是為什麼大多數 AI/ML 技術(如 OpenAI、Anthropic、Kubeflow)都使用物件儲存的原因，也是為什麼大多數資料庫都轉向以物件儲存為中心的原因。”

根據 Forrester 的資料，企業管理的非結構化資料將在 2024 年翻一番，這為人工智慧開闢了潛在的利潤豐厚的新選擇。

“全球資料和分析決策者表示，他們組織管理的資料中只有 27% 是非結構化資料。”隨著企業為客戶和員工推出更多對話式體驗，生成式人工智慧將使這一比例翻番。企業將爭先恐後地儲存、分析和理解這些大量的非結構化資料。這一趨勢將體現在資料管道領域，2024 年新建資料管道的 80% 將用於非結構化資料的攝取、處理和儲存。

Faction, Inc.技術和運營副總裁Jeff Heller說，2024年，全球許多企業將實施資料優先架構，以簡化資料管理戰略。

“公司正在經歷正規化轉變;他們要麼選擇一個雲，要麼選擇一個架構來滿足他們的需求，”Heller說，“2024年，企業將需要研究什麼樣的雲最適合他們，以充分利用他們的資料。基於短期目標而非長期增長做出的決策將導致資料鎖定。資料需要準確且可訪問，以便及時做出決策。對於企業來說，資料管理正變得越來越複雜。高效的資料管理戰略至關重要。企業將轉向能夠從所有云的首選位置訪問單一資料集的解決方案，以確保資料的準確性並提高效率。”

資料管道商店 Matillion 的首席產品官 Ciaran Dynes 表示，人工智慧革命正在觸及生活的方方面面，包括大資料管理。

“在過去的十年裡，資料工程師的角色發生了翻天覆地的變化。”Dynes說，未來 12 個月將是科技公司簡化資料工程師生活的一年。市場上將出現各種工具，這些工具將被整合到現有平臺中，以便將生成式人工智慧新增到現有資料管道中，並能夠在內部部署這些模型，這樣使用者就可以像使用 ChatGPT 一樣與這些模型進行實時互動。無論市場上出現什麼樣的工具，明年都會出現對資料工程師的巨大需求，他們需要接受再培訓以掌握提示工程、如何微調這些模型以及如何大幅提高生產率。明年，資料工程師的生活將變得更加有趣。

Snowflake 產品管理總監Jeff Hollan認為，到 2024 年，您將更加重視資料工程師。

“很多人都在談論人工智慧革命將取代資料工程師的角色。”Hollan 說，“事實並非如此，事實上，他們的資料專業知識將比以往任何時候都更加重要，只是以新的和不同的方式工作而已。為了跟上不斷變化的形勢，資料工程師需要了解生成式AI如何增加價值。資料工程師建立和管理的資料管道也許將是企業與大型語言模型連線以釋放價值的第一個地方。資料工程師將是瞭解如何使用模型並將其插入資料管道以自動提取價值的人。他們還需要監督和理解人工智慧工作。”

當你的資料由第三方在雲端管理時，你可能會覺得自己的資料失去了控制。Ngrok公司首席技術Peter Shafton預測，2024年將是你開始奪回資料控制權的一年。

“2024年的資料管理將明顯轉向更高的可訪問性和控制性，”Shafton說。過去十年間，人們紛紛湧向基於雲的資料解決方案，而現在，鐘擺又開始擺向更多的自我管理。這種轉變背後有兩個原因：隱私和成本效益。資料洩露的持續威脅和對更嚴格訪問控制的需求，使企業對完全依賴外部雲平臺持謹慎態度。此外，雲資料儲存和處理成本的不可預測性也促使企業尋求更具可預測性和成本效益的解決方案。這種趨勢還得益於可訪問和使用者友好型資料管理工具的激增，這些工具通常源自 Uber、Netflix 和 Airbnb 等科技巨頭率先推出的開源解決方案。

幾年來，“資料智慧”(data intelligence)一詞不斷髮展壯大，指的是企業為其資料提供的各種資料管理工具。Nasuni公司首席創新官Jim Liddle說，未來12個月將是這一概念的成敗關鍵期。

“許多公司儲存大量資料，僅僅是因為他們不知道資料中包含了什麼，或者他們是否需要這些資料。”Liddle 說，“資料是否準確和最新?是否正確分類並可‘搜尋’?是否合規?是否包含個人身份資訊(PII)、受保護健康資訊(PHI)或其他敏感資訊?是否按需提供或存檔?在未來一年中，所有公司都將被迫接受人工智慧對資料質量、治理、訪問和儲存的要求，然後才能推進數字化轉型或改進計劃，從而獲得理想的競爭優勢。”

Coalesce 公司執行長兼聯合創始人 Armon Petrossian 表示，如果不能保持資料的質量和完整性，那麼你就可以與 2024 年的 GenAI 計劃說再見了。

“2024年，隨著資料從有價值的資產演變為蓬勃發展的企業的生命線，技術領域將見證一場變革性的轉變，”他說。“忽視資料質量、完整性和資料血緣的組織將面臨挑戰，不僅要做出明智的決策，還要充分發揮生成式人工智慧、LLM和ML應用程式及用例的潛力。隨著時間的推移，我預測，隨著新一年的到來，那些忽視構建強大的資料基礎和戰略的組織將發現，在快速發展的科技行業中保持領先地位越來越具有挑戰性。那些無法適應並優先考慮資料基礎的企業將難以超越競爭對手，甚至可能在這個競爭激烈的環境中面臨生存風險。”

資料血緣構成了持續的挑戰。Altair 雲端計算首席工程師 Yeshwant Mummaneni 預測，2024 年，區塊鏈將成為救星。

“隨著AI/ML模型在關鍵決策中扮演關鍵角色，無論是受到人類監督還是在完全自主的方式下，模型的可追溯性/來源變得至關重要，”Mummaneni說。“區塊鏈的基礎技術使得記錄的不可篡改性、數字身份、簽名和驗證成為可能，並利用密碼學實現這一目標，這將成為企業AI提供防篡改模型來源的關鍵方面。”

SAS公司的高階分析產品經理Spiros Potamitis表示，合成資料將是2024年另一項蓬勃發展的資料趨勢。

“隨著企業面臨更嚴格的監管，跨國共享敏感資料變得更具挑戰性，合成資料將得到廣泛應用。”Potamitis說，“合成資料可以高精度地捕捉原始資料來源的統計屬性，從而克服監管障礙，為企業帶來創新。”

ALTR 執行長James Beecham認為，雖然您的大資料儲存庫看上去是正確的，但 2024 年將是資料治理“左移”的一年。

“企業將在資料旅程的早期階段，即雲資料倉儲左側實施資料治理和安全措施，這不僅可以保護敏感資訊，還可以提高所收集資料的整體質量，”Beecham說。“隨著資料隱私和安全方面法規的增加，優先考慮資料治理和安全的企業將更好地遵守這些法規。在2024年，預計將有越來越多的公司優先關注左移資料治理和安全——使他們能夠啟動強大的資料訪問治理和雲資料倉儲和Lakehouse中的資料安全功能，並將其擴充套件到源系統中的資料。”

Denodo 執行長 Angel Viña 說，2023 年，資料網格(Data Mesh)在其他技術趨勢面前有點退居二線(大家的目光在GenAI)，但在 2024 年，資料網格的優勢將變得格外明顯，不容忽視。

“2024年將是資料網格崛起的轉折點，它順應了資料的內在分散式特性，”Viña說。“在資料網格中，IT的角色轉變為為資料領域的工作提供基礎，即在整個企業中建立和分發資料產品。轉折點是人們意識到，資料產品應與其他產品一樣被視為同等重要的產品……在以資料為中心的時代，僅僅對資料進行包裝是不夠的;企業需要提升整個終端使用者體驗。”

作者：Alex Woodie