Databricks收購了以AI為中心的資料治理平臺Okera

danny_2018發表於2023-05-06

Databricks 今天宣佈收購了 Okera,這是一個專注於 AI 的資料治理平臺。兩家公司沒有透露交易價格。根據 Crunchbase 的資料顯示,Okera 此前共籌集了近 3000 萬美元。投資者包括 Felicis、貝塞默風險投資公司、Cyber Mentor Fund、ClearSky 和 Emergent Ventures。

資料治理一直是一個熱門話題,Databricks 在今天的公告中指出,最近對 AI 的關注突顯了之前處理資料治理的方法存在不足。公司在一篇部落格文章中解釋道:“從歷史上看,各種資料治理技術,無論多先進,都依賴於在某個狹窄的層面上實施控制,並且要求工作負載適應這個層面的‘圍牆花園’。”

然而,在大語言模型(LLM)時代,這種方法已經不再奏效,原因有兩個:一是資產數量增長過快(部分原因是大量的機器生成內容),二是 AI 整體格局變化迅速,標準訪問控制無法足夠快地捕捉到這些變化。

Okera 使用了一個 AI 驅動的系統,能夠自動發現和分類個人身份資訊,對其進行標記並應用規則(重點關注後設資料),同時採用了一個無程式碼介面。

正如 Databricks 團隊所強調,公司對收購 Okera 感興趣的一個原因是其自動發現和分類個人身份資訊的功能,另一個原因是該服務的隔離技術,它可以在不產生重大開銷的情況下對任意工作負載實施治理控制。這項技術目前仍處於內部預覽階段,但極有可能是 Databricks 收購這家公司的主要原因之一。

Databricks 在幾周前推出了自己的大型語言模型,現在計劃將 Okera 的技術整合到其 Unity Catalog 中,這是一種現有的資料和 AI 資產治理解決方案。公司還提到,此次收購將使 Databricks 能夠公開更多 API,供其資料治理合作夥伴使用,從而為客戶提供解決方案。

隨著此次收購,Databricks 還吸納了 Okera 的聯合創始人兼 CEO Nong Li。Nong Li 是 Apache Parquet 資料儲存格式的創造者,在加入 Cloudera 工作以及建立 Okera 之前,他曾在 Databricks 短暫的擔任過工程師。他是 Okera 的創始 CTO,並在 2022 年 2 月擔任 CEO。

在今天的公告中,Nong Li 寫道:“隨著資料在各種應用中的數量、速度和種類不斷增長,CIO、CDO 和各領域的 CEO 需要平衡這兩個通常相互矛盾的任務,更別說歷史上在多個雲環境中管理訪問策略是費時且令人痛苦的。許多組織沒有足夠的技術人才來大規模管理訪問策略,尤其是在大語言模型蓬勃發展的今天。他們需要的是一個現代化、以 AI 為核心的治理解決方案。我們為能加入 Databricks 團隊感到非常興奮,將我們在為一些全球最具前瞻性的企業構建安全、可擴充套件且簡單的治理解決方案方面的專長帶給他們。”

來自 “ 分散式實驗室 ”, 原文作者:張向前;原文連結:https://mp.weixin.qq.com/s/tUuRPrTPZa3CiFJXusGCOQ,如有侵權,請聯絡管理員刪除。

相關文章