Shopify如何解決資料發現的挑戰

banq發表於2022-10-24

Shopify 撰寫了有關 Artifact、其資料發現和資料管理工具的文章，以提高生產力、提供更大的資料可訪問性並允許更高階別的資料治理。該部落格講述了構建資料發現服務的挑戰，從獲取後設資料到轉換、建模和應用以使其更易於使用。

資料使用的本質是問題驅動的，這意味著資料資產（表格、報告、儀表板等）是從底層資料資產中聚合而成的，以幫助制定特定業務問題的決策、提供機器學習演算法或作為輸入另一個資料資產。此過程重複多次，有時針對相同的問題，並導致大量資料資產用於各種用途。資料發現和管理是對這些資料資產和所有適用的後設資料進行分類的實踐，它可以為資料專業人員節省時間，增加資料回收，併為資料消費者提供對組織資料資產的更多訪問許可權。
為了理解 Shopify 的所有這些資料資產，我們構建了一個名為 Artifact 的資料發現和管理工具。它旨在提高生產力，提供更大的資料可訪問性，並允許更高階別的資料治理。

詳細點選標題

相關文章