報告指出資料質量問題正在影響公司業績

如果你的資料倉儲開始變得像郝薇香小姐的破舊豪宅，你可能有資料質量問題。

來自開源資料質量工具Great Expectations對500名資料專業人員的一項新調查顯示，77%受訪者表示有資料質量問題，91%的人指出資料質量問題正在影響公司的業績。只有11%受訪者表示沒有與資料質量相關的問題。

“糟糕的資料質量和管道債務造成利益相關者之間的組織摩擦，導致信心下降等後果，”Superconductive公司的執行長兼聯合創始人Abe Gong說。“這項調查清楚地表明，資料質量問題很普遍，它們正在損害業務成果。”

作為資料治理和管理的一個組成部分，資料質量是對資料集的整體完整性的衡量，目標是一致性。在Great Expectations最近的一篇博文中，作者Sam Bail列出了資料質量的六個方面。

• 準確性。資料是否準確地反映了現實?

• 完備性。用例所需的所有資料都是可用的嗎?

• 獨特性。資料是否存在不必要的重複?

• 一致性。資料是否沒有衝突的資訊?

• 時效性。對於所需的使用情況，資料是否足夠新?

• 有效性。資料是否符合預期的格式?

該公司指出，不符合這些特性的資料會給企業帶來問題，比如使其“難以看到終端使用者或服務的'單一檢視'，降低生產力，模糊可靠的效能指標，並使開發團隊和預算因資料遷移任務而不堪重負”

根據調查，資料從業者表示，低質量的資料導致缺乏文件(31%)，缺乏工具(27%)，以及團隊之間缺乏理解(22%)。太多的時間被花在資料準備上，導致生產和分析團隊出現重大延誤。

此外，研究發現，不到一半的受訪者表示對自己公司的資料高度信任，13%的人表示他們對公司的資料信任度較低。這些缺乏信任的專業人士將其歸咎於破碎的應用程式或儀表板，基於不可靠資料做出的糟糕決策，對指標缺乏共同理解，以及資料分散在不同的地方，這可能會導致不同團隊之間的衝突與不和。

資料質量計劃可以提供幫助，它們通常從全面評估資料的當前狀態開始。有了這些資訊，公司可以定義和應用某些規則，或期望，以解決資料質量的差異，然後繼續監測整個組織的系統和管道。在接受調查的人中，89%的人說公司領導支援他們的資料質量工作，52%的人認為他們的領導對資料質量的重要性有高度的信任。該研究提到，資料質量工作包括制定資料質量計劃和預算(22%)，使用特定的資料質量工具(19%)，手動檢查資料(14%)，以及建立自己的系統(15%)。

Great Expectations稱自己是一個 “通過資料測試、文件和剖析擊敗管道債務的開源工具”，其使命是“徹底改變資料協作的速度和完整性”。該公司在今年2月籌集了4000萬美元的B輪融資，計劃加強開源版本，並開發一個付費的Great Expectations雲版本，其中包括一套管理資料質量的協作編排工具。

“資料質量對於促進整個組織有信心地做出決策至關重要，使人們能夠更好理解這些資料的含義和用途。這就是為什麼一個組織的每個層面都應該支援資料質量工作，從資料科學家和工程師到對決策結果有信心的C-suite和董事會，”Gong說。