資料質量和資料治理為什麼重新引起關注？

資料質量和資料治理為什麼重新引起關注？

原文:   DataQuality and Data Governance: A Resurgence of Interest and Future Maturity

來源: http://www.dataversity.net/data-quality-data-governance-resurgence-interest-future-maturity/

導讀：

1. 近期使人們對資料質量和資料治理重新產生興趣的驅動因素主要有兩個，分別是合規性和提高市場競爭力的渴望。

2. 在未來五年左右的時間裡，隨著各行各業努力鑽研這些概念並試圖管理那些資料，我們將會看到這方面的大幅變化。這就是關於資料質量和資料治理的實踐和工具真正的發展方向。

3. 人們越來越意識到，人工智慧可以應用於生活中的一切，不管是簡化他們的工作，還是幫助他們做出明智的決定。Syncsort預測，在2018年，機器學習和人工智慧將在各種技術中更加普及。從產品到分析，再到資料質量和資料治理，人工智慧適用於一切。

   
   

原文翻譯：

資料治理和資料質量已經存在了相當長的時間，但這些重要的資料管理實踐近來又重新引起關注。Dataversity最近採訪了Syncsort產品管理總監哈拉爾德·史密斯（Harald Smith），就資料治理和資料質量的這種復興和未來發展方向，請史密斯談了談他的看法。

他們的網站寫道：“Syncsort是一家為大型機提供大資料解決方案的領先企業。”Syncsort的關注點是大型機的高效能資料排序。史密斯說：

“在高效能資料移動和轉換的過程中，排序是關鍵的一步。但有一個大問題要解決，那就是‘如何有效地處理移動中的資料？’”

 

一年多以前，Syncsort收購了Trillium Software。史密斯說，Trillium現在為Syncsort提供了“一個非常廣泛的資料管理組合”，而對核心遺留資料的獲取已經成為一個重要課題。Trillium出身自資料質量領域，其關注點是解決核心資料清理、標準化和重複項刪除方面的挑戰。

史密斯說，憑藉這次收購和新擴充套件的資料管理組合，“我們現在向全球大約6000家企業提供產品。我們在金融服務領域一直非常突出，在零售和酒店業等領域也是如此，這些領域非常重視”從客戶資料中尋找洞見。

資料質量和資料治理的復興

史密斯認為，近期使人們對資料質量和資料治理重新產生興趣的驅動因素主要有兩個，分別是合規性和提高市場競爭力的渴望。他說，自從2008年金融危機以來的這十年中，金融服務行業很多時候都在努力解決合規性問題，但歐洲的資料隱私法規（特別是《通用資料保護條例》）正在對所有行業產生重大影響。

 

史密斯認為，美國不會在2018年出臺類似法規，但他說，“任何跨國企業都必須解決這一問題。你不會真的想處於被動局面”。他指出，有些工具可以識別、監控並按要求刪除資訊型別，即使是在未必預料到的地方。

 

“你希望對資料有那樣的瞭解，這肯定強烈地促使你採用各種工具，幫助你瞭解你的大資料環境和整個資料圖景，持續不斷地進行監控。你知道這可能幫助你發現那些客戶資料所在的位置。這是明顯的驅動因素。”

Syncsort產品管理副總裁基思·科爾（Keith Kohl）也分享了他的一些想法。他同樣認為，監管和隱私是使人們對資料治理和資料質量重新產生興趣的兩個驅動因素。

 

“隨著企業越來越懂得如何使用大資料，大資料不再只是任何人都能進入的沙箱，它是真正的工作負荷，需要圍繞它進行治理控制。這是強制性的：需要建立一些流程，需要一些人來執行，這項技術本身必須支援所需的控制和稽核。”

另一個驅動因素不那麼明顯，但越來越多的客戶向史密斯表示了這點，那就是提高競爭力。“我想增加公司收入，我想了解如何更高效地完成任務，這意味著我必須可以處理我能信任的、擁有正確內容的資料。”

他舉了一個例子。有一家做網路銷售的公司想知道其英國客戶的位置，他們的方法是檢視IP地址，並在地圖上標示出來：“有些請求來自北部，有些來自西南部，但很多的地理位置資訊都模糊不清，是基於非標準化的集中式資訊，而且沒有驗證基於地址的內容。然而在應用了一些質量工具之後，整個圖景都發生了變化。”

 

突然之間，這家公司發現，他們的大多數客戶和詢問都來自倫敦及附近郡縣，這需要他們改變其營銷工作的側重點。

資料質量和資料治理的交集

史密斯看到了一個趨勢，即人們越來越瞭解資料質量在企業成功中發揮的作用：“人們開始認識到，明智的商業決策需要高質量的資料，這就是他們希望資料質量到位的重要原因。然後你可以開始說，‘我該怎麼實現？’好吧，我需要資料治理流程發揮作用，這樣我就可以對資料質量進行監控、衡量和密切追蹤。”

 

資料治理創造了一種資料質量文化，以便“所有業務線都瞭解資料質量對企業作出明智決策的重要性”。科爾還說：“除非擁有恰當的資料治理策略（包括資料質量控制和監測），否則根本做不到這一點。這仍將是2018年的一個緊迫問題。”

資料質量和資料治理：不再可有可無

“資料治理和資料質量一直都很重要，”史密斯說。哪怕是在20年前也是如此。“那時，資料還不像現在這麼多，但重點不在於有多少資料。如果你不治理，資料沒有質量，即使資料再多也無濟於事。”

史密斯強調，基本的資料管理實踐、概念和技術一直都在我們身邊，“甚至變得更加突出。為了能夠利用這些資料集做好資料科學，你必須知道你在做什麼，否則你將浪費大量的時間和金錢”。不瞭解資料的來源，或者不瞭解資料是否適合預期用途，都會對成本產生影響。此外，資料不僅呈指數增長，而且來源日益廣泛。

 

“資料增長的速度越來越快，管理起來非人力可及。因此，你必須開始採用一種質量控制方法（一種衡量方法），這是資料治理過程的重中之重，”他說。

史密斯說，最近有研究顯示，很多資料科學家花費了近80%的時間尋找和準備資料。他說，就人力成本而言，這不是一項划算的投資。

“你付錢讓他們處理你的資料，提出新的洞見和建立新的模型，幫助你評估有關客戶或行業的不同預測，但他們的時間卻沒有花在這些事情上。”

 

雖然仍有試驗的空間，但按照資料治理策略建立的可重複過程必須就位。

“在這麼做的時候，你必須能夠為下一個人提供嚴謹性，說‘這就是我獲得此資料來源的地方。’我認為，在未來五年左右的時間裡，隨著各行各業努力鑽研這些概念並試圖管理那些資料，我們將會看到這方面的大幅變化。這就是關於資料質量和資料治理的實踐和工具真正的發展方向。”

 

史密斯說，保持競爭力越來越有必要，人們越來越意識到資料分析和機器學習等技術對企業成功的作用，這兩點推動了文化上的轉變。“我認為另一個重要因素是如何改變整個公司，使其具備資料方面的知識，瞭解什麼是資料。”企業如何解決這個問題？企業可以使用哪些工具來幫助解決這個問題？僅僅有了工具是不夠的。工具到位後，企業還必須讓員工明白這些工具能做什麼。

 

史密斯認為，當企業努力應付體量龐大、增長迅猛的資料時，這種文化上的轉變對企業至關重要。

支撐新技術：資料治理和資料質量

科爾看到了一個更快獲取資訊的趨勢，企業可能擔心自己改變得不夠快。“如果你無法實時進行資料分析，現在還不算太晚，但你需要立刻行動起來。”他預計，機器學習的應用將超出資料分析的範疇。

 

“人們越來越意識到，人工智慧可以應用於生活中的一切，不管是簡化他們的工作，還是幫助他們做出明智的決定。Syncsort預測，在2018年，機器學習和人工智慧將在各種技術中更加普及。從產品到分析，再到資料質量和資料治理，人工智慧適用於一切。”

史密斯還預測，未來五年，新技術的廣泛使用將有助於改善“資料質量和資料治理的實踐和工具”。由於大量資料來自不同的來源，因此必須制定資料治理策略，以便“對一切進行標記和記錄，使你能夠了解內容、來源和完整程度，從而不會（做出）有偏見的商業決策”。

史密斯說，根據高質量資料作出明智的商業決策，“這是資料治理和資料質量的發展方向”。

本次轉自：品覺 微信公眾號（pinjueche.com）

車品覺簡介

暢銷書《決戰大資料》作者；國信優易資料研究院院長；紅杉資本中國基金專家合夥人；浙江大學管理學院客席教授；全國信標委員；資料標準工作組副組長；美麗心靈基金會桑珠利民基金副主席。

原阿里巴巴集團副總裁，首任阿里資料委員會會長；現擔任中國資訊協會大資料分會副會長、中國計算機學會大資料專家委員會副主任、粵港資訊化專家委員、中國計算數學學會第九屆理事、清華大學教育指導委員（大資料專案）、浙江大學管理學院客席教授等職。

版權宣告：本號內容部分來自網際網路，轉載請註明原文連結和作者，如有侵權或出處有誤請和我們聯絡。

商務合作｜約稿 請加qq：365242293 。

---

更多相關知識請回復：“ 月光寶盒 ”；

資料分析（ID : ecshujufenxi ）網際網路科技與資料圈自己的微信，也是WeMedia自媒體聯盟成員之一，WeMedia聯盟覆蓋5000萬人群。