反映資料質量的八個指標

資料的質量直接影響著資料的價值，並且還影響著資料分析的結果以及我們依此做出的決策的質量。質量不高的資料不僅僅是資料本身的問題，還會影響企業的經營管理決策;資料錯誤還不如沒有資料，因為沒有資料時，我們會基於經驗和常識做出不見得是錯誤的決策，而錯誤的資料會引導我們做出錯誤的決策。因此資料質量是治理企業經營管理資料的關鍵所在。

資料的質量可以從八個指標進行衡量，每個指標都從一個側面反映了資料的品相。這八個指標分別是：準確性、及時性、即時性、真實性、精確性、完整性、全面性和關聯性。

我們在比較兩個資料集的品相的時候，往往採用如下圖所示的這種圖形表示。

例如常規來講，內部資料集的準確性、真實性、完整性高，而全面性、及時性、即時性、精確性和關聯性方面取決於企業內部對資料的重視程度以及採集資料的技術手段;而外部資料集，如微博資料、網際網路媒體資料等，其全面性、及時性和即時性都可以通過技術手段如網路爬蟲等得到提高，但在準確性、真實性、精確性上難以保證，也難以控制，而關聯性取決於資料採集和挖掘的相關技術。

我們也可以用這個模型來衡量公司內部各個職能部門資料的品相。如下圖所示，通過評價資料質量的8個指標，可以有針對性地採取相應的措施提高企業的資料質量。

1、資料的準確性

資料的準確性(Accuracy)是指資料的採集值或者觀測值與真實值之間的接近程度，也叫誤差值，誤差值越大，資料的準確度越低。資料的準確性由資料的採集方法決定的。

2、資料的精確性

資料的精確性(Precision)是指對同一物件在重複測量時所得到的不同觀測資料之間的接近程度。精確性，也叫精準性。精確性與資料採集的精度有關係。精度越高，要求資料採集的粒度越細，誤差的容忍程度也越低。

例如在測量人的身高時，可以精確到釐米，多次測量的誤差只會在釐米級別;在測量北京到上海的距離時，可以精確到千米，多次測量結果之間的誤差會在千米級別;用遊標卡尺測量一個零件的厚度時，可以精確到1/50毫米，多次測量結果之間的誤差也只會在1/50毫米級別。因此可以說採用的測量方法和手段直接影響著資料的精確性。

3、資料的真實性

資料的真實性，也叫資料的正確性(Rightness)。資料的正確性取決於資料採集過程的可控程度。資料採集過程可控程度高，可追溯情況好，資料的真實性就容易得到保障，而可控程度低或者無法追溯，則資料的真實性難以保證。

為了提高資料的真實性，採用無人進行過程干涉的智慧終端直接採集資料，能夠更好地保證所採集的資料的真實性，減少人為干預，減少資料造假，從而讓資料更加正確地反映客觀事物。

4、資料的及時性

資料的及時性(In-time)是指資料能否在需要的時候得到保證。例如公司在月初會對上個月的經營和管理資料進行統計和彙總，此時的資料及時性是指這些資料能否及時處理完成，財務能否在月度關賬後及時核算。資料的及時性是資料分析和挖掘及時性的保障。如果公司的財務核算複雜，核算速度緩慢，上個月的資料在月中才能統計彙總完成，等需要調整財務策略的時候，已經到月底了，一個月已經快過完了，特別是當公司做大了之後，業務覆蓋多個市場、多個國家，資料不能及時彙總，則會影響到高層決策的及時程度。

資料的及時性與企業的資料處理速度及效率有直接的關係，為了提高資料的及時性，越來越多的公司採用管理資訊系統，並在管理資訊系統中附加各種自動資料處理功能，在資料上傳到系統中之後自動完成絕大部分報表，從而提高了資料處理的效率。計算機自動處理中間層資料是提高企業資料處理效率的有效手段。

企業除要保證資料採集的及時性和資料處理的效率外，還需要從制度和流程上保證資料傳輸的及時性。資料包表製作完成後，要及時或者在要求的時間範圍內傳送到指定的部門，或者上傳到指定的儲存空間中。

5、資料的即時性

資料的即時性是指資料採集時間節點和資料傳輸的時間節點，一個資料在資料來源頭採集後立即儲存並立即加工呈現，就是即時資料，而經過一段時間之後再傳輸到資訊系統中，則資料的即時性就稍差。

例如一個生產裝置的儀表即時反映著裝置的溫度、電壓、電流、氣壓等資料，這些資料生成資料流，隨時監控裝置的執行狀況，這個資料可以看作是即時資料。而當將裝置的即時執行資料儲存下來，用來分析裝置的執行狀況與裝置壽命的關係時，這些資料就成了歷史資料。

6、資料的完整性

資料的完整性是指資料採集的程度，即應採集的資料和實際採集到的資料之間的比例。例如在採集員工資訊資料時，要求填寫姓名、出生日期、性別、民族、籍貫、身高、血型、婚姻狀況、最高學歷、最高學歷專業、最高學歷畢業院校、最高學歷畢業時間共12項資訊，而某個員工僅僅填寫了部分資訊，如只填寫了其中的5項，則該員工所填寫資料的完整性只有一半。

一家企業中的資料的完整性體現著這家企業對資料的重視程度。要求採集的資料而實際上並未完整採集，這就是不完整的資料，這往往是企業對資料採集質量要求不到位導致的。

另外，對於動態資料，可以從時間軸去衡量資料的完整性。比如，企業要求每小時採集一次資料，每天應該形成24個資料點，記錄為24條資料，但是如果只記錄了20次，那麼這個資料也是不完整的。

7、資料的全面性

資料的全面性和完整性不同，完整性衡量的是應採集的資料和實際採集到的資料的差異。而資料全面性指的是資料採集點的遺漏情況。例如，我們要採集員工行為資料，而只採集了員工上班打卡和下班打卡的資料，上班時間員工的行為資料並未採集，或者沒有找到合適的方法來採集，那麼這個資料集就是不全面的。

再例如，我們記錄一個客戶的交易資料，如果只採集了客戶訂單中的產品、訂單中產品的價格和數量，而沒有采集客戶的收貨地址、採購時間，則這個資料採集就是不全面的。

騰訊QQ和微信的使用者資料記錄了客戶的交流溝通資料;阿里巴巴和京東的使用者資料記錄了使用者的購買交易資料;百度地圖記錄了使用者的出行資料;大眾點評和美團記錄了客戶的餐飲娛樂資料。對全面描述一個人的生活來說，這些公司的資料都是不全面的，而如果把他們的資料整合起來，則會形成更加全面的資料。所以說，資料的全面性是一個相對的概念。過度追求資料的全面性是不現實的。

8、資料的關聯性

資料的關聯性是指各個資料集之間的關聯關係。例如員工工資資料和員工績效 考核資料是通過員工關聯在一起來的，而且績效資料直接關係到工資的多少。採購訂單資料與生產訂單資料之間通過物料的追溯機制進行關聯，而生產訂單又是由員工完成的，即通過員工作業資料與員工資訊資料關聯起來。

企業大資料中，每個資料集都是相互關聯的，有的是直接關聯的，如員工工資資料和員工績效資料，有的是間接關聯的，如物料採購訂單資料與員工工資資料。這些資料的關聯關係是由公司的資源，包括人、財、物和資訊等連線起來的。如果有任何的資料集不能連線到其他的資料集，就會存在資料割裂或者資料孤島。資料割裂和資料孤島是企業資料關聯性不足導致的。而資料的關聯性直接影響到企業資料集的價值。

-本文節選自-《企業資料分析》;作者：趙興峰