BI系統質量挑戰與建設

BI(Business Intelligence)即商務智慧，它是一套完整的解決方案，用來幫助企業更好地利用資料提高決策質量的技術集合，是從大量的資料中鑽取資訊與價值的過程。BI系統質量至關重要，可以說沒有質量保障的BI資料還不如沒有BI資料。

而BI系統進行質量保障存在著巨大的挑戰，主要有以下幾點原因：

資料來源極其複雜，既有內部各個產品線的資料，又包含外部商業機構資料，主動採集資料等多種資料，資料來源頭質量保障挑戰已經比較大;資料經過多層計算，過程複雜，保證每一步都符合預期的成本較高;資料口徑要求嚴格，稍有偏差可能會導致實際業務意義偏差巨大。

鑑於之前出現的BI系統質量問題，我們分析了BI質量保證僅有開發同學自己進行時存在的漏洞，在平衡核心質量和投入成本之後將以下三點作為核心建設目標，以進行系統化的建設：

1、形成質量閉環體系，高效高質量的可持續的迭代;

2、實現P0級別報表全流程質量把控，達到報表輸出0事故

3、形成資料質量平臺，對資料全流程質量進行跟蹤

在以往的商業智慧BI專案中，離線資料量不大的時候，比如TB級別以下，傳統的資料倉儲ETL架構大部分場景都可以滿足。資料量大的時候比如TB、PB級別或以上的資料處理，底層就可以採用Hadoop分散式系統框架，透過叢集的方式進行高速運算和儲存。最底層的HDFS分散式檔案系統儲存資料，MapReduce分散式計算框架對資料進行計算處理。

只不過隨著實時資料、實時業務的需求越來越旺盛，所以實時 BI 報表的需求也越來越多。