Business Intelligence

大資料和BI有很多對立。我們在專案實施中一直遵循這一原則。例如:

1.全量思維。不用抽樣建模,再回到DW實施。大資料利用全量資料直接跑,先在大寬表中找到以前靠業務經營選擇的欄位,即依靠機器學習建規則,再在全域性資料中實施。大資料在這個層面首先是基礎設施,能夠完成以前不能完成的任務。例如某保險公司,SAS只能跑幾十萬使用者的一種分類模型,現在可以把個險3600萬使用者跑個全量,得到上千個分類,發現業務經營給不了事實。這是大資料的IT屬性,Hadoop分散式計算帶來的顛覆創新。

2. 個性化。 BI面向決策,面向人的干預。輸出形式更多的dashboard.report。因此對事實描述更多是基於群體共性,而不是個體刻畫。例如回到保險公司的例子,當我們用大資料計算出每一個個體客戶的流失風險概率,做個性化客戶檢視。而BI系統需要彙總成巨集觀統計資料。前者幫助我們深刻的瞭解每一個使用者,適合於精準推薦類營銷類問題,回答How much how strong的程度類模糊問題;後者幫助決策者掌握巨集觀統計趨勢,適合經營運營指標支撐類問題,準確回答yes or no的統計意義概率問題。

大資料對個體刻畫還是BI的群體描述,引發了下面第三種差異。

3. Insight or Automation群體共性的描述獲得的Yes or no的問題對於複雜經濟現象越來越難回答,維度指標越來越多。例如上面客戶流失風險的例子,被BI系統做成統計指標後彙報高層做決策,高層形成客戶挽留計劃一類的執行策略往往風險很大,包括質疑資料準確性,執行效率反饋週期等等,其結果就是面對這樣的巨集觀不決策不作為。因此,某種意義上,BI形成的Insight,因為沒有形成閉環干預,而沒有發揮作用。

大資料強調Automation. 淘寶更強調為每一筆網購做自動推薦的生產系統。上面的保險客戶流失例子,大資料刻畫客戶後提供給一線銷售,資料服務下沉而不是彙總上報,每一個保險員做微決策微行動,風險小反饋及時。大資料更強調提供自動化工具,而不是統計報告。

4. 反饋和實驗方法 因為引入了Automation,和記錄行為資料,效果更直接及時。例如網際網路最多用的AB testing. Hulu每日上線的測試有200多個,可見測試方法在資料分析中的重要程度。

有機會展開談談BI和大資料,在這個概念氾濫的大資料熱炒時代,啤酒尿布少女懷孕黑人進白宮,各種公司一夜轉型大資料,如何辨別小資料和大資料,不僅是技術基礎,更重要的是思維方式。

via:中雲網 作者:雷濤