大資料商業分析-Top down還是Buttom top

zj2009072204發表於2013-09-10
大資料
copy來的，作筆記。
現在搞大資料（後端資料）的朋友，和早些年搞資料倉儲的沒啥本質區別，因為都是人為需要把各系統的資料集中化，現在增加個非結構化資料，於是就叫大資料，而以前就叫資料倉儲。
在10多年前，資料倉儲界一直有個爭論，到底是TOP-DOWN好還是Bottom-UP好，一邊說，我先把企業所有資料都整合，資料基礎做紮實了，然後分析就可以源源不斷產出了。而另一邊認為，我們得先建資料集市，把業務主題搞紮實，讓資料先有產出，然後再多個主題後再進行資料梳理整合。

前者的詬病是大半年都不會有啥“資料變現”的產出，問產出，就一直在說，系統搭建中，XX系統搭好了，XX業務資料整合了，等等。後者的詬病是，資料是有產出了，但是不同主題間的資料會有管理問題、每個主題需要不斷新增新的資料來源，開發、資料冗餘都是個問題。

這是資料倉儲界爭論10多年的話題，直到近兩年大資料興起，大家就都沒興趣討論了。在很多企業，大家都採用資料團隊組織基礎資料，做傳統資料倉儲前者的事情，再組織一個商業資料分析團隊，做後者的事情。只不過大家都很少提資料倉儲、BI這些老概念，不知道認為過時了，還是新一代資料人都不知道這些歷史。其實本質是一樣的，IBM等企業10年前就是2個團隊在做，前後者的優勢兼得。

------------------商業資料分析的傳統---------------
在商業資料分析方面，我也是近4、5年才真正切入，之前都是做傳統的資料倉儲和BI。不過我經常欣賞幾十年前的小資料商業分析的成功案例，試想小資料時代商業分析如此成功，大資料時代炒得那麼熱，卻炒來炒去，就那麼幾個案例，有意思麼？

我這裡還是介紹那2個經典小資料時代的案例：
1。早期超市為了優化超市設計，採用人工觀察，到後來的視訊觀察，來解析使用者行為，他們解析使用者行為的時候，發現了幾個方面的業務改進Idea，超出了預期的想法。當看到人們眼光主要放在眼睛上下30度範圍，於是陳列的時候，總是把利潤最高的放這2排，利潤低，價效比高的分別放上面和最下面；當發現人們通過買麵包順便買紅酒，而不是買紅酒順便買麵包，於是他們改變兩種商品的組合和區域順序；當發現免費品嚐某水果，可以帶動新鮮水果以及高利潤的純果汁的時候，超市又改變了策略。。。。。。。。

2。有個商場，糾結於傳統方案是現代方案，於是兩個方案同時上，一個是用諮詢團隊，一個是監控方案，數人數看人流。結果諮詢團隊的方案勝，原因是諮詢團隊雖然是小資料，但是他們的抽樣資料都是按照經驗選擇恰當的樣本，其次小資料的資訊非常全面，包括人的性別、年齡、身份背景、收入水平（經驗判斷）、去哪個區域，買東西走到哪一步了（諮詢、試穿、有沒討價還價），這些資料監控都沒法得出，所以監控資料全面，但無法給出任何實質價值意義的建議，都是些空話。

-----------大資料商業分析應該TO-DWON還是Botton-Up？--------------
一種思路是需要足夠大、全面的資料，沒有解決不了的分析，一上來把所有可能的維度、資料分佈、趨勢都嘗試一遍，認為沒有規律也能看出規律了；一種是看問題，需要解決什麼問題，就做什麼分析，缺什麼資料再從大資料中去取。

有人問，如果採用第二種方案，那麼大資料價值何在，那麼多資料都沒利用起來？我想問，如果你想挖前面一座金山，你是挖一部分，然後淘一部分出來賣，還是把金山都挖完，然後一點點淘出來賣呢？當然你選擇第一種，但你選擇這個，你不會說浪費了整個金山，因為你知道你需一點點變現後才會有動力挖後面的。但為啥那麼多搞大資料的人不是這個思路呢？

看到這裡，可能大家認為我偏向第二種方案，其實不全是，我一直認為任何方案都有其優勢，中庸取其精華最好。第二種方案的死穴是，如果你問題沒搞得透徹明白，那麼分析的都是無用功，都是在錯誤的軌道上轉圈。

------------------什麼是大資料時代好的分析方案？-----------------
我們來看第一個超市案例，他通過一個簡單的、人工判斷過的“使用者行為”資料解決了這麼多各種業務難題（陳列、佈局、商品搭配、促銷等），是因為他們發現一個問題，然後去解決的思路麼？不是，而是充分以“商業”為中心，以“迎合使用者需求，滿足商業利益最大化”這一個最大分析目的，發現了使用者行為，原來對這麼多商業佈局都有改進的地方，可以同時滿足使用者的購物需求，也滿足商業利益最大化的需求，於是產生了後來的一系列超市零售改進。

再看大資料的案例，某人收到小孩用品推薦，他很生氣投訴，結果沒多久就寫感謝信，說他女兒真的懷孕了，感謝云云。其實從這個案例中，除非給人驚奇外，有多大“商業價值”？如果純從資料商業價值來說，這個分析推薦的作用，比起超市零售通過使用者行為的變革，簡直不值得一提，為啥還廣為流傳? 因為大資料時代，還找不出像樣的案例，於是就拿驚奇的案例來吸引大眾注意吧。

反過來說，並非大資料無用，或者說大資料不是遠不夠大（要知道比超市人工觀察的資料大多了），而是大資料分析和應用的人們思維並未完全開啟，我相信做推薦的朋友沒多少熟悉供應鏈的，也沒多少熟悉商品定價和生命週期管理的，所以他們的大資料只是應用在推薦。

兩者本身適用於不同的場景，從個人實際工作遇到的情況出發，在大型集團機構中（如金融行業），總部的需求多趨近於TO-DWON的情況，需要大而全的基礎，再此基礎上生成具體的業務需求；而到下面實際的分支機構，因其各種侷限性，需求往往是Botton-Up類的明細，我不需要所有的內容，只要相關的明細分析即可。
所以，我覺著，TO-DWON與Botton-Up本身並沒有太多的優劣之分，需求決定一切！

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/28573466/viewspace-772468/，如需轉載，請註明出處，否則將追究法律責任。

相關文章