在過去一年,資料分析公司ComScore將資料處理速度和能力提高了一倍,此舉為該公司贏得了金伯利克拉克(Kimberly-Clark)、好事達(Allstates)和福特等大客戶。

 

fastdata

ComScore的一項業務是分析消費行為資料,並將這些資料賣給很多大型網際網路企業,用於向網站訪問者提供個性化的展示廣告。資料分析是ComScore、Nielsen、Omniture等公司最具活力的業務,但同時也意味著挑戰。

通常,廣告商衡量廣告投放效果的主要依據是將消費者瀏覽廣告的次數與廣告展示次數對比,這種方式對於營銷人員來說不夠靈活。

隨著傳統線上廣告模式受到越來越多的質疑,ComScore、Nielsen、Omniture和Google等企業開始摒棄這種模式,甚至開始引入電視廣告測量模式來評估線上廣告。AOL週一與Nielsen合作向廣告主提供基於收視率百分點(Gross rating points,GRP)的網路視訊廣告,這與電視廣告的購買模式相同。AOL承諾視訊廣告將在特定人群中的展示次數達到廣告主的預期值。週二,Google緊隨其後,也推出了類似的服務Active GRP,同時測量樣本使用者和匿名使用者的收視率。

為了增強競爭力,ComScore開始向客戶提供定製資料庫和分析軟體來加快海量資料的分析,從而提升分析服務的質量和速度。

在接受CIO雜誌採訪的時候,ComScore的CTO 麥克布朗表示:ComScore已經將資料分析流程的週期從過去的48小時縮減到了6小時,同時將資料處理能力提高了一倍,達到每月9000億條記錄,而一年前的月度記錄處理能力是4730億條。ComScore處理的資料包括頁面瀏覽(Page Views),會話時長(Session duraton)和獨立訪問使用者(Unique Visitors)以及人口統計。

ComScore通過一個web門戶採集客戶資料,並將其功能發展成一樣極具競爭力的產品,正如布朗所說:“沒有人相信我們能把這事做起來。”

布朗認為,過去的專有軟體架構無法滿足目前的資料分析指標,於是該公司選擇搭配使用Hadoop軟體與EMC Greenplum資料庫和Syncsort數整合軟體。Syncsort被裝載入Greenplum資料庫,而Greenplum又執行在MapR的Hadoop框架之上,整套系統都執行在戴爾伺服器上。客戶的資料在Greenplum資料庫中被壓縮,然後在資料整合軟體Syncsort中處理。

企業管理協會分析師Shawn Rogers表示,ComScore採用Hadoop,Greenplum和Syncsort軟體的混合模式標誌著企業正在擺脫單一供應商模式。過去將所有資料塞入一個資料倉儲架構中的做法已經過時,企業正在將資料和工作負載轉移到能找到的最佳的平臺之上。

文章來源:IT經理網