大資料會取代傳統BI嗎

數通暢聯發表於2019-03-20

BI一詞早在20年前就被提出,加特納集團將商業智慧定義為描述一系列的概念和方法,通過應用基於事實的支援系統來輔助商業決策的制定。BI商業智慧從國外興起,當時IBM、SAP、微軟等廠商無論是在BI的理念上還是技術上都做的比較出色。BI的風頭經過了一段時間的蟄伏,於2000年初開始迎來春天,被國內許多企業所接納,正式走向上升趨勢。

如今,隨著資訊科技與經濟社會的交匯融合引發了資料的迅猛增長,在資料量爆發的同時,也引起了許多企業的重視,資料已經成為企業發展的基礎戰略資源,成為企業解決分析的重要依據。與此同時,資料治理、資料視覺化、資料分析、資料倉儲、大資料等詞彙被提出,藉此BI商業智慧又重新被炒火,造成很多人在大資料分析與BI商業智慧的概念上混淆,事實上大資料分析與BI商業智慧是兩種不同的概念和工具,今天對未來大資料分析是否會取代傳統BI進行探討。

概念定義區分

若想區分兩者的不同,首先就從淺層面說起,即兩者的概念區分。

1 BI商業智慧

BI(Business Intelligence)即商業智慧,它是一套完整的解決方案,用來將企業中現有的資料進行有效的整合,快速準確地提供報表並提出決策依據,幫助企業做出明智的業務經營決策,既可以是操作層的,也可以是戰術層和戰略層的決策。

提到BI商業智慧一定會提到資料倉儲,資料倉儲DW主要對多種業務資料進行篩選和整合,是提供所有型別資料支援的戰略集合,可以用於資料決策分析、資料包表等場景。資料倉儲是BI商業智慧重要的一環,有些BI產品中資料倉儲作為系統中的元件,用來支撐BI系統統一資料來源,儲存所有系統資料庫中的資料,簡化資料的查詢與組合。

2 大資料分析

大資料分析是指對規模巨大的資料進行分析,從收集的海量資料中,通過演算法將這些來自不同渠道、格式的資料進行直接分析,從中找到資料之間的相關性,大資料可以概括為4個V, 資料量大(Volume)、速度快(Velocity)、型別多(Variety)、價值(Value)。

提到大資料分析常會伴隨資料湖這一詞,資料湖是一個集中式儲存庫,用來集中儲存多來源(內外部系統、機器、感測器、社交網路)、多型別(結構化、非結構化、半結構化)的海量資料。資料湖與大資料分析技術進行良好融合,與大資料需要的Hadoop、Hbase、Spark、Storm等技術工具相互支撐,實現包括資料採集、處理、實時分析、機器學習、配置展現等技術環節,以達到更好的決策分析。

資料來源區分

BI商業智慧與大資料分析的資料來源是不同側重的,大資料分析的資料來源更廣,它不僅涵蓋BI所能獲取的資料來源,還具備BI不能或不擅長獲取的資料來源。

1 BI商業智慧

BI商業智慧分析的資料來源一般為企業內部資訊化系統中的資料,BI在其中的作用更多的是對這些資料的整合,從資料的抽取到轉換到裝載,幫助企業實現內部資料交換和使用,對資料進行更好的運用。

2 大資料分析

大資料分析的資料來源不僅是侷限於企業內部的資訊化系統,還包括各種外部系統、機器裝置、資料庫的資料,如:政府、銀行、國計民生、行業產業、社交網站等資料,其中資料結構多樣化,包括:結構化資料、半結構化資料、非結構化資料。

技術運用區分

在技術的運用上,BI商業智慧使用的是ETL、數倉、OLAP、視覺化報表等傳統技術。大資料分析採用的是Hadoop、流處理等解決海量資料(結構化、非結構化)傳輸問題,同時結合Spark、MPP、HBase等技術方式來實現資料的挖掘、計算、分析問題。

1 BI商業智慧

隨著時代的變革與技術的迭代,相應的,傳統BI在技術上也經歷了多次優化和變革,在資料處理的某些環節技術上已經在向大資料分析技術靠攏,但由於其基因定位,始終未能形成一整套的技術體系。BI的技術體系主要包括資料ETL的過程,數倉構建、聯機分析處理的過程、資料配置展現的過程。

1.1 資料倉儲

資料倉儲是BI智慧分析的基礎,資料倉儲能夠從大容量的業務處理型資料庫中抽取資料,處理、轉換為新的儲存格式。這部分技術的實現重點就是ETL(抽取、轉換、裝載)的過程,滿足對資料探勘的需求,具體為從來自不同企業系統的關係資料、平面資料檔案中提取出關鍵分析資料,之後經過對各種業務資料的抽取和相關轉化,按照目標需求轉化為相應的格式,來滿足資料倉儲或資料整合對資料格式和內容挖掘的要求,隨著技術發展,很多BI產品支援離線使用cube 資料儲存,支援 cube 資料定時全量以及增量更新。

1.2 處理分析

在資料處理分析部分,BI商業智慧通常採用OLAP聯機分析處理技術,OLAP是資料倉儲的主要應用,提供多維分析操作,支援複雜分析操作的同時,直觀的為使用者展現分析結果。OLAP的基本多維分析操作有鑽取(roll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)等,而時間、產品、數量、地區、人員、利潤等都可以成為分析的維度,通過結合形成不同的分析指標。市面上很多BI產品基於OLAP分析元件實現如:維度切換、指標新增、資料預警、查詢分析等功能,使使用者從多個角度觀察資料,發現資料的利用價值。

1.3 配置展現

資料配置展現是BI商業智慧產品的亮點,資料靈活配置、視覺化也是BI廠商技術實現及宣傳的重點,配置方面他們推崇構建企業自己掌控的BI產品,使用者可以根據展現需求自定義配置分析指標。展現方面,為達到更好的展現效果和更容易理解資料,BI注重將資料搭配適合的展現方式,記分卡、儀表盤等是較為常見的展現方式,同時使用者可以自由更改資料過濾條件、切換維度和指標。隨著移動時代到來,BI已經支援移動端與PC端一致的分析結果展示。

2 大資料分析

大資料分析技術相對於BI商業智慧來說,不僅涵蓋BI商業智慧具備的技術,還包括一整套對於海量資料採集、處理、分析、展現的專用體系和工具,大資料分析包括資料採集、資料儲存、資料匯聚、配置展現等過程。

2.1 資料採集

資料採集作為大資料分析的首個環節,技術上使用機器採集和爬蟲工具來實現海量資料的採集,其中採集的資料包括結構化資料(應用系統資料、資料庫資料、各種結構化檔案、訊息佇列等)與非結構化資料(網路媒體、社交工具、機器裝置、感測器等),採集資料後將這些資料整理、清洗、轉換後,生成到一個新的資料集,為後續查詢和分析處理提供統一的資料檢視。在海量資料採集的過程中,通常資料的併發量會很大,所以一般會在採集端部署許多資料庫來支撐不同型別的資料儲存。

2.2 資料儲存

大資料儲存是將採集後生成的資料集持久化到計算機中,用於支撐資料的計算分析,而大資料的優勢就是快速在海量資料中挖掘和預測相關資訊,幫助業務人員做出關鍵性決策和風險防範,所以大資料會採用高效能、高吞吐率、大容量的基礎裝置來提供及時性或近及時性的資料供於分析,在大資料儲存部分,對於簡單的結構化資料,採用關聯式資料庫即可實現,對於半結構化和非結構化資料,這就需要用到Hadoop、列儲存資料庫Cassandra、文件資料庫MongoDB、圖資料庫Neo4j、K/V儲存Redis等。

2.3 處理分析

處理分析部分主要是從資料中分析及預測出有用的資訊供企業決策分析使用,包括對相關資料集的資料進行排序、歸集,執行機器學習演算法、實時流處理、分析預測等。處理分析部分基於Hadoop、Spark、Storm、Hive等計算框架以及資料庫及時,通過Hadoop提供海量資料儲存和分散式計算,HBase 技術提供海量資料的高效釋出,圖計算支援針對圖的各種操作以及一些常用圖演算法。

除了對資料的處理分析,預測也是大資料演算法應用中的核心功能,通常會在大資料分析中預置一系列機器學習演算法庫,構建迴歸、分類、聚類、關聯規則挖掘、描述性統計等一系列的資料模型,實現對當前資料的深度挖掘、特徵提取、行為分析、軌跡預測等,也可以結合流計算對實時資料提供流式計算的能力,實現實時追蹤頁面的訪問統計,訓練機器學習模型,自動化異常檢測等,最終通過Open API的形式提供相應的服務,以供外部呼叫獲取相關資料,支撐企業對大資料分析成果及資料價值的有效利用。

2.4 配置展現

大資料分析配置展現部分主要用來展示不同分析演算法處理後的結果,包括導航配置、選單配置、頁面配置等,配置後將計算彙總結果用一種友好介面或表格形式展現出來,分析形式多樣,包括:行列轉置、鑽取聯動,同時,在互動方式上針對使用者的操作方式、習慣,模擬推算使用者的分析習慣,提供更友好、更具有針對性的互動服務。資料展現部分相比傳統使用表格或文件展現資料的方式,展現形式更具多樣化、豐富化,包括:餅圖、柱狀圖、折線圖、氣泡圖、面積圖、省份地圖、詞雲、瀑布圖、漏斗圖等酷炫圖表,還包括自定義指標、表單查詢等功能,展示頁面良好支撐PC端與移動端的轉換,併為企業建立資料戰略室,以數字大屏形式為企業展現資料。

業務場景區分

通過上述三點的區分不難看出,傳統BI關注的是企業過去與現在的業務、資料,從中歸納提取出資料間的共性、差異,多數被應用在企業內部的經營分析上,體現的是資料價值應用的過程,及時掌握當下組織的運營現狀,做出科學的經營決策。大資料分析不僅關注企業過去與現在的業務、資料,還偏重於資料價值的發展和獲取利用,在分析內部運營決策的同時,通過對海量資料的計算,分析出一定的規律,從而預測未來的行情趨勢、風險預警,之後不斷根據大量資料分析認證事情的可靠程度,幫助企業個性化決策,更注重企業的過去、現在和未來的綜合管控。

1 BI商業智慧

BI商業智慧應用場景更多圍繞企業內部運營資料的分析,對現有系統資料進行提取、整理,建立資訊中心的同時生成各種分析報表,基本上不會限定行業性,會根據企業業務不同劃分不同的分析結構,常見的業務場景包括銷售分析、利潤分析、產品分析、人員分析等。

1.1 銷售分析

銷售分析主要是幫助企業跟蹤銷售情況,通過對資料對比、極值、預測的方式,一方面幫助企業鑑別、留住有價值的客戶,另一方面分析各項銷售指標,與KPI對比,幫助企業快速調整銷售策略。客戶分析方面,BI實現對企業內部客戶的劃分、重點客戶與潛在客戶的比對;銷售指標分析方面,實現如毛利、交叉比、盈利能力、銷售額、週轉率、環比等指標分析。

1.2 利潤分析

利潤分析以企業每一月度/季度/年度的利潤情況為基礎,分析計算利潤增減幅度,並將利潤與同期計劃相比,查明利潤變動原因,對應修改相應計劃,幫助企業擴大市場佔有率、增長利潤來源,包括:銷售(產品/專案/其它)利潤分析、營業外收支分析、成本變動分析、稅率變動分析、價格變動分析等,從淺層次的統計分析結果為企業未來營銷發展方向提供深入支撐。

1.3 產品分析

產品分析部分主要是對產品的進銷存情況進行管理與統計分析,分析指標或主題包括:庫存率、產量、暢銷產品/滯銷產品統計、產品淘汰率、產品引進率、產品置換率、折扣率、動銷率、週轉率等。根據這些統計內容意在減少企業產品滯銷、庫存量大週轉資金低、進銷存不合理、銷售滯後等現象,繼而輔助企業對產品結構進行調整,產品與戰略合理配置。

1.4 人員分析

人員分析部分主要幫助企業合理利用、調配人力資源,對員工業績進行考核、監督,避免人力成本浪費,提升企業對人員管理的有效性。人員分析主題包括:員工人員構成、員工人均成本、人均銷售額、毛利貢獻、人均產量、引進商品銷量情況等。

2 大資料分析

大資料不僅包括企業內部應用系統的資料分析,還包括與行業、產業的深度融合,雖然大資料分析技術並沒有完全普及,但在一些行業內已經開始並較有成效的被使用,大資料分析的應用場景具有行業性,不同行業所呈現的內容與分析維度各不相同,具體場景包括:網際網路行業、政府行業、金融行業、傳統企業中的地產、醫療、能源行業等。

2.1 網際網路行業

網際網路行業大資料的應用代表為電商、社交、網路檢索領域,此類場景都有一個共性,就是具備先天的資料優勢,可以更好的支撐大資料分析平臺的建設,電商行業可以根據銷售資料、客戶行為(活躍度、商品偏好、購買率等)資料、交易資料、商品收藏資料、售後資料等刻畫使用者畫像,根據客戶的喜好為其推薦對應的產品,幫助制定營銷策略,優化當前問題;社交資料可以幫助潛在客戶更加了解關係的資訊或服務,為商家帶來引流;搜尋引擎與上述同理,根據使用者的搜尋習慣,對於使用者進行關鍵詞和資訊推薦,對於利益方面可以成為獲取收益的渠道,以精準廣告投放的方式進行產品營銷。

2.2 政府行業

政府行業在大資料分析部分也具有先天資料優勢,可以獲取多種渠道的資料,包括質檢部門、公安部門、氣象部門、醫療部門等,質檢部門包括對商品生產、加工、物流、貿易、消費全過程的資訊進行採集、驗證、檢查,保證食品物品安全;公安部門通過對各個機器裝置的人臉識別、影象採集等技術,利用這些資料,進行嫌犯追蹤或風險管控;通過大資料,採集分析氣象歷史資料、星雲圖變化歷史資料,通過構建大氣運動規律評估模型、氣象變化關聯性分析等路徑,精準地預測氣象變化,尋找最佳的解決方案,規劃應急、救災工作。

2.3 金融行業

金融行業也是大資料分析的重點應用行業,金融行業的大資料分析多應用於銀行、證券、保險等細分領域,在大資料分析方面銀行會結合多種渠道資料進行分析,客戶在社交媒體上的行為資料、在網站上消費的交易資料、客戶辦理業務的預留資料,結合客戶年齡、資產規模、消費偏好等對客戶群進行精準定位,分析其在金融業的需求,反向對洗錢、詐騙等行為進行預測分析;對於保險行業則根據使用者資訊細分進行精準化營銷、欺詐行為分析及預測、精細化運營等;證券行業則利用大資料分析進行估價預測、客戶關係維護與管理、流失客戶預測、投資景氣分析等。

2.4 傳統企業

傳統行業對於大資料分析的構建要比前三點提到的行業漫長一些,很難一步做到內外部資料聯合分析,通常都是由內向外的一個過程,常見的行業包括:能源、電信、地產、零售、製造等。電信行業藉助大資料應用分析感測器資料異常情況,預測裝置故障,提高使用者滿意度;能源行業利用大資料分析挖掘客戶行為特徵、消費規律,提高能源需求準確性;地產行業通過內外部資料的挖掘分析,使管理者掌握和了解房地產行業潛在的市場需求,掌握商情和動態,針對細分市場實施動態定價和差別定價等;製造行業通過大資料分析實現裝置預測維護、優化生產流程、能源消耗管控、發現潛在問題並及時預警等。

個人見解分析

當下很多BI廠商宣稱其BI系統就是大資料分析類產品,可以實現大資料平臺的功能,滿足企業決策分析需求。實際上,企業對BI系統的使用量的確大於對大資料分析平臺的使用量,筆者也不止一次思考大資料是否真的可以取代傳統BI產品,最終我的答案是:大資料分析平臺與傳統BI會以相互配合、協作的關係共存。

雖然大資料分析平臺在技術上可以替代BI系統,但兩者都是構建企業資料資產的一部分,一定程度上可以做到相輔相成,傳統BI系統實現企業內部系統運營資料的有效利用,滿足對業務資料的歸納與分析,發現企業經營問題;大資料分析平臺實現企業內部外資料的結合,行/產業間上下游的聯動,為企業戰略、規劃、政策、目標等大方針制定、監督和執行提供支撐。很多時候應該理性看待兩者的關係,合理利用兩種工具,為自身創造更多的價值。

1 走出觀念誤區

若想合理利用兩種工具,首先需要走出對大資料分析與BI在理念上、功能上的觀念誤區,明確兩者當前的技術發展趨勢。起初BI更強調以美、炫酷、自主配置、構建企業DIY商業智慧平臺為主,資料管理分析部分做的較弱,當時構建BI的企業多數是希望藉此突出其政績工程,而沒有真正實現資料決策。如今BI系統在技術上已進行了升級,更加重視資料治理(主資料、後設資料)、資料整合等技術的支撐,經過改變,一些BI系統已經具備簡單的資料關聯、大資料引擎、資料探勘等功能,真正實現企業經營成果分析。

大資料分析受到BI的宣傳影響,讓很多人誤認為大資料分析也只是注重視覺化部分,事實上,視覺化只是其技術中很小的一部分,大資料同樣支援鑽取、即席分析等操作,展示層面也具備儀表盤、數字大屏等效果。對於大資料分析真正的價值是對海量資料的採集、儲存、計算、配置、展現等一系列過程,通過資料統計、資料探勘、線上分析處理、機器學習等手段,在日積月累的資料中發現規律,預測未來行業趨勢、預警風險,以資料驅動業務、針對性調整優化業務,以獲得商業利益。

2 業務管理驅動

從業務角度來看,每個企業管理都會圍繞三點進行,分別為經營管理(市場營銷管理、產品體系管理、價格管理、財務管理)、團隊管理(團隊建設、部門管理、制度管理、成本管理)、可持續發展管理(戰略管理、手段管理、創新管理、風險管理)。初期,企業核心需求為對人、財、物、產、供、銷的管理,這時除了必要的資訊化系統之外,還需要有效利用系統中產生的資料進行決策分析,而BI就是有效實現企業內部資料運用與分析的最佳手段。

企業若想持續發展壯大,必須具備可持續發展、防範風險、預測未來的能力,這就意味著企業間真正拼的不在是內部運營現狀的調整與分析,而是如何有效利用起內外部資料資源,達到企業內部與行業產業的上下聯動,做到資訊內外皆知,在千篇一律的經營模式下掌握客戶所求,出奇制勝;在風雨難測的市場環境下快速調整業務,推陳出新;在看似平穩的發展趨勢下有效規避風險,掌控未來。這些需求大資料平臺都可以幫助企業有效的實現,平臺之下融合BI系統,共同打造內外部一體化決策。

3 技術發展助推

企業對於BI系統與大資料平臺的選擇不應該是根據當下潮流決定的,而是根據企業資訊化建設基礎和業務發展狀況決定的,兩者缺一不可,並相互制約。從資訊化建設角度講,兩者建設順序與業務發展情況相同,BI系統會優先於大資料平臺。伴隨著系統的快速構建,資料問題也隨之出現,系統已不能再為企業帶來絕對的競爭優勢,資料治理分析理念興起,在企業還不具備大規模資料的階段,通常會在系統整合與資料治理之後會選擇構建BI系統,實現初步決策分析。

資訊化建設對於企業來講是一個漫長的過程,需要不斷去完善、深化,並呈現出上升趨勢,資料時代帶來資料量大幅度增長,資料中具備許多高價值的情報待發掘,過程中促使利用大資料的技術、架構、工具產生,如物聯網、人工智慧、Hadoop、Spark等,還包括近期較火的上雲計劃,將大資料分析平臺基於雲上部署,減少企業運營和技術的維護成本的同時,做到效能更加優化,以上的種種都加速了企業邁向大資料分析的步伐,達到對前期BI資料決策分析的一種更深化、穩定、有效的傳承。

綜上所述,大資料相對於傳統BI產品,不只是所謂的升級關係,而是在相互協作中,從理念、技術、架構、工具上進行了一定的顛覆,無論企業當前如何發展,未來終將會走到資料驅動時代。然而對於當下沒有構建大資料分析平臺的企業來說,也不必著急,順應大勢固然重要,但在建設過程中打好基礎更重要,要明確做好大資料平臺的前提是應用整合、資料治理,做到基礎優先,過程穩紮穩打,根據業務現狀、資訊化實情、順勢而為即可。

相關文章