本文來源:數智化轉型俱樂部
1
細數數倉30年發展史
資料庫與數倉的老牌產品供應商
資料工程研發的歷史是可以追溯到上世紀八十年代的資料庫和資料倉儲理論,隨後一大批的資料管理服務廠商開始崛起,其中 Oracle、Informatica 兩家非常有代表性,在行業中身居統治地位。
Oracle
Oracle 的資料庫在雲端計算逐步鋪開、去IOE聲浪逐步擴大的趨勢中開始式微,以及各類新興的非介面化儲存,如ElasticSearch、TSDB、MongoDB 等,OLTP場景下的市場份額爭奪激烈,除了老牌的資料庫廠商外,一些雲端計算大廠也開始了資料庫產品的研發,如AWS的Aurora、阿里雲的PolarDB ,在雲端計算市場中開始成為企業雲架構的基礎能力。
同時,在OLAP場景下,也就是Informatica一直處於霸主地位的市場中,在12年大資料逐步進入公眾視野後,越來越多的挑戰者進入,幾大雲廠商也不例外,其中以Google、Azure和阿里雲的追趕最為猛烈,Google在雲端計算先機失利的情況下,開始發揮巨大現金儲備的優勢,開始買買買,投資了 CASK、LOOKER等產品,微軟則是利用自身的產品沉澱,收割著辦公領域的存量客戶;阿里雲則是以“資料中臺”架構打響了企業數字化轉型的重要一槍,國內開始大量出現資料中臺服務商,生態開始繁榮起來。
Informatica
在這樣的大環境下,Informatica作為老牌的資料管理廠商,目前在Gartner魔力象限中依舊佔有非常重要的席位,所以在眾多企業選型的時候,都會考慮到使用Informatica的產品,但是國內這個產品一直是名聲大市場小,對於Informatica的好奇,也為了給客戶能夠提供更加全面的參考,我們對Informatica進行比較細緻的調研,主要從產品能力、技術支撐以及交付模式,因為商業化的企業服務產品都不便宜,希望一次採購能夠帶來比較長期的收益,所以產品是否能夠持續使用起來也是我們關心的一個要素。
首先看Informatica的產品能力,他們提供的主要輸出版本已經逐步使用B/S的模式, 相比之前的Client模式對於使用者接入提供了更好的體驗;對於資料倉儲構建的第一步“資料整合”,Informatica以 PowerCenter 作為資料整合的產品名稱,為面向不同場景的資料整合,則提供了多樣不同的版本:
- PowerCenter 標準版,用於整合和提交及時、相關、可靠的資料;• PowerCenter 高階版,用於執行復雜的任務關鍵型資料整合方案;• PowerCenter 大資料版,通過新興的技術和傳統的資料管理基礎設施整合大資料;• PowerCenter 資料虛擬版,用於提交最新的、全面的、可以信賴的業務檢視;• PowerCenter 實時版,用於實時整合和預配置營運資料;• PowerCenter 雲版本,用於無縫地將雲中資料和本地系統上的資料進行整合
這麼多版本不免讓人眼花繚亂。雖然從產品管理的角度來看,是個不錯的拆分方法,但是對於使用者而言,就沒有這麼方便了,讓人有種不良商家使用錨定價格來收智商稅的感覺。PowerCenter的應用架構如下圖:
PowerCenter 的應用元件:
1)服務端元件
- Informatica Service:PowerCenter 服務引擎• Integration Service :資料抽取、轉換、裝載服務引擎
2)客戶端元件
- Administrator Console:用於知識庫的建立和維護• Repository Manager:知識庫管理,包括安全性管理等• Designer: 設計開發環境,定義源幾目標資料結構;設計轉換規則,生成ETL對映;• Workflow Manager: 合理地實現複雜的ETL工作流,基於時間、事件的作業排程;• Workflow Monitor: 監控workflow和Session執行情況,生成日誌和報告
簡單地說就是,開發者通過Designer配置和設計資料的傳輸、轉換和對映關係,通過workflow來首先週期性地排程和管理
2
傳統數倉產業
數倉產品選型不僅是功能還有服務
從產品所對應的技術支援能力上看,由於是工具類產品,使用過程中的問題是否有完備的產品使用和客服支援很重要,在官方材料中沒有看到過產品的客戶服務支援方案,應該與具體的保障要求有關係,不知道是否會像通常的國外軟體服務,僅能在工作時間電話,一般離線資料任務都是在凌晨時間執行,一旦出現問題,如何快速響應,也是需要在產品採購時關注的。
3
新時代數字化建設方案
企業資料中臺的構建解決方案架構與落地路徑
最後就是交付實施了,對於傳統數倉交付的團隊,對於Informatica應該不算是陌生的,但是在國內這一類的服務商一直沒有發展起來,原因就是太依賴產品了,Informatica不是中小企業的預算可以承受的,所以比較難以規模化,尤其是在雲端計算的衝擊下,消費網際網路發展逐漸開始趨平,產業網際網路開始興起,或許企業中會有更多的資金投入到資料管理的領域,
但是,中國國內企業的現狀而言,估計還是不僅僅採購一個產品這麼簡單,如果產品版本過於複雜,操作需要極強的專業性,那麼也很難規模化;
對於企業而言,不僅僅需要一個有著豐富功能的產品,還有有支撐通過產品去實現商業成功的團隊或者技術支援,所以選擇一個有著完善生態交付能力的產品或許是更好的選擇。
2019年雲棲大會上,阿里雲資料中臺推出產品Dataphin,其中有個介紹對於國內企業還是參考意義的,產品具體的介紹如下:
“阿里雲資料中臺,基於阿里巴巴近十年的大資料建設經驗,沉澱出一整套的資料採集、建設與管理的方法論體系,併產品化為Dataphin產品,形成資料的採、建、管、用 一站式全鏈路服務能力,在中國乃至世界企業數字化轉型中,承載樞紐位置,助力企業實現資料資產化和價值化!”
Dataphin在產品能力在於資料虛擬化上,通過定義一系列的原子的概念,如維度、業務過程、原子指標、業務限定、派生指標,以及模型內的關係,如維度、屬性、關聯關係等等,從而實現資料生產的自動化,進而實現在開發層是面向業務邏輯的開發、在使用層面是面向主題式模型的引用,進而實現了資料的虛擬化能力。
D
總結
目前,阿里雲資料中臺產品矩陣正在不斷地優化和發展。建議企業在選擇的時候,不要盲目,適合自己的才是好的、對的!
如您對商業智慧,數智化轉型感興趣,請加微信:wendy199it