快速完成智慧資料構建,Dataphin公共雲版本全面解讀

程式碼派就是我發表於2019-06-27

公測兩個月,Dataphin公共雲版本已經受到了阿里雲上眾多輕量級使用者的關注。事實上,Dataphin作為一款大資料智慧構建與管理的產品,其核心功能是面向各行各業大資料建設、管理及應用訴求,一站式提供從資料接入到資料消費全鏈路的智慧資料構建與管理的大資料能力,包括產品、技術和方法論,助力企業打造標準統一、融會貫通、資產化、服務化、閉環自最佳化的智慧資料體系,以驅動業務創新。

日前,基於公測期間使用者關注的諸多問題,Dataphin團隊在阿里雲上啟動了首場Dataphin公共雲產品直播。針對性地解讀了這一版本在效能和使用上的亮點。

1、Dataphin可以解決什麼問題?

近年來大資料領域最熱門的詞非“資料中臺”莫屬,很多資料服務商都轉型為“資料中臺”的搭建者。然而與“資料中臺”的構建密切相關的產品Dataphin現已正式上線阿里雲公共雲環境。致力於幫助更多企業完成智慧資料構建與管理的期望。

“資料中臺”在媒體報導中,儼然成為了一個新的風口,那麼“資料中臺”也像之前的“物聯網”、“O2O”一樣只是概念嗎?其實“資料中臺”是一個經過實踐驗證後被提出的能力,阿里巴巴早在2015年就已確定資料中臺為戰略方向。今天終於可完整的攜帶方法論、技術、產品對集團外進行能力輸出。

阿里巴巴的資料中臺是滋生於業務的,實實在在解決著業務中的痛點,對於正在進行數字化轉型的企業來說,不同的崗位角色有著不同的困惑。

快速完成智慧資料構建,Dataphin公共雲版本全面解讀

在資料使用上遇到一些現實問題,大致可以從業務視角和技術視角兩方面來看:

首先是業務角度,由於資料標準不統一,命名不規範,口徑不一致,導致不同業務方對於同一個業務的認知有所不同;又因為由於團隊之間的壁壘,導致每個團隊能夠使用的資料非常有限,資料孤島化嚴重;而從資料加工處理的流程來看,各業務之間相互呼叫,逐步形成網狀依賴,加劇了資料重複建設以及管理失效的現狀;

其次是技術角度,煙囪式的開發導致開發週期長、效率低下,研發資源浪費,技術標準的差異則帶來維護成本奇高,同時資料垂直開發,導致生產鏈路複雜且長,重複計算多,資料產出時效性差;

快速完成智慧資料構建,Dataphin公共雲版本全面解讀

綜合整個大資料技術及應用發展歷史,資料構建與管理要落地企業長效發展過程中,最大的挑戰可以抽象為以下四類:

  • 業務理解上,“資料指標不一致”;舉個簡單的例子,就是一家企業的CEO,訂立銷售目標是1個億,結果他的5個業務負責人根據各自的演算法所得的業績資料都超過2千萬,所有業務leader的任務都完成了,唯獨CEO的業績卻沒有完成!聽起來可能是個玩笑,但是口徑不一致的問題經常會出現我們的業務中;
  • 需求支援上,“研發難”;一般地,一個需求提出到響應給到業務方,一般要一週時間,這還不算業務方拿到需求發現與實際業務中感知有所差異,不斷地與開發者進行對齊的時間;
  • 財務賬單上,“資源消耗高,財務成本重”;舉個簡單的例子,我們寫個複雜的查詢,如果沒有注意到全表掃描和主鍵唯一校驗問題,就有可能掃描一張數十億行的資料,就有可能執行超長的時間,消耗大量的資源;
  • 資料價值透出上,則需要快速響應、敏捷開發;舉個簡單的例子,模型做的非常好了,但是模型師不愛寫文件,或者文件太久沒有更新,對於一個應用開發者或者服務開發者而言,他需要不斷地去看模型的程式碼,去探查資料驗證自己的理解和判斷,直到找出所需要的資料。同樣,另外一個業務開發者也需要在不同的應用中使用這份資料,如果幸運地知道別人已經開發過了,可以做到一定程度的複用,但是如果不知道這個服務的存在,這位開發者還要重新來過一遍;

快速完成智慧資料構建,Dataphin公共雲版本全面解讀

2、同類市場上,Dataphin的特點與優勢在哪裡?

Dataphin的原創性核心能力:

第一:“資料規範定義”。百分百消除二義性,所謂二義性就是兩個同名的指標名稱但是計算口徑卻是不同的,Dataphin透過規範定義與自動化建模的方式消除了這種二義性的存在;這一能力打破的是概念設計與邏輯設計之間的鴻溝;

第二:“設計即開發”。簡單地說就是,實現了視覺化配置後的程式碼自動生成,這一能力打破的是邏輯設計與物理設計之間的差異;

第三:“資料資產化管理”。資料構建完成後,需要系統化地管理與運營,讓資料資產得以高質量、低成本、安全產出,更重要的是高效流通,快速價值化;

第四:“主題式查詢”。簡單地講就是,面向資料使用者的不再是物理模型中分散的資料表,而是以主題組織的模型;對於使用者而言,將省去大量的溝通、理解成本。

快速完成智慧資料構建,Dataphin公共雲版本全面解讀

3、中型企業、輕量級使用者是否適合使用Dataphin嗎?

我們經常會用到這張圖,形象化地描述,如果你是一家小型企業,現在開始規範化建設你的資料,將來自然生長為一個大型規範的資料中心;如果您是一家大型企業,還沒有建設資料中臺,提前規劃,提前儲備,一步到位建設資料中臺。公共雲版本正是在中小企業成長過程中既滿足使用者的需求,同時又相比獨立部署價更加經濟的選擇。

快速完成智慧資料構建,Dataphin公共雲版本全面解讀

智慧資料構建與管理 Dataphin:

釋出核心、場景、優勢、接入、更多:

Dataphin公共雲重磅釋出:

阿里雲新品釋出會頻道:

阿里雲新品釋出會·週刊:

原文連結:

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2648896/,如需轉載,請註明出處,否則將追究法律責任。

相關文章