快速完成智慧資料構建,Dataphin公共雲版本全面解讀
公測兩個月,Dataphin公共雲版本已經受到了阿里雲上眾多輕量級使用者的關注。事實上,Dataphin作為一款大資料智慧構建與管理的產品,其核心功能是面向各行各業大資料建設、管理及應用訴求,一站式提供從資料接入到資料消費全鏈路的智慧資料構建與管理的大資料能力,包括產品、技術和方法論,助力企業打造標準統一、融會貫通、資產化、服務化、閉環自最佳化的智慧資料體系,以驅動業務創新。
日前,基於公測期間使用者關注的諸多問題,Dataphin團隊在阿里雲上啟動了首場Dataphin公共雲產品直播。針對性地解讀了這一版本在效能和使用上的亮點。
1、Dataphin可以解決什麼問題?
近年來大資料領域最熱門的詞非“資料中臺”莫屬,很多資料服務商都轉型為“資料中臺”的搭建者。然而與“資料中臺”的構建密切相關的產品Dataphin現已正式上線阿里雲公共雲環境。致力於幫助更多企業完成智慧資料構建與管理的期望。
“資料中臺”在媒體報導中,儼然成為了一個新的風口,那麼“資料中臺”也像之前的“物聯網”、“O2O”一樣只是概念嗎?其實“資料中臺”是一個經過實踐驗證後被提出的能力,阿里巴巴早在2015年就已確定資料中臺為戰略方向。今天終於可完整的攜帶方法論、技術、產品對集團外進行能力輸出。
阿里巴巴的資料中臺是滋生於業務的,實實在在解決著業務中的痛點,對於正在進行數字化轉型的企業來說,不同的崗位角色有著不同的困惑。
在資料使用上遇到一些現實問題,大致可以從業務視角和技術視角兩方面來看:
首先是業務角度,由於資料標準不統一,命名不規範,口徑不一致,導致不同業務方對於同一個業務的認知有所不同;又因為由於團隊之間的壁壘,導致每個團隊能夠使用的資料非常有限,資料孤島化嚴重;而從資料加工處理的流程來看,各業務之間相互呼叫,逐步形成網狀依賴,加劇了資料重複建設以及管理失效的現狀;
其次是技術角度,煙囪式的開發導致開發週期長、效率低下,研發資源浪費,技術標準的差異則帶來維護成本奇高,同時資料垂直開發,導致生產鏈路複雜且長,重複計算多,資料產出時效性差;
綜合整個大資料技術及應用發展歷史,資料構建與管理要落地企業長效發展過程中,最大的挑戰可以抽象為以下四類:
- 業務理解上,“資料指標不一致”;舉個簡單的例子,就是一家企業的CEO,訂立銷售目標是1個億,結果他的5個業務負責人根據各自的演算法所得的業績資料都超過2千萬,所有業務leader的任務都完成了,唯獨CEO的業績卻沒有完成!聽起來可能是個玩笑,但是口徑不一致的問題經常會出現我們的業務中;
- 需求支援上,“研發難”;一般地,一個需求提出到響應給到業務方,一般要一週時間,這還不算業務方拿到需求發現與實際業務中感知有所差異,不斷地與開發者進行對齊的時間;
- 財務賬單上,“資源消耗高,財務成本重”;舉個簡單的例子,我們寫個複雜的查詢,如果沒有注意到全表掃描和主鍵唯一校驗問題,就有可能掃描一張數十億行的資料,就有可能執行超長的時間,消耗大量的資源;
- 資料價值透出上,則需要快速響應、敏捷開發;舉個簡單的例子,模型做的非常好了,但是模型師不愛寫文件,或者文件太久沒有更新,對於一個應用開發者或者服務開發者而言,他需要不斷地去看模型的程式碼,去探查資料驗證自己的理解和判斷,直到找出所需要的資料。同樣,另外一個業務開發者也需要在不同的應用中使用這份資料,如果幸運地知道別人已經開發過了,可以做到一定程度的複用,但是如果不知道這個服務的存在,這位開發者還要重新來過一遍;
2、同類市場上,Dataphin的特點與優勢在哪裡?
Dataphin的原創性核心能力:
第一:“資料規範定義”。百分百消除二義性,所謂二義性就是兩個同名的指標名稱但是計算口徑卻是不同的,Dataphin透過規範定義與自動化建模的方式消除了這種二義性的存在;這一能力打破的是概念設計與邏輯設計之間的鴻溝;
第二:“設計即開發”。簡單地說就是,實現了視覺化配置後的程式碼自動生成,這一能力打破的是邏輯設計與物理設計之間的差異;
第三:“資料資產化管理”。資料構建完成後,需要系統化地管理與運營,讓資料資產得以高質量、低成本、安全產出,更重要的是高效流通,快速價值化;
第四:“主題式查詢”。簡單地講就是,面向資料使用者的不再是物理模型中分散的資料表,而是以主題組織的模型;對於使用者而言,將省去大量的溝通、理解成本。
3、中型企業、輕量級使用者是否適合使用Dataphin嗎?
我們經常會用到這張圖,形象化地描述,如果你是一家小型企業,現在開始規範化建設你的資料,將來自然生長為一個大型規範的資料中心;如果您是一家大型企業,還沒有建設資料中臺,提前規劃,提前儲備,一步到位建設資料中臺。公共雲版本正是在中小企業成長過程中既滿足使用者的需求,同時又相比獨立部署價更加經濟的選擇。
智慧資料構建與管理 Dataphin:
釋出核心、場景、優勢、接入、更多:
Dataphin公共雲重磅釋出:
阿里雲新品釋出會頻道:
阿里雲新品釋出會·週刊:
原文連結:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2648896/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 阿里大資料產品Dataphin上線公共雲,將助力更多企業構建資料中臺阿里大資料
- 阿里雲專有宿主機,構建公共雲上的專有資源池阿里
- 如何構建零信任的雲資料架構架構
- 資料結構 快速排序 C Swift 極簡版本資料結構排序Swift
- 華夏航空全面採用AWS構建雲基礎架構架構
- HashData完成1500萬美元融資 加速構建雲原生資料倉儲
- 快速瞭解雲原生架構架構
- 雲資料庫時代:企業資料架構的雲化智慧重構和變革資料庫架構
- 騰訊雲資料庫 MySQL 8.0 正式上線,效能全面超越官方版本資料庫MySql
- 雲資料庫MongoDB全面支援3.4版本,支援多儲存引擎資料庫MongoDB儲存引擎
- 如何構建自己的雲資料庫?建立雲資料庫是否要收費?資料庫
- 構建中國雲生態 | 華雲資料與天翼雲完成產品相容互認證 攜手推動信創雲快速發展
- 讀資料工程之道:設計和構建健壯的資料系統11雲經濟學
- 利用分散式賬本技術構建更加智慧的公共服務分散式
- 江西加快智慧防汛建設構建防汛大資料平臺大資料
- 深度解讀 MongoDB 最全面的增強版本 4.4 新特性MongoDB
- 如何基於Dataphin實現敏感資料保護
- 構建真“智慧”的智慧社群解決方案
- 物化檢視如何快速完成資料聚合操作?
- 低程式碼智慧通訊:騰訊雲簡訊助力,快速構建高效訊息應用
- 公共基礎知識-資料結構-樹資料結構
- 雲端計算基礎設施構建:平臺雲化-資料庫雲化建議資料庫
- 智慧移動機器人如何快速低成本構建?機器人
- 資料結構之---C語言實現快速排序(多個版本)資料結構C語言排序
- vue原始碼解讀-建構函式Vue原始碼函式
- Mybatis原始碼簡單解讀----構建MyBatis原始碼
- Magic原始碼閱讀(三)——資料匯入和構建原始碼
- 【資料結構】快速排序資料結構排序
- 構建中國雲生態:華雲資料與小雷科技完成產品相容互認證
- 讀資料工程之道:設計和構建健壯的資料系統32序列化和雲網路
- 構建中國雲生態 | 華雲資料完成全部國產作業系統相容性互認證 夯實雲生態建設基石作業系統
- 智慧公共廁所,重構城市公共服務的新模式@光明源智慧公廁模式
- 資料湖構建DLF資料探索快速入門-淘寶使用者行為分析
- “資料+技術”助力雲原生智慧運維體系建設運維
- 構建資料庫雲管平臺 實現資料價值最大化資料庫
- 工信部:將建2個公共工業雲平臺和1個工業大資料平臺大資料
- GetBean原始碼全面解讀Bean原始碼
- 美創助力台州市大資料局“公共資料平臺”資料安全建設大資料