為什麼說阿里巴巴本身是雲上資料中臺的最佳實踐
資料中臺門在阿里巴巴集團幹什麼的,由哪個部門掌管?資料中臺在阿里巴巴的主要作用是什麼呢?外面吹噓這麼神秘的資料中臺在阿里實踐的如何呢?今天小編正好要採訪資料技術及產品部門裡面一個老大,帶大家來一探究竟。 剛一開頭,老大就陷入沉思,沉重的說:“資料技術及產品部門在阿里巴巴集團其實已走過16個年頭,掌管著全集團的資料資產,那麼多年的積累,幫助阿里建立起了一套完整的資料體系,對業務有全面的支撐。”整個資料中臺從基礎設施,基礎資料技術起步,到資料資產管理;從內部的資料探勘到體系規範、標準、流程和體系制定;外部產出從資料視覺化技術到資料應用,使得內部的小二從方方面面都感受到資料中臺的真實存在。
資料技術及產品部門歷史
說到資料中臺不能不說阿里的底層基礎架構的紮實程度,資料中臺基於阿里雲的基礎設施,使用了Maxcompute大資料平臺、Analysis database、HBase、ECS等基礎元件,基於這些基礎元件之上,資料技術及產品部門的智慧工程師們開發了資料資產,它管理著全域大資料,統一的資料建設、管理、服務,服務阿里外部千萬使用者和內部業務給全集團小二們方便使用全集團的資料,當然這些都有嚴格的安全和許可權管理哦,只有有需要的小二才可以看到和使用哦!資料技術及產品部門彙集了各種資料,因此資料官們開發了各種各樣的資料技術幫助業務部門實現快速而準確的資料,大家耳熟能詳的oneID技術、反作弊技術、牛逼的雙十一實時計算大屏技術等都是資料技術及產品部門小二們開發的哦,非常讚的科技!這些牛逼的技術幫助阿里實現了各種場景的對外和對內的資料應用,資料探勘技術產出幫助阿里小二們更好的對業務作出判斷,實現更好的營銷,對外賦能生意參謀產品,使得商家對天貓和淘寶小店的業主們瞭解自己的生意,生意參謀透過生意背後一盤資料的資料產品服務。基於全渠道資料融合、全鏈路資料產品整合,為商家提供資料披露、分析、診斷、建議、最佳化、預測等一站式資料產品服務。目前,生意參謀服務的商家已經超過2000萬,月服務商家超過600萬;在月成交額30萬元以上的商家中,逾90%在使用生意參謀,這可是一個非常高的比例喔!
生意參謀截圖
得益於阿里巴巴生態和業務體系,阿里資料沉澱了包括電商交易、搜尋、物流、支付、廣告、風控、移動、影片等種類多樣的高質量資料,因此產生了各種資料應用為不同的部門和外部客戶提供各種資料服務,採訪領導講,這些應用實在太多了,有為公司高管決策服務的資料探勘分析產品;有為品牌廠商提供人群分析的品牌銀行資料服務;有為集團服務的OneID查詢,透過演算法和深度挖掘實現的人群畫像服務;為其他部門Web或App端開發規範和資料採集的資料埋點和採集系統;甚至還有為阿里雲的使用者實現敏捷報表開發的QuickBI產品…,哎呀呀,什麼生意參謀、quickBI,Dataphin、FBI、視覺化埋點、品牌銀行、企業參謀,資料質量,資料資產…巴拉巴拉幾十個名字,一大串資料產品名字,小編快記不過來,臨了領導還提醒小編要保密哦。不過最後小編看到一個叫阿里資料的產品,印象深刻,這可真是一個寶貝,讓小編有”一機在手,全盤掌握”的感覺。 很多人都以為資料技術及產品部門是一個ETL或資料處理部門,其實資料技術及產品部門大部分人都是碼農哦,他們用最新的技術打造最好用的資料,大家都知道開源的流處理Flink吧,它是流處理技術的後期之秀哦,現在看幾乎已經要打敗sparkstreaming,storm等前輩,之所以被碼農們普遍接受,很重要一點就是阿里的工程師在flink上實現了SQL程式設計,貢獻給社群,讓流計算開發變得簡單、易用。這些阿里貢獻給社群的還有很多,比如DataX,Hadoop等,另一塊大家看的眼饞的是資料視覺化技術、阿里利用最新的Web端技術、2D、3D的自由發揮,大規模的資料量繪製,藉助圖形化手段,清晰有效的出阿達資料意義,這塊在阿里雙十一零點那刻發揮的淋漓盡致。
雙11全球狂歡節資料屏
資料技術及產品部門不僅資料應用和資料產品做得好,阿里還非常重視體系,組織和標準化的建設,你要知道阿里巴巴是一個10萬人的大經濟體,阿里的資料服務涵蓋所有部門,因此標準、資料規範、採、建、管、控、用的流程非常重要,需要有一個體系,一整套標準來保障阿里資料執行和業務發展,這套標準體系可是阿里的寶貝,不輕易對外的。 資料技術及產品部門除了產品做的好、資料質量高外,也不是一個封閉固步自封的小團體,他還非常重視資料生態圈建設,以開放、分享、賦能為己任,以開放、分享的心態,將阿里在大資料上沉澱多年的經驗和能力,賦予阿里外部千萬使用者和內部業務,幫助商家、中小創業者、傳統企業等共同發展、繁榮,與很多院校建立了聯絡,部分成果開源社群,讓大家來分享大家的成功,如果大家想也建設一套資料中臺,可以看一下Dataphin、QuickBI、企業參謀、視覺化埋點採集系統,這些都是資料技術及產品部門透過阿里雲輸出的標準產品,海底撈,飛鶴、南方航空、大潤發等一大波企業已經在用了哦!
除了基礎、技術、產品、資料、標準外,資料技術及產品部門形成一套資料中臺方法論體系,OneData資料中臺是其中一個高度概括,它解決了IT部門資料開發的高人力成本、資料錯誤、浪費資源、雜亂無章、效率低下等這些經常出現的問題,OneData都能輕鬆解決,說到這裡,小編覺得其實外面說的大資料平臺落地難,實施難其實最缺乏的就是阿里的OneData資料中臺啊!
總之,資料技術及產品部門依託於豐富的資料資產和強大的技術能力和對資料分析、挖掘能力,充分應用到實際業務中。透過演算法,深度挖掘人群畫像等,並沉澱出一系列優質資料,為阿里的業務創新應用提供資料決策基礎和依據。為阿里發揮大資料的價值奠定堅實基礎。
本文為雲棲社群原創內容,未經允許不得轉載。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69947441/viewspace-2661439/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 為什麼說資料服務是資料中臺的標配?
- 阿里巴巴資料中臺實踐分享阿里
- 走好資料中臺最後一公里,為什麼說資料服務 API 是資料中臺的標配?API
- 到底什麼是資料中臺?
- 為什麼要用資料中臺
- 資料中臺是什麼意思?如何建設資料中臺?
- 電商 SaaS 全渠道實時資料中臺最佳實踐
- 資料中臺在阿里巴巴集團內部的實踐情況阿里
- 2019年,資料中臺為什麼火了?
- 為什麼說GitOps是基礎架構即程式碼 (IaC) 和 DevOps 最佳實踐?Git架構dev
- 為什麼說 Serverless 是雲的未來?Server
- 阿里巴巴DevOps實踐指南(一)| 為什麼DevOps的必然趨勢是BizDevOps阿里dev
- 【資料中臺商業化】資料中臺微前端實踐前端
- 資料中臺:宜信敏捷資料中臺建設實踐敏捷
- 快速雲原生化,從資料中心到雲原生的遷移最佳實踐
- 為什麼說現在是投資加密貨幣的最佳時機加密
- 工業裝置資料中臺是什麼?有什麼功能?
- 資料中臺定義是什麼,作用有哪些?
- 數棧技術分享:到底什麼是資料中臺?終於有人說清楚了!
- 什麼是資料中臺?什麼是數棲平臺?二者到底有什麼關係?
- 什麼是框架?(最佳實踐、專案總結)框架
- 資料中心是什麼?雲學院帶你開啟資料中心之旅
- 什麼是資料中臺?有何價值?如何搭建?
- Kubernetes的備份和恢復最佳實踐是什麼
- 為什麼說雲資料庫是商業的成功、技術的倒退?資料庫
- 為什麼說過早最佳化是萬惡之源?
- 為什麼說 TCP 是安全的TCP
- 為什麼說 HTTPS 是安全的?HTTP
- 什麼是框架?為什麼說 Angular 是框架?框架Angular
- 企業上雲是什麼意思?企業上雲的好處是什麼?
- 資料中臺的前世今生 :帶你全面瞭解阿里巴巴做資料中臺的歷史阿里
- PLC資料雲平臺是什麼?有什麼功能?
- 為什麼說企業雲盤是企業儲存資料的標配
- 未來的資料中心是什麼樣的
- 雲上密碼應用最佳實踐——為雲海漫步保駕護航密碼
- 為什麼說FUNGRAM是個值得投資的專案?
- 為什麼說雲端計算運維是新“貴”?運維
- 為什麼說雲遊戲是未來戰略要塞?遊戲