資料湖+資料中臺,金山雲大資料平臺如何攻克資料價值落地難關
隨著疫情穩定,出行的解禁,正是拉動老客戶消費和挖掘潛客的機會,那麼銀行在數字化時代的營銷業務是如何實現的?首先在業務層面需要與各大電商平臺、OTA、出行、O2O、線下餐飲、購物中心達成廣泛的權益合作;之後匯聚內部資料和第三方資料,進行資料採集、清洗、拉通與匹配;再利用基於機器學習的營銷模型不斷學習與完善,最後將合適的資訊適時推薦給使用者,實現營銷活動與使用者需求的精準匹配和及時響應,拉動業務的提升。
如今,一個小小營銷活動不僅需要面對複雜、豐富的海量資料,還涉及到雲端計算、大資料、AI等多種技術的綜合應用,這恰恰是當下產業數字化大浪潮中的一個小縮影。隨著各個行業的業務加速線上化,會有越來越多業務場景,像營銷這樣全面走向“資料驅動業務”。
“資料驅動業務”,短短几個字背後所傳遞的核心含義是:前端業務實現快速響應,海量資料實現價值落地。因此,無論是幾年前火熱的資料湖,還是最近的弄潮兒資料中臺,都是“讓企業把資料用起來”這個使命下的產物。
但褪去營銷概念的浮華,“讓企業把資料用起來和用好”這些年依然充滿著各種挑戰,而率先幫助使用者走出資料價值落地之路的,不是傳統儲存廠商,也不是傳統資料倉儲廠商,卻是以金山云為代表的雲服務商們。
近日,隨著金山雲全新航母級大資料雲平臺的推出,從產品競爭力、技術趨勢以及行業實踐等角度再次印證了雲服務商為何能夠成為資料價值落地的擔當主力。
雲服務商成資料價值落地主力軍
根據中國信通院《中國數字經濟發展白皮書(2020年)》報告顯示,2019年,我國數字經濟規模達到35.8萬億元,佔GDP比重達到36.2%,同比增長15.6%,數字經濟在國民經濟中的地位進一步凸顯。
進入到數字經濟時代,資料的價值與作用堪比當年的石油。尤其是隨著《關於構建更加完善的要素市場化配置體制機制的意見》(以下簡稱《意見》)的正式釋出,官方首次將“資料”納入生產要素,並指出要發揮“資料”這一新型要素對其他要素效率的倍增作用,使資料成為推動經濟高質量發展的新動能。
在數字經濟蓬勃發展的另一方面,則是企業加速上雲的步伐。《雲端計算發展白皮書(2020)》報告資料透露,2019年,中國雲端計算市場規模達到1334億元,增速達到38.61%,公有云從規模、增速全面超越私有云,企業全面上雲成為大勢所趨。
事實上,“讓企業把資料用起來和用好”的關鍵一步就是上雲。這是因為,一方面隨著產業數字化的深入,無論是已有業務場景的數字化轉型,還是新業務場景的數字化創新,都是基於資料的基礎之上綜合運用雲端計算、大資料、AI等數字化技術,絕不是依靠單點或者幾項技術就能實現;另一方面,雲端計算作為企業數字化轉型最重要的工具平臺,具有天然的整合和整合屬性,很容易整合大資料、人工智慧、區塊鏈等技術,為資料價值落地提供了充分的保障。
所以,雲服務商們作為一個全能型選手,近年來在幫助使用者實現資料價值落地開始脫穎而出,優勢得到充分顯現。
金山雲們為何能脫穎而出
在資料價值落地的探索之路上,基於Hadoop開源平臺的大資料廠商、傳統資料倉儲廠商是繞不開的話題。事實上,這些廠商都在推動資料價值落地上付出了諸多努力,但隨著最近十年雲端計算的崛起,一切都發生了改變。
以傳統資料倉儲廠商為例,其打造的軟硬一體化的大資料平臺,雖然也擁有出色的效能和便捷的管理,但受制於擴充套件性、靈活性以及高昂的成本,遠不如基於雲端計算的大資料平臺更加靈活與高效;又如基於Hadoop開源平臺的大資料平臺,哪怕是商業版本在使用者實際使用環境中,依然需要做不少部署、配置、調優的工作,在時間和人力成本上都遠遜色於大資料雲平臺。
究其原因,這是因為過去十年移動化、社交化帶來了資料指數級增長、資料來源廣泛化、資料型別多元化,5G、物聯網、邊緣計算的興起,只會加劇現代資料應用的複雜性,雲端計算則是解決這種複雜性的天然首選,它不僅能夠遮蔽底層各種跟資料相關的複雜技術,還帶來了彈性、靈活的優勢,加速了大資料平臺在業務應用中的落地。
以金山雲全新航母級大資料雲平臺為例,提供了從資料採集、儲存到分析利用的全棧式大資料服務,大幅降低了使用者使用大資料平臺的門檻,快速響應和構建各類大資料應用。與傳統大資料平臺相比,金山雲全新航母級大資料雲平臺有六大顯著不同:
- 分散式架構
採用分散式架構,同時支援離線計算、實時計算和即時計算,並且涵蓋了業務資料、日誌資料、行為買點資料、IoT資料、爬蟲資料和外部資料等;
- 統一全棧式
統一全棧式帶來了一站式視覺化資料開發,統一平臺、介面、排程、管控,大幅降低了資料加工、處理等過程的複雜度;
- 敏捷迭代的建設模式
改變了傳統數倉自頂向下的設計,以業務需求為核心,結合需求變化,自底向上,不斷迭代升級;
- 雲原生資源彈性
充分利用到雲原生的資源彈性優勢,實現按需快速擴容,併為資料探勘、深度學習等場景提供更高效彈性的GPU資源;
- 資料資產線上化
實現後設資料管理統一入口的自動化和資料資產線上管理,徹底改變過去傳統資料治理投入大量精力,最終形成離線文件規範的局面;
- 資料應用創新
加速資料應用創新,將全域資料打通,讓全員參與資料消費,真正實現資料驅動業務。
金山雲將其大資料雲平臺稱之為航母級大資料雲平臺。眾所周知,航空母艦是目前世界上規模最龐大、技術最複雜、威力最強的武器之一,也是一個國家綜合國力的象徵。金山雲認為,大資料雲平臺和航母在運轉模式上異曲同工。例如,資料採集如同航母雷達訊號的偵採,既要實時、全面、精準採集,又要批次傳輸、推送;資料整合如同航母的通訊系統,提供穩定高效的資料同步服務,幫助使用者在複雜網路環境下,將各類資料來源低延遲批次同步等。
金山雲航母級大資料雲平臺之所以具備強大的差異化競爭力,關鍵在於:第一,金山雲擁有領先的產品與技術,並且實現了產品技術迅速更新迭代,讓領先技術更快落地到業務場景之中;其次,金山雲自身還有多年的大資料平臺運營與運維經驗;第三,更加關鍵是金山雲在金融、政務、醫療等多個行業的資料價值落地實踐中積累了豐富經驗。
攻克資料價值落地最後難關
從2010年資料湖概念首次提出開始,資料湖發展多年卻是不溫不火。資料湖的價值在於可以幫助使用者梳理清楚從資料儲存、資料匯聚到資料探勘這些過程,匯聚、拉通資料,消滅資料孤島。但是資料湖依然聚焦在底層,並不能解決資料如何與前端業務快速響應與匹配的問題。
資料中臺致力於解決資料如何與前端業務快速響應的問題,讓資料更靈活、敏捷地服務前端業務。但資料中臺更像是一個PaaS平臺,向下跟資料緊密聯絡,向上需要與業務緊密配合,其建設也是一個螺旋上升的過程,往往需要真實的業務場景去實踐,不斷根據業務變化需求來進行完善與迭代。
因此,金山雲航母級大資料雲平臺攻克資料價值落地最後難關的關鍵在於:如何綜合資料湖等相關技術,遮蔽底層架構複雜性,將資料中臺PaaS平臺的快速迭代能力進一步融合,並充分利用雲端計算底層資源彈性、靈活和高效的優勢,以雲服務的方式輸出。
金山雲航母級大資料雲平臺涵蓋了資料湖和資料中臺的設計理念。一方面為客戶提供一站式大資料平臺,提效客戶業務開發、大規模資產管理、運維保障的大資料底層能力;另一方面,以雲端計算平臺為核心,形成資料湖運營管理、資料中臺基礎架構部門核心能力支撐工具。
據悉,金山雲航母級大資料雲平臺包含資料採集、資料整合、資料服務、資料管理、挖掘分析、資料開發、智慧排程、儲存與計算等八大元件,大資料運維和大資料運營兩大支撐體系,以及一套涵蓋了平臺門戶、專案管理、資源管理和使用者管理的公共服務。
金山雲航母級大資料雲平臺將集資料儲存、資料加工、資料展現及資料運營和治理於一體,以及將後臺各式各樣的資料資源轉化為前臺易於應用的能力,並實現了使用者門戶、使用者體系、資料體系、開發平臺、服務平臺、運維平臺、分析平臺的統一管理。
金山雲航母級大資料雲平臺還在部署規模、部署環境全面滿足使用者的各種需求,可以支援上萬臺以上的叢集部署規模,資料採集節點數超過10萬個,實時資料處理能力達到每秒億條以上。破除了既有大資料系統的規模瓶頸,實現了“航母級”的資料吞吐。值得稱道的是,金山雲航母級大資料雲平臺具備脫雲輸出的能力,即大資料雲平臺不僅可以高效執行在金山雲的IaaS平臺上,其他主流的IaaS平臺也都可以支援大資料雲平臺的部署,充分體現平臺的靈活性,包括金山雲公有云、銀河私有云、其他廠商私有云以及裸金屬環境。
不僅如此,金山雲航母級大資料雲平臺還在大型國有金融機構有著豐富的實踐經驗。眾所周知,金融行業是大資料應用的最前沿,資料規模龐大、資料型別豐富、資料應用場景眾多,對於大資料技術、產品有著極為苛刻的要求。金山航母級大資料雲平臺在經歷了金融業務場景的千錘百煉和數年大資料平臺運營運維考驗之後,有望在更多行業幫助使用者實現資料價值落地。
總體來看,隨著5G正式走向商用,大資料、人工智慧、邊緣計算、物聯網等應用將會加速出現。使用者在未來將會面臨一個更加複雜的資料環境,業務也將產生更多基於資料的應用,強大的大資料平臺將必不可缺,金山雲航母級大資料雲平臺此時推出可謂是恰逢其時,將在企業數字化轉型中發揮至關重要的作用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2730724/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料平臺、大資料平臺、資料中臺……還分的清不?大資料
- 大資料治理平臺有哪些價值大資料
- 通俗語言解釋資料倉儲、資料湖、資料中臺
- 萬字詳解資料倉儲、資料湖、資料中臺和湖倉一體
- 資料倉儲、資料集市、資料湖、資料中臺到底有什麼區別?
- 構建資料庫雲管平臺 實現資料價值最大化資料庫
- 大資料平臺是什麼?有哪些功能?如何搭建大資料平臺?大資料
- 大資料治理——搭建大資料探索平臺大資料
- 資料中臺(資料整合篇)
- 袋鼠雲資料湖平臺「DataLake」,儲存全量資料,打造數字底座
- 資料中臺(資料資產管理篇)
- 剖析大資料平臺的資料處理大資料
- IPIDEA助力大資料價值應用落地Idea大資料
- 大資料分析平臺如何構建大資料
- IT老兵告訴你資料中臺和大資料平臺有啥不一樣?大資料
- 大資料平臺CDH搭建大資料
- 工業大資料分析平臺的應用價值探討大資料
- 奇點雲資料中臺技術匯(二)| DataSimba系列之資料採集平臺
- 阿里云云原生資料湖體系全解讀——資料湖開發治理平臺 DataWorks阿里
- 資料治理與資料中臺架構架構
- 如何挖掘大資料的價值大資料
- 基於Apache Hudi在Google雲構建資料湖平臺ApacheGo
- 淺談G行資料湖平臺建設
- 使用 Flink Hudi 構建流式資料湖平臺
- 流程簡化!資料中臺+BI平臺輕鬆實現資料整合
- DataPipeline在大資料平臺的資料流實踐API大資料
- 資料海洋視覺化,Splunk平臺價值實現視覺化
- 資料庫平臺資料庫
- ETL資料整合,RestCloud資料整合平臺RESTCloud
- 怎樣搭建大資料平臺大資料
- EXCEEDDATA — 工程大資料分析平臺大資料
- 大資料風控平臺需求大資料
- 如何利用資料視覺化大屏把握消防大資料平臺實況視覺化大資料
- 資料視覺化平臺搭建,警務實戰平臺大資料應用視覺化大資料
- 智慧警務大資料平臺開發,資料視覺化分析平臺搭建大資料視覺化
- 資料倉儲資料中臺區別在哪?
- 金山雲資料庫之路資料庫
- 如何做好資料治理平臺