大資料平臺的整體架構由哪些組成

大資料小知識發表於2022-04-12

  大資料平臺將網際網路使用和大資料產品整合起來,將實時資料和離線資料打通,使資料能夠實現更大規模的相關核算,挖掘出資料更大的價值,然後實現資料驅動事務。那麼,大資料平臺的整體架構由哪些組成呢?

  一、事務使用:其實指的是資料收集,你經過什麼樣的方法收集到資料。網際網路收集資料相對簡略,經過網頁、App就能夠收集到資料,比方許多銀行現在都有自己的App。更深層次的還能收集到使用者的行為資料,能夠切分出來許多維度,做很細的剖析。但是對於涉及到線下的行業,資料收集就需要藉助各類的事務體系去完成。

  二、資料整合:指的其實是ETL,指的是使用者從資料來源抽取出所需的資料,經過資料清洗,終究依照預先定義好的資料倉儲模型,將資料載入到資料倉儲中去。而這兒的Kettle僅僅ETL的其中一種。

  三、資料儲存:指的便是資料倉儲的建設了,簡略來說能夠分為事務資料層(DW)、指標層、維度層、彙總層(DWA)。

  四、資料同享層:表明在資料倉儲與事務體系間提供資料同享服務。Web Service和Web API,代表的是一種資料間的銜接方法,還有一些其他銜接方法,能夠依照自己的情況來確定。

  五、資料剖析層:剖析函式就相對比較容易理解了,便是各種數學函式,比方K均值剖析、聚類、RMF模型等等。

  六、資料展現:結果以什麼樣的方式呈現,其實便是資料視覺化。這兒建議用敏捷BI,和傳統BI不同的是,它能經過簡略的拖拽就生成報表,學習成本較低。

  七、資料訪問:這個就比較簡略了,看你是經過什麼樣的方法去檢視這些資料,圖中示例的是因為B/S架構,終究的視覺化結果是經過瀏覽器訪問的。

  大資料平臺的整體架構由哪些組成.中琛魔方大資料平臺表示對於大資料平臺的商業版本,企業面對的是合作伙伴的服務跟不上,因為發展太快,對於開源版本,企業面臨的是自身運維能力和技術能力的挑戰,對於自主能力實際要求更高。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69936596/viewspace-2886677/,如需轉載,請註明出處,否則將追究法律責任。

相關文章