danthelion/trino-minio-iceberg-example:使用Minio、Trino、iceberg搭建資料工程演示案例
這個專案演示了使用Minio、Trino(具有眾多聯結器)等工具透過 Docker 在我們的機器上部署 MVP 版本來執行一些分析查詢.
資料湖
“Data Lakehouse”一詞是由 Databricks 創造的,他們將其定義為:
簡而言之,Data Lakehouse 是一種架構,可以直接對儲存在 Data Lakes 中的大量資料啟用高效且安全的人工智慧 (AI) 和商業智慧 (BI)。
基本上,如果您在物件儲存(例如 s3)中有大量檔案,並且您想對它們執行復雜的分析查詢,Lakehouse 可以幫助您實現這一目標,使您能夠執行 SQL 查詢而無需將資料移動到任何地方,例如資料倉儲。
Lakehouse 的核心儲存元件是資料湖:
資料湖是一種低成本、開放、持久的儲存系統,適用於任何資料型別——表格資料、文字、影像、音訊、影片、JSON 和 CSV。每個主要的雲提供商都利用和推廣雲中的資料湖,例如 AWS S3、Azure 資料湖儲存 (ADLS) 和谷歌雲端儲存 (GCS)。
相關文章
- 使用iceberg-使用Iceberg資料湖需要注意的點
- flink + iceberg 快速搭建指南
- 使用 Docker 搭建 minio 檔案儲存Docker
- 使用MinIO搭建物件儲存服務物件
- 使用containerd搭建MinIO叢集服務AI
- SpringMVC入門案例 & 常用API使用演示SpringMVCAPI
- Presto+Alluxio 加速 Iceberg 資料湖訪問RESTUX
- Iceberg 資料治理及查詢加速實踐
- 資料採集典型案例,如何助力企業搭建資料方案
- 現成雜湊遊戲系統原始碼搭建丨演示版案例遊戲原始碼
- 資料湖選型指南|Hudi vs Iceberg 資料更新能力深度對比
- 資料湖倉比較:Apache Hudi、Delta Lake、Apache IcebergApache
- 資料湖表格式比較(Iceberg、Hudi 和 Delta Lake)
- IO的資料集使用案例
- Chroma向量資料庫使用案例資料庫
- trino容器安裝
- MinIO使用記錄
- 常見的三大資料湖技術 - Delta、Hudi、Iceberg大資料
- 2.2反射性xss案例演示反射
- 華為高斯DB(for MySQL)搭建演示MySql
- 超詳細 | 使用Nexus搭建私服 (帶程式碼演示)
- 使用 Iceberg on Kubernetes 打造新一代雲原生資料湖
- Trino Master OOM 排查記錄ASTOOM
- 基於Apache Hudi + MinIO 構建流式資料湖Apache
- 使用青雲搭建大資料叢集大資料
- 資料湖Iceberg技術在小米的落地與場景應用
- 3D點雲資料標註典型案例,如何助力企業搭建資料方案3D
- Oracle資料庫使用空間統計案例Oracle資料庫
- NFT交易系統開發(APP案例演示)APP
- eclipse裡面使用Maven搭建web工程EclipseMavenWeb
- 第二篇:智慧電網(Smart Grid)中的資料工程與大資料案例分析大資料
- 量化交易現貨合約對沖跟單app系統開發案例演示(原始碼搭建)APP原始碼
- 使用SQL*Loader匯入CLOB和BLOB資料使用案例SQL
- 資料倉儲元件:HBase叢集環境搭建和應用案例元件
- Minio
- MongoDB案例分享:如何使用oplog恢復資料MongoDB
- 使用netbackup進行資料庫恢復案例資料庫
- 用Navicat連線資料庫-資料庫連線(MySQL演示)資料庫MySql