Apache Doris 輕鬆入門和快速實踐

Doris 最早是解決百度鳳巢統計報表的專用系統，隨著百度業務的飛速發展對系統進行了多次迭代，逐漸承擔起百度內部業務的統計報表和多維分析需求。2013 年，百度把 Doris 進行了 MPP 框架的升級，並將新系統命名為 Palo。2017 年以百度 Palo 的名字在 GitHub 上進行了開源。2018 年貢獻給 Apache 基金會時，由於與國外資料庫廠商重名，因此選擇用回最初的名字，這就是 Apache Doris 的由來。

Apache Doris是一個現代化的MPP分析型資料庫產品，僅需亞秒級響應時間即可獲得查詢結果，有效地支援實時資料分析。Apache Doris的分散式架構非常簡潔，易於運維，並且可以支援10PB以上的超大資料集。

Apache Doris可以滿足多種資料分析需求，例如固定歷史報表，實時資料分析，互動式資料分析和探索式資料分析等。令您的資料分析工作更加簡單高效！

Doris 的定位是面向線上報表和分析的資料倉儲系統，可以對標於商業的MPP 資料倉儲系統，比如Greenplum、Vertica、Teradata 等。

 

專欄大綱

Doris（原百度 Palo）是一款基於大規模並行處理技術的分散式 SQL 資料庫，由百度在 2017 年開源，2018 年 8 月進入 Apache 孵化器。Doris是基於MPP架構的OLAP引擎，主要整合了Google Mesa（資料模型）、Apache Impala（MPP Query Engine）和Apache ORCFile （儲存格式，編碼和壓縮）的技術。

 

Doris可以滿足企業級使用者的多種分析需求，包括OLAP多維分析，定製報表，實時資料分析，Ad-hoc資料分析等。

 

具體的業務場景包括：

• 資料倉儲建設
• OLAP/BI分析
• 使用者行為分析
• 廣告資料分析
• 系統監控分析
• 探針分析 APM（Application Performance Management）

 

《Apache Doris 輕鬆入門和快速實踐》技術專欄包括Apache Doris架構介紹、環境搭建、入門操作例項和演示專案原始碼。技術專欄從實戰出發，透過基礎介紹入門-環境搭建-專案實踐，讓初學者快速掌握Apache Doris分析型OLAP資料庫開源產品。其中示例專案KFD演示透過Flink處理Kafka中的訊息記錄，處理之後的資料再寫入到Kafka和Elasticsearch中，最後以Routine Load方式再將處理好的資料匯入到Doris中。

技術專欄主要包含如下內容：

• Apache Doris入門：基於 MPP 技術的SQL分析型資料庫
• 如何透過原始碼編譯Apache Doris？手把手教你完成整個編譯過程
• Apache Doris 部署所需的軟硬體環境以及節點規劃
• Apache Doris 配置和啟動執行FE節點詳細過程
• Apache Doris 配置和啟動執行BE節點詳細過程
• Apache Doris 檢視FE執行情況，以及擴容和縮容FE例項
• Apache Doris 檢視BE執行情況，以及擴容和縮容BE例項
• 快速部署Apache Doris演示環境
• 快速體驗Apache Doris：基礎使用入門、建立賬號和資料庫
• 快速體驗Apache Doris：建立單分割槽表、匯入資料、簡單查詢操作
• 快速體驗Apache Doris：建立複合分割槽表、匯入資料、簡單查詢
• 快速體驗Apache Doris：修改表結構
• 快速體驗Apache Doris：建立Rollup上卷表
• Apache Doris 資料模型：Aggregate聚合模型的基本概念和入門演示
• Apache Doris 資料模型：Uniq 唯一模型的基本概念和入門演示
• Apache Doris 資料模型：Duplicate 明細模型的基本概念和入門演示
• Apache Doris 中 BITMAP 基本原理、資料型別和內建函式
• Apache Doris 中BITMAP 聚合函式的使用入門
• Apache Doris 中BITMAP_INTERSECT和INTERSECT_COUNT的使用入門和留存計算
• Apache Doris 動態分割槽表詳細使用入門
• 專案實踐：實現Kafka訊息記錄匯入Apache Doris資料表【1】
• 專案實踐：實現Kafka訊息記錄匯入Apache Doris資料表【2】
• 專案實踐：實現Kafka訊息記錄匯入Apache Doris資料表【3】
• 專案實踐KFD：Flink應用透過Kafka Connector元件消費Kafka資料
• 專案實踐KFD：Flink消費Kafka資料進行統計處理
• 專案實踐KFD：Flink統計處理之後的資料sink到Kafka
• 專案實踐KFD：Flink對於遲到資料處理的開發實踐
• 專案實踐KFD：改進Flink輸出到Kafka訊息佇列的資料格式
• 專案實踐KFD：處理過的訪問資料透過Routine Load匯入到Doris
• 專案實踐KFD：Flink統計處理之後的資料sink到Elasticsearch
• 一步一步編譯最新版Apache Doris 0.15版本的詳細過程
• 一步一步編譯最新版Apache Doris 0.15中的擴充套件外掛Flink Doris Connector
• Apache Doris叢集從0.14到0.15版本平滑升級實戰
• 基於Flink Doris Connector擴充套件外掛的專案開發實踐（1）
• 基於Flink Doris Connector擴充套件外掛的專案開發實踐（2）
• 基於Flink Doris Connector擴充套件外掛的專案開發實踐（3）
• ...