StarRocks攜手零洞科技，助力碧桂園物業企業微信數字化專案

　　作者： 零洞科技大資料部

　　零洞科技有限公司（以下簡稱“零洞”），是碧桂園集團的核心聯盟企業，致力於成為國內領先的數智空間解決方案服務商，業務場景覆蓋戶內及戶外，在智慧家居板塊，打造一站式智慧家居解決方案，構成豐富的生活場景，滿足高階使用者智慧生活體驗；在智慧園區領域，為園區提供全鏈路智慧化產品及服務，打造高效、節能、安全、智慧的園區環境，具有千萬級智慧園區專案實際落地案例。截至目前，零洞數字化交付專案超2100項，具備億級裝置和資料處理的平臺建設及業務應用研發經驗。

　　2022年6月，零洞與碧桂園服務（HK6098）就物業企業微信數字化專案展開充分合作。當前，碧桂園服務是全國規模最大的社群服務運營集團，經測算，共7000+物業管家，上萬服務人員，累積服務業主超1400萬人，累積管轄房屋達486萬戶。

　　#01引入背景

　　—

　　基於上述業務規模，經合作需求評估，該專案需搭建一個資料服務中臺，以支援以下需求：

　　1、支援每年 超十億數量級資料的儲存和計算，包括但不限於：物業企微會話存檔聊天、關聯認證、使用者行為、管家任務管理、客戶輿情分析等各方面資料。

　　2、 支援全國上千的高併發，秒級的訪問、查詢、計算、報表匯出等要求。

　　3、在此資料中臺的基礎上，在視覺化平臺完成報表、看板、大屏的開發展示等需求。

　　在技術框架選型上，碧桂園服務與零洞科技綜合對比了國內外常見的 OLAP 系統， StarRocks 憑藉以下6大優點脫穎而出：

　　1、產品架構簡潔，整個系統的核心只有 FE（Frontend）、BE（Backend）兩類程式。不依賴三方元件，運維簡單；

　　2、資料查詢實時性、高併發等方面的效能相較其他資料庫產品有突出的優勢；

　　3、支援標準SQL語法，學習切換成本低；

　　4、支援主鍵模型，在實時寫入和頻繁更新的業務場景中效能優越；

　　5、流批資料匯入：StarRocks 開發了 Flink-connector 、Spark-connector 外掛，支援將資料 sink 或批次寫入到 StarRocks 中；

　　6、極速查詢體驗，億級資料查詢毫秒級響應；StarRocks 符合現代化的資料應用技術棧需求，最終作為核心儲存計算元件來搭建本次碧桂園服務專案的資料中臺。

　　#02基於StarRocks搭建的資料中臺

　　—

　　對於傳統企業的資料應用場景來說，資料中臺的資料整合、研發、管理與服務鏈路很長，涉及的元件比較多，比如：需要使用 Hadoop 做為儲存、Hive/Spark 做離線 ETL 、Kudu 做實時批次更新、 Flink 做流處理，各類元件之間又有很強的依賴關係，尤其是在機器資源有限且服務混合部署的情況下，容易出現資源分配問題，比如 Impala 會經常性發生 OOM 問題。StarRocks 完美解決了這個問題：對於傳統企業來說，我們可以將 Hadoop + Hive + Spark + Kudu + Flink 的功能全部交給 StarRocks ，實現儲存/流批處理一體化。

　　1 資料開發

　　針對資料開發，StarRocks 提供了多種匯入方式，如 Stream Load 方式從本地檔案系統匯入資料、Broker Load 方式從 HDFS 或外部雲端儲存系統匯入資料、Routine Load 方式從 Kafka 匯入資料、Spark Load 方式從 Spark 匯入資料等等，基本上可滿足我們全場景的實時資料匯入需求。為了使架構簡單，儘量少的使用到 Spark 或 Flink 等指令碼語言進行開發，我們在資料接入層使用 Kafka 做實時接入緩衝層， 之後基於 StarRocks 的 Routine Load 功能開發自定義匯入元件，實現了一鍵完成 Kafka 到 StarRocks 或者 API 到 StarRocks 的資料同步和監控功能。考慮到我們的 ETL 工具需要與 StarRocks 做深度整合，我們更偏向於選擇架構簡單靈活的元件進行二次開發，因此在離線同步上我們選擇了 DataX，資料管道(排程平臺)選擇 Airflow ，視覺化工具選擇 SmartChart ，並在此基礎上進行了個性化的 Driver 及管理功能開發。

　　經過這一系列的改造，與我們之前使用的傳統大資料平臺(基於 CDH )實施的專案相比，資料中臺的實施成本大幅下降，具體體現為：

　　1、實時場景的實現更加輕鬆。

　　之前的實時查詢用到的元件較多，引入 StarRocks 後，只需透過 StarRocks 就能實現實時查詢，鏈路變得簡單，人力投入也更少，以前需要投入 Spark/Flink 開發人員，現在只用 SQL 開發就能完成。

　 　2、伺服器資源減少：從10臺以上縮減到了4臺。

　 　3、實施部署週期縮短：從2周下降到3天。

　　2 平臺監控

　　在平臺監控上，StarRocks 社群版本提供了相容 Prometheus 的資訊採集介面，可以透過直接連線 BE 或 FE 的 HTTP 埠來獲取叢集的監控資訊。為了保持與我們視覺化平臺的統一和靈活性， 我們並沒有使用 Grafana 做為視覺化監控方案，而是基於 SmartChart 連線 Prometheus 實現了視覺化監控的大屏開發，將複雜的資料和資訊變得直觀易懂，便於我們日常運維，實時展示 BE 及 FE 的健康度及資料匯入和查詢的狀態，方便我們對實際情況進行實時監控與及時預警。

　　#03豐富的應用場景

　　—

　　1 BI場景的支援

　　在我們的 BI 場景中，需要對千萬級以上明細資料進行多表關聯查詢，更新頻率需達到近實時，響應時間需在秒級。同時，使用者個性化需求又很強，比如需要同一個會話 ID 來查詢上下文，並生成相關的詞雲統計。在引入 StarRocks 之前，我們的資料流轉線路很長、開發管理的複雜度也非常高：比如為了平衡複雜查詢與極速查詢的需求，我們需要生成很多寬表或 Cube 表；另外之前的方案對於需要頻繁更新的業務場景也很不友好：需先寫入 Kudu 進行批次更新, 然後回寫到 Hive 中， 再從 Hive 抽取到 Kylin ，BI 連線 Kylin 進行查詢。有了 StarRocks 之後，基於 StarRocks 向量化執行引擎所帶來的極速查詢特性，我們把自研 BI 的資料後臺直接切換到了 StarRocks ，使得我們資料建模更加簡單，建模方式也逐漸從寬表建模轉化成星型建模，不僅減少了資料開發的時間，同時能夠支援複雜的業務邏輯實現，資料聯動鑽取的粒度支援得更細， 資料響應時間也從傳統的秒級變為了毫秒級。

　 　2 資料服務場景的支援

　　企業微信數字化專案需要基於會話的工單自動化生成，因此需要平臺能夠提供會話上下文查詢 API ， 從而為演算法平臺提供實時的資料支援。從我們的實踐來看 ，StarRocks 非常適合此類場景，完美的實現了大資料量的實時更新及同時支援高併發的極速查詢需求。

　　3 資料生命週期的管理

　　不斷積累的大量會話明細資料，需要進行有效的資料週期管理，透過冷熱區分，來有效的控制儲存成本。在引入 StarRocks 之前，我們需要使用指令碼定時的刪除歷史資料，有了 StarRocks 的動態分割槽及資料生命週期的功能，此部分內容就可由 StarRocks 自動完成，整體資料流變得非常整潔。

　　#04業務價值

　　—

　　資料已成為企業的重要資產，隨著大資料的積累，基於 StarRocks 搭建的資料中臺已經成為資料視窗的統一提供者，為物業基礎管家服務提供強有力的支援。透過資料中臺更加高效、實時、全面的資料分析功能，我們可以做更多的業主運營和員工管理，如：1. 利用上億級的資料進行工單、輿情以及使用者畫像的分析，讓使用者訴求處理得更加及時全面，提升業主的滿意度；2. 透過分析業主的行為和偏好畫像，帶動社群多種經營業務，包括社群空間運營服務、社群生活服務、業主資產運營服務等等，發展物業行業的第二曲線。

　　在專案實施過程中，我們得到了 StarRocks 社群非常專業給力的支援，我們也期待 StarRocks 也期待社群的蓬勃發展促進產品能力持續增強，期待基於 StarRocks 搭建的資料中臺在未來讓我們資料發揮更大的業務價值。

　　關於 StarRocks

　　StarRocks 是資料分析新正規化的開創者、新標準的領導者。面世三年來，StarRocks 一直專注打造世界領先的新一代極速全場景 MPP 資料庫，幫助企業構建極速統一的湖倉分析新正規化，是實現數字化轉型和降本增效的關鍵基礎設施。StarRocks 持續突破既有框架，以技術創新全面驅動使用者業務發展。當前全球超過 200 家市值 70 億元以上的頭部企業都在基於 StarRocks 構建新一代資料分析能力，包括騰訊、攜程、平安銀行、中原銀行、中信建投、招商證券、眾安保險、大潤發、百草味、順豐、京東物流、TCL、OPPO 等，並與全球雲端計算領導者亞馬遜雲、阿里雲、騰訊雲等達成戰略合作伙伴。擁抱開源，StarRocks 全球開源社群飛速成長。截至 2022 年底，已有超過 200 位貢獻者，社群使用者近萬人，吸引幾十家國內外行業頭部企業參與共建。專案在 GitHub 星數已超 3900 個，成為年度開源熱力值增速第一的專案，市場滲透率躋身中國前十名。