微信ClickHouse實時數倉的最佳實踐

導語 | 微信作為一款國民級應用，已經覆蓋了社交、支付、出行等人們生活的方方面面。海量多樣化的業務形態，對資料分析提出了新的挑戰。為了滿足業務資料分析的需求，微信WeOLAP團隊聯手騰訊雲，共建千臺規模、資料PB級、批流一體的ClickHouse資料倉儲，實現了10倍以上的效能提升。下文將由淺入深，為大家揭曉微信在ClickHouse實時數倉實踐中積累的經驗及方法。
本文作者：微信WeOLAP團隊&騰訊雲資料倉儲Clickhouse團隊。

一、微信遇到的挑戰

一般來說，微信主要的資料分析場景包含以下幾個方面：

科學探索：服務於資料科學家，通過即席查詢做業務上的歸因推斷；

看板：服務於運營和管理層，展示所關注的核心指標；

A/B實驗平臺：服務於演算法工程師，把新的模型，放在A/B實驗平臺上做假設檢驗，看模型是否符合預期。

除此以外，還有實時監控、日誌系統明細查詢等場景。

在所有的場景當中，使用者都有非常重要的訴求——快：希望查詢響應更快，指標開發更快完成，看板更新更及時。與此同時，微信面臨的是海量的資料，業務場景中“單表日增萬億”很常見，這就對下一代“資料分析系統”提出新的挑戰。

在使用ClickHouse之前，微信使用的是Hadoop生態為主的數倉，存在以下這些問題：

響應慢，基本上是分鐘級，可能到小時，導致決策過程長；

開發慢，由於傳統的數倉理念的多層架構，使得更新一個指標的成本很高；

架構臃腫，在微信業務體量規模的資料下，傳統架構很難做到流批一體。進而導致，程式碼需要寫多套、資料結果難以對齊、儲存冗餘。經過十幾年的發展之後，傳統的 Hadoop 生態的架構變得非常臃腫，維護難度和成本都很大。

所以，微信一直在尋求更輕量、簡單敏捷的方案來解決這些問題。經過一番調研，在百花齊放的OLAP產品中，最終選定了ClickHouse作為微信OLAP的主要核心引擎。主要有兩個原因：

效率：在真實資料的實驗場景下，ClickHouse要比Hadoop生態快10倍以上(2020年底測試)；

開源：微信的A/B實驗、線上特徵等場景會有些個性化需求，需要對引擎核心做較多改動；

因此，微信嘗試在OLAP場景下，構建基於ClickHouse計算儲存為核心的“批流一體”數倉。但是，使用原生的ClickHouse，在真正放量階段出現了很多問題：

穩定性：ClickHouse的原始穩定性並不好，比如說：在高頻寫入的場景下經常會出現too many part等問題，整個叢集被一個慢查詢拖死，節點OOM、DDL請求卡死都比較常見。另外，由於 ClickHouse原始設計缺陷，隨資料增長的依賴的zookeeper瓶頸一直存在，無法很好解決；微信後期進行多次核心改動，才使得它在海量資料下逐步穩定下來，部分issue也貢獻給了社群。

使用門檻較高：會用ClickHouse的，跟不會用ClickHouse的，其搭建的系統業務效能可能要差3倍甚至10倍，有些場景更需要針對性對核心優化。

二、微信和騰訊雲資料倉儲共建

此時，騰訊雲資料倉儲 Clickhouse 團隊積極深入業務，主動與微信團隊合作，雙方開始共同解決上述問題。騰訊雲資料倉儲 Clickhouse 提供全託管一站式的全面服務，使得微信團隊不需要過多關注穩定性問題。另外，雙方團隊積累了豐富查詢優化經驗，共享經驗更有利於 Clickhouse 效能極致提升。

微信跟騰訊雲資料倉儲Clickhouse的合作，從今年3月份開始，在驗證期小規模試用ClickHouse後，業務一直在快速增長，雙方開始共建進行穩定性和效能上的優化。主要做了兩件事：一個是建立了整個ClickHouse OLAP的生態，另外一個是做了的探索出貼近業務的查詢優化方法。

三、共建ClickHouse OLAP的生態

要想比較好地解決ClickHouse易用性和穩定性，需要生態支撐，整體的生態方案有以下幾個重要的部分：

QueryServer：資料閘道器，負責智慧快取，大查詢攔截，限流；

Sinker：離線/線上高效能接入層，負責削峰、hash 路由，流量優先順序，寫入控頻；

OP-Manager：負責叢集管理、資料均衡，容災切換、資料遷移；

Monitor：負責監控報警，亞健康檢測，查詢健康度分析，可與 Manager 聯動；

微信WeOLAP團隊和騰訊雲重點在以下方面進行了合作攻堅：

高效能接入：微信的吞吐達到了十億級別，實時接入方面，通過令牌、反壓的方案，比較好地解決了流量洪峰的問題。另外通過Hash路由接入，使資料落地了之後可直接做Join，無需shuffle實現的更快Join查詢，在接入上也實現了精確一次。離線同步方案上，微信跟大多數業界的做法基本上一致，在通過預構Merge成建成Part，再送到線上的服務節點，這其實是種讀寫分離的思想，更便於滿足高一致性、高吞吐的場景要求。

極致的查詢優化：ClickHouse整個的設計哲學，要求在特定的場景下，採用特定的語法，才能得到最極致的效能。為解決ClickHouse使用門檻高的問題，微信把相應的優化經驗落地到內部BI平臺上，沉澱到平臺後，使得小白使用者都可以方便使用ClickHouse。通過一系列優化手段，在直播、視訊號等多個Case實現10倍以上效能提升。

基於共建的ClickHouse生態，在微信有以下的典型應用場景：

1.BI分析/看板：由於科學探索是隨機的，很難通過預構建的方式來解決，之前用Hadoop的生態只能實現小時到分鐘的級別。目前ClickHouse優化完之後，在單表萬億的資料量下，大多數的查詢，P95在5秒以內。資料科學家現在想做一個驗證，非常快就可以實現。

2.A/B實驗平臺：早期做A/B實驗的時候，前一天晚上要把所有的實驗統計結果，預先聚合好，第二天才能查詢實驗結果。在單表資料量級千億/天、大表實時Join的場景下，微信前後經歷了幾個方案，實現了近50倍的效能提升。從離線到實時分析的飛躍，使得P95響應<3S，A/B實驗結論更加準確，實驗週期更短，模型驗證更快。