微信ClickHouse實時數倉的最佳實踐

騰訊雲加社群發表於2021-11-26

導語 | 微信作為一款國民級應用,已經覆蓋了社交、支付、出行等人們生活的方方面面。海量多樣化的業務形態,對資料分析提出了新的挑戰。為了滿足業務資料分析的需求,微信WeOLAP團隊聯手騰訊雲,共建千臺規模、資料PB級、批流一體的ClickHouse資料倉儲,實現了10倍以上的效能提升。下文將由淺入深,為大家揭曉微信在ClickHouse實時數倉實踐中積累的經驗及方法。

本文作者:微信WeOLAP團隊&騰訊雲資料倉儲Clickhouse團隊。

一、微信遇到的挑戰

一般來說,微信主要的資料分析場景包含以下幾個方面:

  • 科學探索:服務於資料科學家,通過即席查詢做業務上的歸因推斷;
  • 看板:服務於運營和管理層,展示所關注的核心指標;
  • A/B實驗平臺:服務於演算法工程師,把新的模型,放在A/B實驗平臺上做假設檢驗,看模型是否符合預期。

除此以外,還有實時監控、日誌系統明細查詢等場景。

在所有的場景當中,使用者都有非常重要的訴求——快:希望查詢響應更快,指標開發更快完成,看板更新更及時。與此同時,微信面臨的是海量的資料,業務場景中“單表日增萬億”很常見,這就對下一代“資料分析系統”提出新的挑戰。

在使用ClickHouse之前,微信使用的是Hadoop生態為主的數倉,存在以下這些問題:

  • 響應慢,基本上是分鐘級,可能到小時,導致決策過程長;
  • 開發慢,由於傳統的數倉理念的多層架構,使得更新一個指標的成本很高;
  • 架構臃腫,在微信業務體量規模的資料下,傳統架構很難做到流批一體。進而導致,程式碼需要寫多套、資料結果難以對齊、儲存冗餘。經過十幾年的發展之後,傳統的 Hadoop 生態的架構變得非常臃腫,維護難度和成本都很大。

所以,微信一直在尋求更輕量、簡單敏捷的方案來解決這些問題。經過一番調研,在百花齊放的OLAP產品中,最終選定了ClickHouse作為微信OLAP的主要核心引擎。主要有兩個原因:

  • 效率:在真實資料的實驗場景下,ClickHouse要比Hadoop生態快10倍以上(2020年底測試);
  • 開源:微信的A/B實驗、線上特徵等場景會有些個性化需求,需要對引擎核心做較多改動;

因此,微信嘗試在OLAP場景下,構建基於ClickHouse計算儲存為核心的“批流一體”數倉。但是,使用原生的ClickHouse,在真正放量階段出現了很多問題:

  • 穩定性:ClickHouse的原始穩定性並不好,比如說:在高頻寫入的場景下經常會出現too many part等問題,整個叢集被一個慢查詢拖死,節點OOM、DDL請求卡死都比較常見。另外,由於 ClickHouse原始設計缺陷,隨資料增長的依賴的zookeeper瓶頸一直存在,無法很好解決;微信後期進行多次核心改動,才使得它在海量資料下逐步穩定下來,部分issue也貢獻給了社群。
  • 使用門檻較高:會用ClickHouse的,跟不會用ClickHouse的,其搭建的系統業務效能可能要差3倍甚至10倍,有些場景更需要針對性對核心優化。

二、微信和騰訊雲資料倉儲共建

此時,騰訊雲資料倉儲 Clickhouse 團隊積極深入業務,主動與微信團隊合作,雙方開始共同解決上述問題。騰訊雲資料倉儲 Clickhouse 提供全託管一站式的全面服務,使得微信團隊不需要過多關注穩定性問題。另外,雙方團隊積累了豐富查詢優化經驗,共享經驗更有利於 Clickhouse 效能極致提升。

微信跟騰訊雲資料倉儲Clickhouse的合作,從今年3月份開始,在驗證期小規模試用ClickHouse後,業務一直在快速增長,雙方開始共建進行穩定性和效能上的優化。主要做了兩件事:一個是建立了整個ClickHouse OLAP的生態,另外一個是做了的探索出貼近業務的查詢優化方法。

三、共建ClickHouse OLAP的生態

要想比較好地解決ClickHouse易用性和穩定性,需要生態支撐,整體的生態方案有以下幾個重要的部分:

  • QueryServer:資料閘道器,負責智慧快取,大查詢攔截,限流;
  • Sinker:離線/線上高效能接入層,負責削峰、hash 路由,流量優先順序,寫入控頻;
  • OP-Manager:負責叢集管理、資料均衡,容災切換、資料遷移;
  • Monitor:負責監控報警,亞健康檢測,查詢健康度分析,可與 Manager 聯動;

微信WeOLAP團隊和騰訊雲重點在以下方面進行了合作攻堅:

  • 高效能接入:微信的吞吐達到了十億級別,實時接入方面,通過令牌、反壓的方案,比較好地解決了流量洪峰的問題。另外通過Hash路由接入,使資料落地了之後可直接做Join,無需shuffle實現的更快Join查詢,在接入上也實現了精確一次。離線同步方案上,微信跟大多數業界的做法基本上一致,在通過預構Merge成建成Part,再送到線上的服務節點,這其實是種讀寫分離的思想,更便於滿足高一致性、高吞吐的場景要求。

  • 極致的查詢優化:ClickHouse整個的設計哲學,要求在特定的場景下,採用特定的語法,才能得到最極致的效能。為解決ClickHouse使用門檻高的問題,微信把相應的優化經驗落地到內部BI平臺上,沉澱到平臺後,使得小白使用者都可以方便使用ClickHouse。通過一系列優化手段,在直播、視訊號等多個Case實現10倍以上效能提升。

基於共建的ClickHouse生態,在微信有以下的典型應用場景:

1.BI分析/看板:由於科學探索是隨機的,很難通過預構建的方式來解決,之前用Hadoop的生態只能實現小時到分鐘的級別。目前ClickHouse優化完之後,在單表萬億的資料量下,大多數的查詢,P95在5秒以內。資料科學家現在想做一個驗證,非常快就可以實現。

2.A/B實驗平臺:早期做A/B實驗的時候,前一天晚上要把所有的實驗統計結果,預先聚合好,第二天才能查詢實驗結果。在單表資料量級千億/天、大表實時Join的場景下,微信前後經歷了幾個方案,實現了近50倍的效能提升。從離線到實時分析的飛躍,使得P95響應<3S,A/B實驗結論更加準確,實驗週期更短,模型驗證更快。

3.實時特徵計算:雖然大家普遍認為ClickHouse不太擅長解決實時相關的問題,但最終通過優化,可以做到掃描量數十億,全鏈路時延<3秒,P95響應近1秒。

四、效能的顯著提升

目前,微信當前規模千臺,資料量PB級,每天的查詢量上百萬,單叢集TPS達到了億級,而查詢耗時均值僅需秒級返回。ClickHouse OLAP的生態相對於之前的Hadoop生態,效能提升了10倍以上,通過流批一體提供更穩定可靠的服務,使得業務決策更迅速,實驗結論更準確。

五、共建存算分離的雲原生數倉

ClickHouse原始的設計和Shard-Nothing的架構,無法很好地實現秒級伸縮與Join的場景;因此下一個微信和騰訊雲資料倉儲ClickHouse的共建目標,是實現存算分離的雲原生數倉:

  • 彈性擴容:秒級彈效能力,使用者只為使用付費,實現高峰查詢更快,低峰成本更省;
  • 穩定性:無ZK瓶頸,讀寫易分離,異地容災;
  • 易運維:資料容易均衡,儲存無狀態;
  • 功能全:專注於查詢優化與Cache策略、支援高效多表Join;

存算分離的雲原生數倉能力,明年將會在騰訊雲官網上線,敬請期待!

本文章由微信技術架構部-WeOLAP團隊出品,「WeOLAP」專注於用前沿大資料技術解決微信海量資料高效能查詢問題。

騰訊雲資料倉儲Clickhouse 10元新客體驗活動火爆進行中↓↓↓

相關文章