效率躍升16倍!火山引擎ByteHouse助力銷售資料平臺複雜查詢效率大幅提高

字节跳动数据平台發表於2024-09-02
更多技術交流、求職機會,歡迎關注位元組跳動資料平臺微信公眾號回覆【1】進入官方交流群。
銷售資料,是反映市場趨勢、消費者行為以及產品表現的重要指標,也是企業做出精準決策的關鍵依據。因此,對銷售資料進行全面利用、高效分析與合規管理,在企業經營中佔據著重要地位。
為了更高效、安全地使用銷售資料,某公司引入了開源ClickHouse作為資料分析引擎,將分散的銷售資料統一到一套視覺化分析平臺中,並採用鑑權ACL模式來精細化管理企業內部員工的看數、用數許可權。
但實際上,該公司銷售資料平臺在引入鑑權ACL後,出現了效能不足、使用者體驗受損的狀況。其一,ClikHouse的效能難以滿足複雜且量級巨大的查詢需求,使得叢集複雜惡化;其二,ClickHouse叢集的CPU使用率長期處於打滿狀態對使用者體驗造成影響。
為了解決以上問題,在複雜查詢領域具備顯著優勢且完全相容ClickHouse的ByteHouse成為該公司遷移首選。
據瞭解,ByteHouse支援最佳化器和MPP執行模型,能夠較好地支援複雜join與聚合計算的場景。其中,ByteHouse 的最佳化器在RBO與CBO方向上分別進行了大量的自研最佳化,並且實現了動態 Filter 下推、物化檢視改寫、計劃複用以及結果複用等高階能力。從而能夠根據表的結構、索引等資訊生成最優的查詢執行計劃,提高查詢執行效率,減少資源消耗,整體上提升了ByteHouse在複雜場景下的查詢效能。
在ByteHouse的支援下,目前該公司在銷售資料的非ACL查詢和ACL查詢兩個方向上,都實現了查詢效率的顯著提升。以ACL查詢的60M廣告客戶DI場景為例,查詢效率已經從從最佳化前的16秒大幅縮短至如今的1秒,效率提升高達16倍。
抽取該公司銷售平臺某資料集測試結果
作為新一代雲原生數倉產品,ByteHouse在離線、線上複雜分析效能、便捷彈性擴縮容、全場景分析引擎等核心能力上持續最佳化,並已在網際網路、遊戲、金融、氣象等領域廣泛應用。未來,ByteHouse持續以卓越的資料分析能力,為更多業務系統賦能,助力企業數智化轉型升級。
點選跳轉 火山引擎雲原生資料倉儲ByteHouse 瞭解更多。

相關文章