華為雲GeminiDB，廣告R他的“登雲梯”

华为云开发者联盟發表於2024-04-09

本文分享自華為雲社群《華為雲GeminiDB，廣告R他的“登雲梯”》，作者： GeminiDB-Redis部落格。

行話說，廣告RTA要想效果好，資料庫挑戰少不了。那麼，廣告RTA對資料庫究竟有哪些挑戰？在上篇文章《究竟什麼樣的資料庫，才能承接RTA廣告這個技術活》中，介紹了廣告RTA對資料庫的挑戰，本文我們將詳細介紹GeminiDB在廣告RTA中的優勢特性。

廣告RTA業務面臨高併發、超低時延、超大資料量等實際特性需求，因此，對核心畫像資料庫有如下訴求：

海量資料快速匯入，確保決策精準性：

需要定期將成百GB甚至數TB全量畫像資料匯入畫像資料庫；全量資料匯入越快，模型越精準，廣告投放效果越好。

承載高併發訪問：

RTA系統要承接大量的實時競價請求。以電商、金融客戶的RTA系統為例，經驗上，日常資料庫QPS在幾十萬到數百萬之間。

保持穩定的低時延：

媒體側要求廣告主在40-100ms內返回決策結果；資料庫需要在個位數毫秒內執行完請求。

降低業務成本：

為了追求極致的效能體驗，RTA業務通常使用開源自建Redis，然而TB級別資料儲存成本非常昂貴，成本也是廣告主選型的重要考慮因素。

在廣告RTA中，通常選用以下資料庫作為畫像資料庫：

MySQL：難以滿足數十萬至百萬QPS併發和低時延的要求。
MongoDB/Hbase：可以儲存TB級資料，成本便宜，但無法滿足穩定低時延訴求，超時率高，容易導致停投，影響商業利益。
記憶體資料庫：能提供高併發、低時延極致效能，如開源自建Redis，是業界選用比較多的方案。但存在著穩定性差，資料丟失等風險。對於TB級使用者畫像資料，存在匯入速度慢和成本高的痛點。

而華為雲資料庫GeminiDB Redis介面完全具備“穩定低時延、高價效比、FastLoad離線資料極速匯入”等核心能力。

核心能力一：FastLoad極速資料匯入，效率提升5-10倍

傳統資料庫只能透過標準協議逐條寫入資料，先經過計算層複雜結算，再寫入儲存層。因此，大資料平臺定期匯入的數百GB乃至數TB的畫像資料，通常需要數小時或者數天，且對線上業務影響比較大。

GeminiDB提供的FastLoad企業級特性，依託RTA業務場景大資料平臺的高併發處理能力和自身儲存引擎的資料編排能力，將海量資料透過專屬高速持久化通道直接傳入儲存引擎，資料匯入速度提升5-10倍，並降低對線上業務的影響。

GeminiDB FastLoad企業級特性與RTA場景

核心能力二：提供百萬級併發和亞毫秒級延遲，無懼業務洪峰

華為雲GeminiDB採用存算分離架構，透過分散式高效能儲存池實現三副本、強一致的資料儲存，所有節點高效讀、寫訪問，支援算力水平和垂直擴充套件，能夠輕鬆應對業務規模和資料量的爆炸式增長。同時，透過採用多執行緒架構和高效能儲存池，配合記憶體資料結構和訪問演算法的深度最佳化，GeminiDB能夠實現亞毫秒級的資料請求響應。

這種超低時延的效能，對需要實時資料處理和分析的應用場景，如線上遊戲、金融科技、廣告系統和實時推薦系統，提供了強大的資料支援，GeminiDB成為處理大規模實時互動和高頻交易等場景的理想選擇。

根據現網的案例經驗，在百萬+QPS流量下，GeminiDB可穩定保持平均時延1ms，p99時延2ms。