T+1 到秒級實時性提升，Apache Doris 在中國郵政儲蓄銀行金融反欺詐領域的應用探索

導讀：中國郵政儲蓄銀行是中國領先的大型零售銀行，擁有近 4 萬個營業網點，服務個人客戶超 6.5 億。從 2023 年起，中國郵政儲蓄銀行引入   作為其核心分析引擎來構建智慧風控反欺詐平臺，打造事前檢測、事中阻斷、事後分析的全方位一體風險防控體系，實現對全行網路金融、個人金融、信用卡、消費信貸等業務交易的全面風險監控。反欺詐平臺的上線實現了毫秒間的風險識別、日均攔截風險交易數萬筆、有效阻止客戶損失數千萬，全面提升了中國郵政儲蓄銀行的風險防控能力和金融服務的安全性，也為客戶提供了更加安全、便捷、高效的金融服務體驗。

作者 ｜中國郵儲銀行 軟體研發中心技術專家 狄瀟然

隨著科技的發展和網際網路的普及，移動支付以其方便、快捷、高效的特點，逐漸成為人們日常生活中主要的支付方式。然而，這種支付方式的普及也為不法分子提供了可乘之機，比如面臨支付賬號盜竊、交易欺詐、未經授權支付、資訊洩露等威脅。為應對這些挑戰，移動支付平臺和金融機構採取了一系列安全措施和反欺詐手段，以保護企業和客戶的利益及資產安全。

中國郵政儲蓄銀行高度重視反欺詐工作，投入了大量資源來升級技術平臺，致力於為客戶提供安全可靠的金融服務環境。從 2023 年起，中國郵政儲蓄銀行引入 Apache Doris 作為其核心分析引擎來構建智慧風控反欺詐平臺，並基於反欺詐平臺構建了智慧風控體系屏障，打造事前檢測、事中阻斷、事後分析的全方位一體風險防控體系，實現對全行網路金融、個人金融、信用卡、消費信貸等業務交易的全面風險監控。

反欺詐平臺的上線實現了毫秒間的風險識別、日均攔截風險交易數萬筆、有效阻止客戶損失數千萬，全面提升了中國郵政儲蓄銀行的風險防控能力和金融服務的安全性，也為客戶提供了更加安全、便捷、高效的金融服務體驗。

業務背景

時間是金融反欺詐行動中的關鍵指標，從反欺詐平臺中能否實時監控並快速獲取反詐騙相關資料進行分析，並基於資料探勘出具備關鍵價值的線索，直接影響反欺詐行動的成敗。為了滿足這一需求，中國郵政儲蓄銀行重視時間敏感性，對反欺詐平臺提出了以下三個關鍵要求：

• 案件溯源：需支援對已生成案件即席深入溯源分析，包括對欺詐行為的源頭、路徑、涉及人員、裝置和其他相關資訊的分析；
• 運營監測：需支援對交易資料、行為資料、模型策略、風險特徵進行實時監測，一旦發生風險事件，及時進行風險預警和干預；
• 實時準確：需支援實時精準的報表分析，能夠實時捕獲各類風險變化，具備高效、準確的快速響應能力。

其中核心實時分析引擎是反欺詐平臺最關鍵的組成部分，需要負責彙集和處理海量實時交易資料、並向多個風控資料應用提供分析服務，如若想滿足上述業務要求，實時分析引擎需要具備靈活、高效、準確的處理和分析能力：

• 多表關聯效能優異：郵儲銀行內部分級建模、風險運營分析會涉及多表關聯分析，具有資料規模大、分析維度不固定和查詢邏輯複雜等特點，因此對多表關聯效能和複雜 SQL 處理能力有較高的要求；
• 承載高併發查詢：計劃向數萬網點的眾多一線業務人員開放查詢許可權，因此查詢併發量巨大、查詢業務高峰集中、案件溯源邏輯愈加複雜等問題，因此對引擎的併發查詢量要求非常高；
• 實時高頻寫入：反詐行動強調高實時性、需要在欺詐行為發生時立即作出響應，這是反詐能否成功的關鍵要素，因此分析引擎需支援上游資料的實時寫入以迅速捕獲風控特徵變化；
• 支援寫入事務、保證資料的一致性：某些運營指標對統計精度要求較高，需要做到端到端的“精準一次消費”語義，避擴音高命中率的同時對正常的客戶造成不必要的干擾；
• 運維難度低：上手簡單，在監控、災備、擴縮容、資料遷移等方面有自動化工具，以降低運維成本和使用風險。

技術選型

在過去很長一段時間裡，當人們討論起大資料分析時經常提及 Hive，似乎 Hive 已經成為大資料分析的代名詞。然而以 Hadoop 體系無疑會引入大量的資料元件，導致資料架構愈加複雜、帶來高昂的使用成本和極大的運維及管控壓力，且每個元件只能解決單場景的業務痛點，卻難以滿足業務快速增長對於資料分析效率和時效性的需求。

因此我們在 Apache Doris、ClickHouse 以及 Greenplum、Cassandra、Kylin 等多個分析元件中進行了對比，其中重點對以實時分析效能強悍著稱的 Apache Doris 和 Clickhouse 進行橫向對比。在整個調研測試的過程中， 我們根據實際業務場景特點設計了 89 個測試用例、前後進行了五輪部署及測試、形成了近十萬字的調研結論報告， 最終得出以下結果：

• 從實時寫入效能來看，Apache Doris 在寫入效能方面表現優異， 在同等硬體資源下其實時寫入速度是 ClickHouse 的 6 倍， 且支援事務寫入、“精準一次消費”語義；
• 在單表查詢場景下，Apache Doris 與 ClickHouse 能力持平，均能夠滿足當前業務場景中對單表查詢效能的要求。
• 在多表關聯場景下， Apache Doris 在多表 Join、複雜聚合以及高併發場景下的查詢效能相較於 ClickHouse 具備顯著優勢。
• 從運維管理角度來看， Apache Doris 擁有完整的高可用方案， 無論單節點故障、節點擴縮容、叢集升級等都不會影響線上業務運轉，並整合了多個運維管理工具，無需人工干預、可大大降低運維管理的難度。

經過綜合評估，我們最終決定採用 Apache Doris 來構建中國郵政儲蓄銀行的反欺詐平臺。

基於 Apache Doris 構建金融反欺詐平臺

在反欺詐平臺的整體架構中，主要資料鏈路如下圖所示：

業務資料主要包括以下三類：

• 維表資料：維表類資料主要儲存在關係型資料庫 PostgreSQL 中，包括機構號或碼錶類資料；
• 交易資料：大部分實時交易資料透過訊息佇列 Kafka 與各外部系統進行解耦；
• 離線資料：部分外部系統的離線資料直接接入進 Hive 中，便於數倉進行補數操作。

在資料採集階段， 我們透過 Apache Doris 的 JDBC Catalog 與 PostgreSQL 資料庫進行關聯，實現後設資料資訊和使用者資料的實時庫表同步。

為了處理和分析交易資料，我們利用 Flink SQL API 分別從 Kafka 中讀取實時交易資料、從 PostgreSQL 資料庫中獲取維表資料並在 Flink 中進行多流 Join 和打寬操作。為了實現維表的即時重新整理，我們採用了 Lookup Join 機制，在處理資料流時動態地查詢和更新維表資料。此外我們還採用了 Java UDF 進行資料的 ETL 處理，以滿足特定的業務需求和資料轉換要求，最終處理完成的資料透過 Flink Doris Connector 寫入至 Apache Doris 中。

對於離線資料，在進行離線清洗和轉換加工後會分別進入到 Hive 等多個資料來源中，透過 Multi-Catalog 來建立對應的外部資料目錄，透過 Hive Metastore 來自動獲取及重新整理 Hive 的庫表資訊，便於後續進行資料聯邦查詢操作。

在資料建模部分， 我們在 Apache Doris 內部構建了從 ODS 到 DWS 的資料倉儲分層體系，實時和離線接入的資料會進入 ODS 貼源層，隨後按照業務維度進行資料分解、按照從分鐘級到小時級到天級的時間粒度逐層向上抽取和聚合資料，最終建立高度聚合的 Rollup/物化檢視，面向業務提供風控報表服務。

以上就是資料採集和資料建模的全流程，目前這套體系已能夠有效監控風險運營，並支援對機器進行深入分析以及對案件進行溯源。透過這一體系幫助我們全面瞭解風險情況，並採取相應的措施來應對和管理風險，對於保障業務的安全和穩定發展至關重要。

從 T+1 縮短至分鐘級，風控報表實時展示

實時特徵的統計可以幫助系統及時捕捉到異常行為和模式，這對反欺詐工作的指導非常關鍵。過去主要存在風險特徵展示不全面和風險趨勢變化捕獲不及時等問題，因此我們需要透過對交易資料、使用者行為以及其他關鍵資訊的全面實時監測，及時發現異常措施並採取相應的措施，以減少和避免欺詐事件的發生。

從具體實現而言，我們利用 Apache Flink 與 Apache Doris 進行風控資料實時 ETL 和實時統計。首先按照規則、模型、裝置、地址等 17 個維度對資料進行建模統計，過程包括清洗、聚合、計算等，將處理後的報表實時展示在大屏上，實現了風控資訊的視覺化，便於業務人員及時捕捉風險資訊，提供決策支援並進一步開展風控攔截操作。 上線至今已支援超過 1000 萬客戶、3 萬櫃員、1 萬個支行網點和 1 千個產品的線上統計分析， 該方案的成功應用為反詐工作帶來了顯著的收益，確保整個反欺詐行動的順暢進行：

• 風控報表的更新週期大幅縮短，從以往的 T+1 離線處理提升至分鐘級準實時處理；
• 支援複雜的即席分析，能夠監控模型和規則的執行情況，及時捕捉當前的風險資訊；
• 定向分析的速度從原來的小時級縮短至分鐘級，且無需人工接入即可完成，極大的提升了分析效率。

多維特徵複雜分析，實現案件全面溯源

案件溯源在反欺詐工作中的重要性不可忽視，其在證據收集、責任追究、風險預防和反欺詐工作效果提升等方面發揮著關鍵作用。當案件或案件報告生成後，我們需要建立一套完整的溯源分析手段，以實現對案件的全面追溯和分析。同時，我們還需要進行準實時的案件統計分析，並將結果以視覺化的方式展示，幫助業務人員更好地瞭解案件情況，並能夠及時採取相應的行動。

為實現上述需求，我們採用  Apache Doris 對案件生成後的多維度特徵進行統計分析， 無論是基於案件來源、型別、時間等維度，還是其他相關特徵，我們都能夠進行全面的統計。同時  Apache Doris 具備強大的的即席查詢能力，支援 10+ 種複雜條件的實時統計分析。 它能夠根據實際需求進行復雜條件下的即席統計，包括多個維度的組合、篩選條件等統計計算。

該方案目前已經支援超 1 萬筆案件的資料分析和詳情分析，大幅縮短了案件溯源的時間成本， 並能夠在秒級內返回按鍵鎖涉及的維度統計資訊。 無論是對於案件的規則命中還是名單命中，均能在完全無人工干預的情況下， 實現秒級別的案件統計資訊反饋， 以幫助使用者更高效的進行案件分析。

工單實時快速標記，分鐘級定位阻斷

工單標記是對特定風險事件或疑似風險事件進行標識、分類和記錄的過程，透過工單標記可以精準識別風險型別、確保高風險事件得到及時關注和處理、降低潛在損失，因此在整個反欺詐工作中扮演著至關重要的角色。

在工單資料非常龐大且無法直接獲取到對應的特徵資訊時，就需要對工單資訊與交易資料進行關聯分析、透過分析結果來定位風險並進行快速阻斷。在日終處理中，我們需要獲取增量工單資訊，這個過程包括遍歷工單與基礎資訊表以獲取每個工單的 ID，利用這些 ID 在 Apache Doris 中查詢儲存的各項維度特徵，並將其與工單進行關聯。最終在前端展示具體的工單資訊，實現對工單在特徵維度的即席查詢。

受益於 Apache Doris 強大的關聯分析效能，在該場景中透過工單資訊與交易資訊的快速關聯分析，能夠快速定位阻斷詳情，相比之前需要進行人工關聯分析的所用耗時， 現在僅需幾分鐘即可完成， 極大提高業務團隊問題定位的效率。

自動化運營預警，告警有效率高達 95%

反欺詐系統依賴於各項策略、模型和規則，而在離線環境中，資料更新可能存在一定的延遲，規則、模型和策略的命中結果以及統計資訊需要等待 T+1 報表生成後才能瞭解實際效果，這將對反欺詐系統資訊的準確性帶來一定影響。

為了保證策略模型的良好執行併為後續的運營提供決策支援，我們基於 Apache Doris 設計了規則、模型和策略的自動運營預警功能。該功能實現了系統告警資訊的實時接收，並監控作業執行資料和模型策略執行資料。透過前端頁面實時監聽命中情況，並在需要時觸發預警。透過這種機制，我們能夠快速發現運營告警事件。如果新規則產生負面效果，可以迅速發現並作出調整甚至下線；如果新規則效果良好，可以迅速進行推廣。這種實時反饋機制使得我們能夠更快速、準確地調整我們的策略。

自動運營預警功能可動態檢測近百種不同類別的告警規則，實現系統級別的預警提醒。 近兩個月觸發模型預警超 100 次、告警有效率超 95%，且預警速度非常快、能夠在 5s 內進行告警。 該功能的上線降低了人工查詢規則和策略命中情況所需的成本，為業務人員提供了更好的風險攔截和檢測支援。

展望與規劃

Apache Doris 的成功應用在中國郵政儲蓄銀行的反欺詐領域確實取得了顯著的成效，透過引入 Apache Doris，中國郵政儲蓄銀行成功地構建了從資料採集、分析到預警以及動態調整上線的閉環鏈路，極大地提升了反欺詐工作的效率和效果。

核心報表資料的實時性從以前的 1-2 天大幅縮短至僅需 5 秒內，80% 的即席分析可以在 2 秒內返回結果，95% 的即席分析則可以在 5 秒內返回結果， 這使得銀行能夠快速發現和識別潛在的詐騙行為，並及時採取相應的措施進行防範和打擊， 最終實現日均攔截風險交易數萬筆，有效阻止客戶損失數千萬。 除此以外，藉助 Apache Doris 高效的儲存壓縮比，儲存成本相較之前答覆下降，在節省硬體資源的同時還降低了系統維護和管理的成本。

未來，中國郵政儲蓄銀行也將持續推廣 Apache Doris 在更多業務場景得到應用，並探索新技術特性與業務的結合，以下是後續探索的重要方向：

• 日誌儲存與檢索： 當前使用 ELK、Kafka、Flink、Hive 等多個元件進行日誌採集和儲存，涉及元件較多，存在管理難度大、開發運維成本高、佔用伺服器硬體資源較多等問題。未來將統一採用 Kafka+Doris 的輕量級日誌採集儲存框架，實現日誌統一管控、並可以使用 SQL 便捷查詢，不僅降低了開發運維難度，還可以在不影響原業務的基礎上節省伺服器資源；
• 高併發點查： Apache Doris 基於列式儲存引擎構建，在應對大寬表高併發查詢整行資料時，可能會因為 IOPS 放大導致 CPU 開銷升高，進而影響其他業務的正常使用。在 Apache Doris 2.0 版本中增加了行列混存，單節點可承載數萬 QPS 的超高併發。未來我們計劃引入這一能力對原有系統進行最佳化，使實時數倉能夠直接面向給不同的分行、支行時提供服務，承受住高併發下的行式資料檢索和分析，提供大數量級下的明細資料查詢。
• 跨叢集複製能力： 對於金融機構來說，異地災備（如兩地三中心、三地六中心）非常必要，因此跨叢集複製能力是我們一直關注的能力，該能力可以實現資料的快速、準確複製，確保在災難發生時能夠及時進行主備叢集切換、快速恢復業務執行並減少損失。目前 Apache Doris 已支援跨叢集複製的能力，未來我們將繼續關注該能力的發展並進行應用嘗試。