面對高頻業務需求，如何提升實時資料處理能力？

在當前的數字化環境下，金融機構面臨的高頻業務需求已成常態，並呈現持續擴大的趨勢，這種情況下，對業務連續性及使用者體驗的保障便是金融IT運維面臨的最大挑戰。

支付交易量與日俱增，銀行業承載巨大的運維壓力

國內使用者早已習慣了線上交易，交易量也與日俱增。央行釋出的2018年支付體系執行總體情況顯示，2018年，銀行業金融機構共處理電子支付業務1751.92億筆。其中，網上支付業務570.13億筆，同比增長17.36%。移動支付業務605.31億筆，同比分別增長61.19%。這一現狀，給銀行業的IT運維帶來了巨大壓力，而一年幾度的購物節“大考”，更是一大挑戰，電商平臺的單日交易額不斷的重新整理，銀行業交易系統的秒併發量也在不斷的突破上限。

納稅人及稅收管理的網際網路應用需求持續擴大

隨著“網際網路+稅務”行動計劃的深化，稅務資訊系統的內部建設與外部互聯程度齊頭並進。隨著外部互聯的加深，各級稅務部門透過線上的方式釋出資訊、共享檔案、提供各型別業務辦理服務。由此，公民與稅務部門的互動需求成幾何倍增長。

證券行業：集中、高頻交易帶來的難題

隨著2019年“慢牛”的傳聞及科創板的落地，沉寂股民的甦醒及新股民的入場，證券行業呈現繁榮趨勢。據統計，全國目前個人投資者近1.5億人，並且證券行業具有交易時間集中，交易高頻的特性，併發交易量遠高於其他行業。同時，股民對於使用者體驗要求甚高，無法及時的獲取行情的重新整理、完成交易是不可接受的。面對高要求的投資者及行業監管，IT運維如何應對？

於此，許多金融機構會選擇APM產品來實現業務視覺化，對系統故障的告警與定位，而這一切的基礎，即 底層的資料平臺具備對大資料的實時處理能力。 在我們與客戶技術交流的過程中，平臺對資料的處理能力也是客戶非常關心的。在2018年，華青融天大資料融合平臺引入了Kafka，給平臺的資料處理能力帶來了極大的提升。

提升高吞吐量、低延遲的資料處理能力

隨著業務保障要求的提高，過去對資料先收集、再儲存、再分析的方式已經不適用了。試想一下，一個“可用性”的故障，在問題發生幾分鐘後才得到告警，對於一秒數萬甚至數十萬交易量的客戶來說，意味著什麼。

而Kafka可謂為實時處理資料而生，不同於MapReduce、Hive和Pig這類資料儲存和查詢工具，Kafka對資料的處理是連續的，它可以處理幾十萬條訊息，延遲最低只有幾毫秒，這一高吞吐量、低延遲的特性十分適合於構建應用效能管理及安全運營中心平臺， 以此為基礎實現的資料分析及告警才具備價值。

對資料變化的跟蹤

精準、及時的告警，是金融客戶的剛性需求，也是華青融天產品人的目標，為此，在告警的規則及配置最佳化方面做了許多提升，而為了實現“高質量”的告警，及時感知到資料的變化是十分重要的。

kafka流式計算即可實現這一點，資料的輸入是持續的，計算結果也是持續的輸出，即可實現對資料變化的跟蹤，並在將資料儲存到最終目的地之前對資料採取行動。而相比使用Spark Streaming和Apache Storm這類流式處理系統，內嵌的kafka流失處理系統，直接作為類庫提供給開發者呼叫，整個應用的執行方式主要由開發者控制，方便使用和除錯，同時擴充套件性及對於資源的消耗方面更具優勢。