專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

ifenxi發表於2022-10-27

專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

調研:黃勇 武宇
撰寫:蘭壹凡

隨著數字經濟發展,各行業數字化轉型的深入和萬物互聯的發展趨勢下,“資料即資產”成為企業共識,資料價值挖掘成為企業關注的重點。與此同時,隨著企業對決策與分析時效性要求的日益提升,能夠傳遞實時、可用資訊的“熱資料”價值逐步凸顯。

過去由於技術發展限制,雖然企業產生了大量的“熱資料”,但卻無法充分發揮其價值。因此,讓“熱資料”直接產生價值,解決業務場景下海量資料實時處理和智慧決策的技術,成為企業在數字經濟發展中提質增效高質量發展的關鍵。

提到大資料處理技術,不得不提在資料實時智慧處理領域持續深耕並縱橫向前的邦盛科技,其核心技術之一就是能夠實時快速、高併發處理資料的流立方技術,特別是在海量資料規模大、分析延時短、複雜事件或複雜指標、智慧化決策及時序資料等典型特徵的行業場景中,透過實時感知、識別和智慧決策,充分發揮“熱資料”即時、可用的業務價值,幫助企業更好地實現精準預測、瞬時決策、降低業務成本、提升服務質效。

又快又智慧的人工智慧才是真正的人工智慧。為了探討實時智慧決策技術的發展及應用趨勢,近期,愛分析專訪了邦盛科技CEO王新宇博士。邦盛科技是實時智慧決策技術的領軍企業之一,其自研的實時智慧決策與分析技術在資料規模量大、超低延時性要求和複雜事件決策等場景中給企業帶來了巨大的業務價值,並在數字金融、智慧交通、電子政務、資訊通訊等領域實現了落地應用。

王新宇博士表示,隨著數字經濟發展,新基建的規劃部署在各行各業深入推進,實時智慧決策技術能夠很好地同時滿足海量資料實時處理和智慧決策的複雜計算要求,並與具體業務場景相結合,真正賦能行業業務價值提升,不僅智慧化,更要實時性。未來,實時智慧決策技術覆蓋的業務場景會越來越廣,實時智慧決策技術將大有可為。 

專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

01

在時效性和智慧化兼備的場景下,“熱資料”價值得以體現

愛分析:您認為應該怎樣理解“熱資料”?

王新宇博士:資料從產生開始,它的應用價值就在隨著時間流逝呈指數式下降。資料的價值,就像是一座有無數寶藏的礦山,對資料的洞察力、提取力和分析力決定了能挖出的是鑽石還是煤炭。資料剛剛產生時熱度最強,也就是“熱資料”,透過對資料的及時處理、分析,最能夠體現資料在應用上的價值。

剛剛線上上產生的資料,需要結合歷史資料,才能對它進行實時的價值判斷,要讓資料分析兼具準確度和速度,這就好比魚和熊掌兼得,難度非常大。實時智慧處理是實現“熱資料”價值最大化的唯一途徑,可以將實時採集到的“熱資料”和歷史資料相結合,進行實時處理和實時分析,並基於處理和分析結果給出智慧化決策。

許多業務場景需要基於單個行為對整體意圖做出判斷,並快速做出處置。這些業務場景往往對時效性要求很高,比如網際網路/移動網際網路、物聯網等應用場景中,使用者體驗提升、個性化服務、智慧分析、事中決策等,由於業務複雜度較高,如何能快速計算出支撐業務中的複雜指標成為實時業務場景中的關鍵因素。

愛分析:具體到應用中,實時智慧決策技術是如何釋放“熱資料”價值的?

王新宇博士:和時間賽跑,邦盛科技的技術思路,繞不開對時間和速度的要求。邦盛的流立方在其中扮演的角色是一個實時大資料處理引擎,兼具資料的時間跨度和新鮮度,還有計算速度,解決資料倍增、資料處理時效性差和資料處理毫秒級需求的問題。

專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

比如,在物聯網環境中,各個感測器產生大量資料,這些資料通常包含時間、位置、環境和行為等內容。由於感測器的多元化、差異化及環境的多樣化,這些資料呈現出鮮明的異構性、多樣化、非結構化、有噪聲、高增長率等特徵,所產生的資料量之密度、實時性之強、價值密度之低是前所未有的,這對計算系統的實時性、吞吐量、可靠性等方面的要求非常高,既要有智慧化的判斷和分析,又疊加了時效性特徵。

在金融領域的業務中,往往會產生大量資料,這些資料的時效性很短,每時每刻都有大量的資料在各個系統間流動,並需要實時計算。同時金融系統與其他系統也有大量的資料流動,這些資料不僅有結構化的資料,也有半結構化和非結構化的資料。透過對這些大資料的實時分析計算,發現隱含於其中的內在特徵,可以幫助金融機構進行實時的智慧化決策。

以全國最大的收單機構為例,每年有1300多億刷卡流水,45億張銀行卡,峰值5萬TPS,近千個規則模型的超大資料量,同時要求在銀行卡刷卡請求時,50毫秒內分析完成該卡過去1年交易行為的超高實時性。邦盛科技的這套基於“流立方”的實時智慧決策技術,可以做到每一筆刷卡瞬間在10個毫秒內完成近千個規則模型的全年刷卡行為分析計算,事中智慧識別風險並做出相應的風險處置決策。

批流結合的實時智慧決策技術,橫向來看,可以應用在金融、交通、通訊、政務、公安等各個行業。縱向來看,每個行業的報表資料實時處理、視覺化分析、精準營銷、合規檢查等也都需要這項技術。 

02

邦盛科技實時智慧決策與分析技術釋放“熱資料”價值

愛分析:邦盛科技的實時智慧決策與分析技術體系是怎樣的?解決的主要問題是什麼?

王新宇博士:流批一體的概念提出最早是在2015年,但那時真正應用流批一體的落地案例極少。這是因為流批一體的大前提是需要統一的計算引擎,流計算和批計算從計算方式、支撐模組、資源排程策略到流程規劃等都存在差異。因此,流批一體融合存在不少技術問題需要解決。

相較於流計算和批處理分離的系統架構來說,流批一體重點關注資料來源的統一、開發的統一、計算的統一、儲存的統一,實現技術棧的收斂,減少開發和運維成本,消除重複的計算框架帶來的邏輯不一致性。

專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

從整體架構來看,我們的流批一體實時智慧決策與分析技術體系將常見的資料資產分為四層,並提出了對應的三層資料處理架構,以知識為媒介,揉合流處理、批處理、決策等多種技術體系,是一種面向業務的流批一體的資料處理體系架構。

這項技術降低了流批結合模式的開發和運維成本,也進一步拓寬了實時計算的應用範圍,為事件驅動型應用及高實時性的資料統計分析型應用提供了高效的計算模式,尤其是在對時效性非常關注的智慧化判斷和分析場景下,這套技術體系具備獨一無二的競爭優勢。

愛分析:市場上已經有一些開源框架能解決實時資料處理的問題,邦盛科技為什麼要選擇自主研發流立方?

王新宇博士:一般公司都是基於開源架構進行增強,然後產出產品實現商業化。而市場上的開源框架大部分是國外的技術產品,如果我們都基於國外的開源框架基礎上搭建實時資料產品體系,實時資料處理將成為國內卡脖子的技術難題,所以我們開始自主研發構建基礎平臺,徹底實現實時資料處理基礎平臺國產化,讓我國能夠擁有自主研發的實時資料處理技術底座。

第二個原因是,傳統開源框架無法適配企業既快又靈活的實時決策需求。當前實時計算的框架分成兩個流派,一個是“原始態”,比如Oracle的資料庫,擁有靈活的特性但是處理速度較慢;一個是“最終態”,比如Spark、Storm,處理速度快但是不夠靈活,無法滿足在實時決策中進行實時智慧調整和適配要求。

為了滿足這些要求,我們提出了“時序中間態”理念,在技術研發上投入五年時間和上億資金,最終形成流立方核心技術。流立方結合了“原始態”和“最終態”兩派的優勢,每次計算都能夠進行實時資料的靈活重組,效能上提升了幾十倍,任何時間、複雜事件的中間段都可以在毫秒內吐出結果,既迅速又靈活,遇到複雜因子及時間序列,流立方依舊可以做到毫秒級產出結果。

愛分析:流立方在技術上是如何實現效能提升的?

王新宇博士:流立方是大資料實時智慧處理平臺,是基於“時序中間態”理念進行研發的,也就是在資料流轉過程中嵌入流處理引擎,對所有流過的資料進行實時處理,處理的結果是個中間結果。

專訪邦盛科技CEO王新宇:實時智慧決策驅動“熱資料” 價值綻放 | 愛分析訪談

比如同樣計算三個月交易平均額,Flink是直接計算最終三個月交易結果,如果要求得到兩個月交易資料就需要重新計算。而流立方把時間切成了細碎的“切片”,可以計算出1小時內、1分鐘或者500毫秒“切片”的交易平均額,這就是中間結果。目前流立方資料叢集吞吐量可達到200萬筆每秒,當要求計算出任何一個時間段內交易資料時,流立方都可以在微秒時間內對“切片”進行動態重組,所以計算1年內和計算3年內平均交易額都可以在同樣時間內得到結果。

流立方高效能的資料叢集可以滿足資料量大、資料新鮮度高、事件/指標複雜、決策智慧化等特徵,透過我們的大資料實時處理平臺可以快速地、實時地採集、加工、處理多源資料,解決開源流資料處理技術無法解決的問題,為各領域大資料實時計算處理提供底層的技術支撐。

愛分析:您介紹了很多邦盛科技實時智慧決策與分析體系的特點,邦盛科技是否有考慮透過自身優勢進行更多的生態合作?

王新宇博士:在生態合作方面,目前我們以流立方和三核智慧作為底層基礎決策軟體和決策引擎,進一步來構建上層的業務應用產品生態和服務生態。根據不同的行業設定了不同的事業部,對業務佔比較大的行業需求,生態合作情況較少,主要由事業部來實現軟體的實施落地;而業務佔比較小的行業事業部,會尋找有行業know how的合作伙伴,透過提供技術底座支援行業應用的方式,賦能合作伙伴,我們實現作為實時處理技術底座的價值,合作伙伴實現行業自動化的價值。

在未來,我們也會考慮和優質的合作伙伴進行投資併購,結合公司的整體運作和業務佈局實現更加深入的合作,為企業提供更符合需求的定製化解決方案。 

03

國產化和產品化是實時智慧決策技術的發展重點

愛分析:結合邦盛科技過往的案例實踐經驗,您認為實時智慧決策技術要服務好客戶,有哪些關鍵能力要求?

王新宇博士: 實時智慧決策技術的應用對於平臺的效能、模型的準確度、功能的完善性、平臺的易用性等幾個方面都有要求。

平臺的效能體現在吞吐量上。2015年我們完成了流立方的產品研發,之後憑藉流立方為核心的實時處理解決方案拿下了全國最大收單機構的招標專案。該專案要求在50毫秒內實現近一年的重大行為回溯,與其他國外老牌廠商提出的解決方案相比,我們的解決方案效能大大提升。

平臺的決策效率還受到決策模型準確度的影響,透過平臺輸出結果的誤報率和漏報率就能看出模型的準確程度,那麼模型設計階段就極為關鍵。如果能將圖決策納入決策模型考慮範圍,可以大幅提升實時決策引擎的效能,也是提升平臺決策效率的方式。

功能的完善性是建立在廠商的服務經驗基礎上的。當下企業要求實時智慧引擎能夠匹配複雜的業務線,那麼廠商對於複雜業務的理解程度和實時智慧技術對多條業務線的支援能力決定了平臺功能的完善性。

平臺的易用性是要降低業務人員的平臺使用成本。以往業務人員想要調整模型時需要找到IT部門,運用歷史資料對模型進行反覆訓練,後續還要上線和確認模型,整個週期需要2周到一個月時間。而平臺的易用性就體現在決策引擎是不是面向業務人員的,儘量讓業務人員使用拖拉拽的方式就能管理和調整模型,訓練好的模型在少量技術人員的幫助下就能上線知識應用平臺,大幅縮減業務人員的平臺使用時間,從而提升決策效率。

愛分析:您認為實時智慧技術未來的發展方向是什麼?

王新宇博士:大資料時代,資料是寶貴的資源,數字基礎設施建設是支援國家數字經濟高速高質發展的必要前提條件,隨著新基建的規劃部署在各行各業深入開展,企業內沉澱的資料量、業務系統的終端使用者量都在呈現爆發式增長的趨勢,很多大型企業尤其是國家的支柱性行業,對有效應對大規模、高時效、智慧化等一系列的數字化技術需求將越來越旺盛。

從應用趨勢來看,想要大規模應用實時智慧決策技術,要保證技術已經實現高度的產品化。舉例來說,特徵處理、模型訓練等底層技術產品化率較高,中大型客戶對資料採集、處理、計算等基礎功能需求最廣,產品化率也因此不斷提升,而面向應用價值的實時智慧決策技術不容易實現高產品化率。隨著技術不斷積累和沉澱,決策模型的產品化率會逐漸提高。產品化是廠商期待實現的共同目標,但在實現產品化的同時也要保證對業務支援的靈活性,才能夠應對當下日益精細化的市場需求。

未來數字經濟建設中,很多企業需要透過場景感知,實時捕捉、識別和判斷客戶需求,實時從決策引擎中獲取業務價值平衡決策,並透過集中的後臺服務實時響應客戶需求。實時智慧決策與分析領域的提前佈局,是很多行業、企業在數字化轉型中實現高質量發展的關鍵舉措。 


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2920642/,如需轉載,請註明出處,否則將追究法律責任。

相關文章