金融企業人工智慧架構的規劃方法(上)
作者簡介:
方偉,暱稱:jetfang,金融科技老兵一員,目前在某大型民企的金融團隊擔任總架構師,志同道合者請與之聯絡:jetfang1976(微訊號)
1. 引言
當一項革命性的科技興起之時,它會迅速的向廣度和縱深兩個方向延伸發展,並與千行百業的各種場景結合起來,展現出勃勃生機和旺盛的生命力。人工智慧就是這樣的科技。從深度來看,機器學習方向在神經網路的演算法複雜程度不斷加深,模型的引數數量在科技巨頭們的競賽中以讓人咂舌的方式增長,達到千億級甚至十萬億級的規模。從廣度來看,人工智慧這一領域延展出機器學習與深度學習、機器視覺、自然語言處理、知識圖譜與認知計算、等許多子領域。從應用場景來看,人工智慧在工業與製造業、安防、金融、交通、教育等各行各業得到廣泛的應用,起到了數字化加速的驅動作用,成為許多行業的新的科技引擎。
金融行業作為數字化程度較高、科技應用較為領先的行業,對人工智慧技術從一開始就保持了極大的熱情與關注。在從業者所公認的金融科技ABCD中,A(Artificial Inteligence)成為金融科技之首。人工智慧技術對金融業態產生了很大的影響,“智慧金融”成為行業熱點,智慧營銷、智慧風控、智慧運營、智慧投研與投顧等成為金融行業運用人工智慧技術的幾個重點方向。
金融行業對人工智慧技術的應用,起步較早,研究較深。但在實踐過程中,依然暴露出來許多問題,帶來許多挑戰。這其中,既有技術門檻和場景價值的問題,也有資源利用和人才隊伍的困境。此外,在技術架構、應用方向等許多方面也給金融機構,特別是中小型銀行、保險公司、證券公司,帶來巨大的挑戰。
如何更有效掌握好、運用深人工智慧技術,在數字化和智慧化的過程中少走彎路,是擺在眾多金融機構面前的難題。本文嘗試從企業架構的角度出發,研究和分析當前金融企業較為典型和有特色的“企業智慧架構”,為金融機構,特別是中小型金融企業找到合適的智慧化應用之路提供一些參考。
2. 金融行業應用AI的現狀與問題
AI技術在金融行業已經有許多有特色的創新場景。
比如在信貸風險方面。銀行運用大資料和AI技術將小微信貸的時間從傳統的數天縮短到小時級,已經是平常故事,有些銀行甚至已實現“秒批秒貸”,沒有實時資料和智慧演算法是做不到這一點的。在反欺詐方面,以前困擾金融機構的團伙欺詐行為,在大規模知識圖譜等技術應用之後,許多金融機構對團體欺詐的識別和防範能力大幅提升,取得顯著的效果。由於金融風險對實時性,精確性方面的要求很高,所遇到的資料規模大,演算法複雜度也高,是大資料和AI的合適戰場。AI技術目前正在推動金融企業在風險防控方面從“人防”走向“技防”直至“智防”。
但是從智慧應用的總體層面來看,人工智慧在金融場景的應用融合還存在許多問題和不足,AI技術對金融核心業務的滲透率還比較低。此外,由於企業的智慧應用建設缺乏總體規劃,許多人工智慧應用以單體應用的方式開展建設,應用之間的AI演算法、AI算力缺乏共享共用,在“資料孤島”之後,又形成了一個個的“智慧孤島”。
AI對金融業務核心場景的融入度不足,以及“智慧孤島”問題的產生原因是多方面的。
一是人工智慧演算法的可解釋性不足,阻礙了金融行業對AI的應用。AI技術近年來取得重大突破,其重要的原因之一是在於AI模型的複雜度發生質變性的提升。但是模型的複雜度與可解釋性似乎是一對矛盾體,比如神經網路,其發揮作用的原因正是因為網路層次和引數突破了“臨界點”,才取得超乎想象的效果。如何解決複雜模型的“黑箱”問題,AI專家正在努力的尋找解決之道。2021年,華為雲的MindSpore團隊就提出,可以從基於資料的可解釋性、基於模型的可解釋性、基於結果的可解釋性三方面入手構建可解釋AI。
二是人工智慧的技術門檻相對較高,對銀行傳統的科技研發模式、技術儲備、人才團隊都提出挑戰,帶來了AI應用的困難。其中關鍵人才和AI隊伍的不足是根本性的問題。AI的落地需要多種人才,演算法工程師是必不可少的關鍵角色。相對於普通的資訊科技人員和軟體開發人員,演算法工程師需要在數學、電腦科學、資料科學等方面有更深刻的知識背景,培育難度大,市場上也較為稀缺。不僅僅如此,要完成智慧場景的應用和落地,還需要銀行擁有資料工程師、資料分析師、業務分析師,這些人和演算法工程師組成一個高效的複合團隊,最好還加上“資料科學家”,這樣才能真正運用前沿的AI技術解決業務核心問題,發揮出資料和人工智慧的最大價值。這個團隊與銀行傳統的業務團隊和科技團隊都有所不同,構建這樣一支隊伍並激發其工作活力,難度可想而知。
三是AI算力不足,也帶來AI在金融行業應用的困難。AI模型的構建需要消耗大量的算力,為加速訓練和推理的速度,網際網路和科技大廠的做法大多是運用GPU叢集,而這需要付出許多的資金和電力資源的消耗。比如在國外,OpenAI為構建GPT-3模型,對算力的消耗達到3640PD(PetaFLOPS/s-day),其訓練成本高達數千萬美元。在國內,阿里巴巴構建的十萬億級引數的“M6”大模型,雖然宣稱在算力資源利用效率上有大幅最佳化,但也是建立在巨大算力資源消耗的基礎之上才訓練成功。在AI的應用效果尚不明朗之時,金融機構往往難以承擔如此巨大的投入成本去構建龐大的算力叢集。而且,隨著AI晶片的競爭加劇,新的AI晶片不斷迭代更新,如何最大化的利用好算力資源,實現對過往投資的保護,也是金融機構不得不考慮的問題。
此外,金融機構內部對智慧化應用的認知不統一的問題、行業內部對AI技術標準不統一的問題,也給智慧應用帶來阻礙。許多金融機構從場景出發建設AI系統,這固然是業務驅動科技的良性思路,但也往往帶來重複建設的問題。而且建設過程和關鍵技術往往過度依賴於外部廠商,喪失了技術主導權的同時,也形成了過多的“煙囪式”系統,從而造成了前面所提到的“智慧孤島”問題。
3. 金融行業智慧架構的實踐
金融行業應用AI的困局,反映出金融機構在面臨複雜的、前沿性的技術時的種種問題。尤其是方向性和架構性的問題,是金融機構所面臨的最首要的挑戰。構建合適的企業智慧架構,從總體層面對人工智慧的技術應用進行解構和最佳化,是實現智慧化應用突破的關鍵。
領先銀行已經在智慧架構方面做出嘗試和實踐,讓我們來看看相關行的一些AI架構。
圖1:《A銀行人工智慧平臺架構圖》
上圖是某大行的人工智慧平臺的架構圖。從圖1中我們可以看出,其核心智慧部分為兩層,上層是面向“感知、思維、控制”三個領域的垂直的智慧服務,下層是水平的AI底座層。在底座層面,又可細分為算力、演算法、技術框架、AI工作站四個子層。其中,算力層負責晶片的適配和算力的排程,演算法負責各種機器學習演算法、深度學習演算法和圖演算法的實現,框架層是基於演算法層的封裝而構建的AI開發程式設計框架,支援業界較為通用的Tensorflow、pyTorch等AI框架。在這三層之上是面向AI工程師的工作站層,提供了標註、建模、訓練和推理等功能。基於基礎平臺,垂直層構建起面向領域的AI原子服務。包括了感知領域的人臉識別、聲紋識別、語音識別等智慧模型服務,這類服務多使用OCR、CV、以及VR/AR等智慧感知技術。以及面向認知領域的語義理解、機器翻譯、情感分析等AI原子服務,這類服務以NLP、知識圖譜等的技術運用為主。此外,AI垂直服務層還包括面向自動化控制的RPA、機器人等服務。
垂直領域智慧服務和AI底座構成的人工智慧平臺,從資料中臺獲得資料,形成智慧原子服務,支撐起產品創新、客戶服務、風險防控等智慧應用,推動銀行業務的智慧化發展。
這個智慧架構的優勢在於,層次簡單、清晰,可複用性較強,與資料中臺和應用層的界限也比較清晰,職責分工較為明確。
讓我們再來分析一下另一箇中大型銀行的智慧架構。
圖2:《B銀行人工智慧平臺架構圖》
從這個架構我們可以看出,B銀行將AI體系劃分為了5個層次。對比A銀行的AI架構,B銀行對於AI底座的設計更為精細,考慮到了算力的並行排程等的問題,對於算力、儲存的思考更為深入,在具體的技術實現上則會考慮與企業雲底座進行技術複用。在平臺層,將標註、建模、推理進行區分,對於開發態和執行態的管理更為精細。在應用層和平臺層之間,設計了統一的服務層,這有助於AI能力的複用,形成AI平臺對應用的更敏捷支撐和更高效的對接。
由於人工智慧技術發展迅速且分支技術十分廣泛,即使大型銀行也難以獨自推進技術的發展,而不得不依賴於AI技術生態。針對金融機構的人工智慧應用需求,一些大型科技廠商也提出了參考架構。
圖3:《B廠商金融智慧平臺架構圖》
如上圖所示。該架構將應用場景與AI能力分開,將AI能力抽象出來,形成一個較為典型的中臺架構。在AI中臺架構內,又將總體架構切分為AI開發中心、AI資產中心、AI服務運營平臺。在開發中心實現通用模型和垂直模型的建模和訓練。在資產中心實現對資料樣本和模型的統一管理。在AI服務運營平臺實現AI能力的原子化服務,以及基於原子能力的面向業務能力的組合智慧服務。在這3個層次之外,還設計了AI資產(樣本、演算法、模型、服務)的共享平臺和風險管理平臺,實現了對AI成果的更為精細化的管理和保護。
這個架構對模型和演算法的區分和管理更為細緻,提出了AI資產化的理念,對AI的價值和風險也有考慮,是一個架構更為完備的、商業價值更為凸顯的金融企業智慧架構。
總體來看,這些參考架構對AI能力有了公共抽象,對算力的集約化有了一定的設計,對演算法的層次也有初步的劃分,已經能夠為金融機構如何應用AI起到較好的參考作用。
但是,目前的金融AI架構仍然存在一定的侷限性。
1) 沒有考慮邊緣測的計算和端側的感知。目前的架構多為“AI中臺”的模式,對端、邊的智慧技術的應用和管理沒有太多考慮。
2) 對算力的調配問題,考慮的尚有不足。多種算力之間如何取得平衡,並適配各種主流框架,實現算力的最大集約化應用,是當前金融機構應用AI技術的一個難點和痛點。
3) 對AI能力構建過程中的開發態,訓練態,推理態的分離,考慮的不足。金融機構對於研發變更和運維過程的管理十分嚴格,目前業界已有提出“AIOPS”的理念,如何高效的對AI能力的開發、訓練和推理進行管理,需要在架構層面即做出規劃。
4) 為提升AI能力的可複用性,需要實現演算法的原子化、分子化。目前許多銀行只是做了簡單的“水平-垂直”的分層劃分,尚不能真正實現演算法的原子化,並基於原子化的基礎上構建分子化的組合,以實現AI能力面向場景的快速組合構建。
結合幾個大型銀行的AI架構,並針對當前各個架構的一些不足之處,筆者嘗試提出一個參考架構如下:
圖4:《金融機構人工智慧參考架構圖》
這個架構的特點是,簡化了AI應用的層級,增加了邊緣側和端側的感知計算和邊緣AI計算的描述。在中心雲的IaaS層,增加了AI算力排程平臺的規劃,透過對AI算力資源在各資源池之間、邊緣與中心雲之間、開發態與訓練態和推理態之間的算力排程,實現算力的集約化使用。在PaaS層,對開發態、訓練態、推理態進行了區分,並將演算法劃分為:原子演算法層、組合演算法層、場景演算法層,從而增強演算法的可複用性,真正達到算力集約化、演算法原子化的目標。透過構建AI服務層對AI的訪問進行統一管控,並與資料服務、業務服務進行互聯互通。整體架構能夠更好的支撐AI場景化,比如透過AI支撐RPA、數字人等自動化工具,提升其智慧程度,為未來進一步擴充套件AI應用的廣度和深度打下了良好的基礎。
(待續)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/39892/viewspace-2915126/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 金融企業人工智慧架構的規劃方法(下)人工智慧架構
- Gartner:65%的金融機構有意投資雲企業資源規劃
- 規劃企業新IT架構時必須考慮要素架構
- 銀行業信創架構設計規劃及實踐 | 架構進階行業架構
- 金融行業微服務架構解析行業微服務架構
- 學習網路規劃設計 助力企業輕鬆上雲
- TOGAF企業架構與軟體架構的對應圖架構
- 軟體架構師如何規劃自己的職業?四個方面來踐行!架構
- 【大資料】以航空大資料為例,一窺企業資料架構規劃和治理之道大資料架構
- 現代企業架構師的5大特徵及六種方法架構特徵
- 【分享】企業如何進行施行規劃?
- 新核心業務系統資料架構規劃與資料治理架構
- .NET企業架構設計架構
- 解決方案架構、系統架構和企業架構區別架構
- 金融機構關鍵業務系統資料儲存規劃實施與配置
- Gartner:2024年58%的金融企業已經採用人工智慧人工智慧
- 企業私有云規劃資源設計
- 人工智慧學習規劃人工智慧
- 企業架構思維導圖架構
- 幽默:企業技術架構 2.0架構
- 企業低成本萬能架構架構
- 後現代企業架構 - hablutzel架構
- 企業架構師、解決方案架構師和技術架構師的異同 - Briqi架構
- 企業無線網路裝置的未來規劃
- 採用 TOGAF標準的企業架構和企業敏捷性架構敏捷
- 服裝ERP:企業如何進行施行規劃?
- 閒談工業企業全廠資訊化規劃
- 企業架構管控的探索與實踐架構
- 最佳實踐丨企業上雲後資源容量如何規劃和實施
- 銀行IT架構變遷史(金融IT基礎架構)架構
- 什麼是企業架構師? (tpierrain)架構AI
- 企業事件驅動架構指南 - wiprodigital事件架構Git
- Spring Cloud微服務分散式雲架構 - 整合企業架構的技術點SpringCloud微服務分散式架構
- 不同規劃企業對CRM系統的價效比要求
- 動態規劃入門——動態規劃與資料結構的結合,在樹上做DP動態規劃資料結構
- 企業如何規劃SRM供應商管理系統?
- 企業如何選擇合適的RPA部署架構架構
- 4、【創業必備企業架構】SpringCloud大型企業分散式微服務雲架構原始碼之MySQL 連線創業架構SpringGCCloud分散式微服務原始碼MySql