成立於1996年的北京銀行，搶抓時代機遇，相繼實現引資、上市、跨區域等發展突破，在北京、天津、上海、西安、深圳、杭州、長沙、南京、濟南、南昌、石家莊、烏魯木齊等十餘箇中心城市以及香港特別行政區、荷蘭擁有670多家分支機構，探索了中小銀行創新發展的經典模式。
北京銀行資產規模穩健增長，繼續領跑全國城商行，躋身全球百強銀行和我國系統重要性銀行。在世界品牌實驗室品牌價值排行榜中，品牌價值升至654億元。在英國《銀行家》雜誌全球千家大銀行排名第62位，連續8年躋身全球百強銀行。此外，被人民銀行、銀保監會正式納入我國系統重要性銀行名單，成為我國19家系統重要性銀行之一。
新時期，北京銀行緊密圍繞“服務實體經濟、防控金融風險、深化金融改革”三項任務，強化黨建引領，依法合規經營，加快數字化轉型升級，加強全方位風險管控，紮實推動全行各項業務高質量發展。
為此，北京銀行信用卡中心從2015年開始建設資料平臺系統。隨著新業務的發展，北京銀行信用卡中心要求IT系統具備更強的資料儲存、檢索和持續的業務建模分析能力。
為了滿足未來業務發展對資料的需求，北京銀行信用卡中心要求構建新一代大資料平臺，更好實現各應用系統間資料和計算資源的共享，並支撐內外部資料的分析和挖掘應用，為資料中臺建設打下基礎。
具體而言，北京銀行信用卡中心的的新一代大資料中心的應用需求包括：
針對批次業務，要求基於新一代大資料平臺實現資料檔案查收、資料檔案預處理、資料檔案傳輸、資料清洗、資料載入、原始檔案歸檔等功能；能夠接收上游系統資料並儲存到資料倉儲中，提供分析計算介面，供下游業務系統使用。
而針對實時業務，則需利用大資料平臺的流處理引擎，接入行內訊息平臺（或構建在平臺的內部訊息佇列後），能具備後期開發實時流處理業務的能力，包括實時儀表盤監控、實時報表等能力。
解決方案
依據北京銀行信用卡中心的需求和未來對大資料平臺的規劃，星環科技為其新一代大資料平臺設計出架構方案。該架構主要分為上游系統資料來源、檔案處理、大資料平臺和下游。
批次資料從上游系統資料平臺資料庫、貼源系統中將資料檔案接入到星環科技大資料基礎平臺TDH中的TDFS中，透過星環科技關係型分析引擎Inceptor進行脫敏、計算，以供下游系統分析挖掘。
實時資料從上游髮卡系統將資料接入到星環科技事件儲存庫Event Store訊息佇列中，使用星環科技實時流計算引擎Slipstream分析，將資料寫入到星環科技寬表資料庫Hyperbase中，支援決策引擎。
星環科技大資料管理軟體TDH Manager是平臺的統一管理入口，承擔平臺運維管理的功能。
星環科技大資料安全管理軟體TDH guardian是平臺的安全認證管理元件，可對組、角色、使用者進行許可權管控和對平臺各個服務的使用許可權控制。
北京銀行信用卡中心關於大資料平臺的整體資料流轉如下：
北京銀行信用卡中心的資料來源來源於資料平臺資料庫和貼源系統，大資料平臺提供資料介面，透過星環科技事件儲存庫Event Store接入實時資料；透過資料介面全量或定時增量抽取同步關係型資料庫，將資料檔案的聚匯到TDFS的功能。
具體而言，對於結構化資料：現有業務系統以及資料倉儲中的資料，可以使用Sqoop或以檔案的方式採用T+1的方式接入到大資料平臺。
對於實時資料，支援將實時資料接入Event Store訊息佇列，並透過Slipstream元件做訊息實時研判處理、加工分析，並將處理結果實時返回，以對接上層實時儀表盤等相關應用。
透過統一的資料儲存平臺，對結構化、非結構化資料以及實時資料進行落地持久化，同時提供容錯、多副本安全冗餘等功能，保證資料的可靠性。
其中，結構化資料主要的來源為資料倉儲，業務系統為行核心心、信貸、網銀等系統。在實際使用中，由於實時查詢資料類資料與離線分析類資料有不同的業務需求，應根據具體的業務場景，將相應的資料持久化到不同的儲存引擎當中。
大資料平臺將資料儲存後，可以繼續使用Inceptor做加工處理分析，最終供上層應用程式查詢檢索。
查詢部分，主要用於互動式的資料查詢，典型業務如行內海量歷史資料的查詢，可以有效地將以前冷資料部分使用起來。
流式處理部分，流式處理引擎不但可以用於完成資料的實時入庫工作，而且可以用於資料的實時統計與處理，如基於時間視窗的統計、基於規則的實時告警應用等。
離線分析部分，離線分析主要用於對時效性要求不高耗時較長的場景中。典型使用場景如報表的離線計算、資料離線匯出、後期資料探勘分析的資料預處理等工作。
方案特點
星環科技為北京銀行信用卡中心建設的新一代大資料平臺，滿足使用者實際和未來的發展需求，在以下四個方面取得成功經驗：
搭建了基礎資料平臺架構。
結合北京銀行信用卡中心基礎IT設施情況及所採購的大資料產品，構建北京銀行信用卡中心的大資料平臺，處理上游系統的批次或者實時資料，包括批次資料的計算、儲存，許可權控制、批次資料與下游應用的對接，實時資料的接入、計算和下游應用的對接等。
實現了資料的遷移和同步模組。
專案對當前貼源層資料、明細彙總層資料進行初始化全量遷移及日常增量同步。針對貼源層和明細層批次歷史和增量資料，制定不同的接入方案，在後續實施階段，根據上游提供的不同字符集的檔案進行轉碼、校驗以及對錶重新梳理，制定資料分層及儲存策略，並將上游提供的原始檔儲存在大資料平臺上。
建立了資料脫敏模組。
專案主要是在大資料平臺的關係型分析引擎Inceptor中，透過udf函式對資料脫敏，根據具體的要求對姓名、身份證、手機號、卡號等欄位進行遮蔽性脫敏、格式化脫敏和一致性脫敏。脫敏後，保證原資料格式不變，對於需要關聯的欄位保證依舊可以關聯等。
完成實時資料模組。
搭建實時資料平臺，對接髮卡系統，其中包括實時資料採集程式的開發、實時資料同步，實時應用開發。
專案滿足髮卡資料的實時資料的接入和資料處理，滿足業務在流式計算方面的資料需求，包括Event Store監聽髮卡系統的實時資料並接入、流式引擎計算。實時資料採集平臺與卡中心內的決策引擎透過Event Store和Hyperbase實現實時資料的應用對接。
完成資料沙箱環境搭建。
實現沙箱環境搭建、資料表許可權控制以及資源分配。透過對貼源層和明細層資料的脫敏，將資料載入到星環科技Inceptor中，提供一個基於Inceptor構建的脫敏環境，為上層應用包括但不僅限於模型平臺，提供一個沙箱環境。
透過為Inceptor建立角色並賦予不同角色查詢、修改許可權，進行許可權控制，透過分配Inceptor計算配額(cpu個數、百分比)來實現資源的控制。
完成排程模組。
基於北京銀行內現有的排程工具，做相應的作業流以及作業設計，制定規範化的作業開發規範。主要是透過工具，批次生成對應的xml檔案，進行介面匯入，實現排程作業的批次開發。
應用價值
此前北京銀行信用卡中心的數倉歷史資料是儲存在資料平臺資料庫中。而基於星環大資料基礎平臺TDH建設的新一代大資料中心既能支援傳統數倉資料的遷移，又能保證後續信用卡中心業務發展的資料應用與分析的需求。
為了更好地支援北京銀行信用卡中心數倉業務，需要將數倉歷史資料遷移至北京銀行信用卡中心大資料平臺中星環科技大資料基礎平臺TDH。
由於北京銀行信用卡中心的資料平臺資料庫伺服器部署在北京，而TDH大資料平臺伺服器部署在西安，如果採用線上遷移的方式，由於遷移資料量過大且網路頻寬不足，遷移時間會很長，所以決定採用離線遷移的方式，即先將數倉資料從資料平臺資料庫中匯出到儲存伺服器，落成資料檔案，而後將伺服器帶到西安，直接連線到TDH大資料叢集，將資料檔案上傳到大資料平臺的TDFS上。
同時，北京銀行信用卡中心的資料來源來源於資料平臺資料庫和貼源系統，大資料平臺提供資料介面，透過Event Store接入實時資料；透過資料介面全量或定時增量抽取同步關係型資料庫將資料檔案的聚匯到TDFS的功能。
目前北京銀行信用卡中心已經完成了80%以上系統的資料入倉工作，提供報表、資料下發、下游應用支援等資料服務，支援北京銀行數字化轉型。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69994106/viewspace-2867515/，如需轉載，請註明出處，否則將追究法律責任。