銀行業資料長期保留的需求場景及策略分析
銀行業資料的保留時間需要遵守相關的法律法規和監管要求,並根據銀行自身的業務需求進行調整,以保證資料的合規性和安全性。同時,銀行需要對資料進行分類、歸檔和備份,以便在需要的時候能夠快速地檢索和訪問資料。
銀行業需要長期保留資料以滿足法律法規要求、業務需求、風險管理和歷史分析等方面的需求。這些資料可以作為金融機構的重要資產,有助於提高業務效率和風險管理能力,但是應該提前規劃好承載系統和承載時長,平衡好長期保留的資料量與長期保留資料的管理成本。
銀行在制定資料備份保留策略時,需要考慮到監管要求、實際業務需求、備份週期、備份儲存時間、備份儲存位置、備份策略、恢復測試和備份安全性等多個因素,並根據具體情況進行適當調整和最佳化。
本文包括5個方面的探討——
1、需要保留多長時間的資料?不同型別的資料有何區別?
資料是銀行業務運營和管理的核心基礎,對銀行的業務和決策具有重要的影響。銀行的資料需要保留多長時長,法律法規有哪些監管的要求?交易資料、客戶資料等不同型別的資料如何分類?
銀行業需要保留的資料時間長度和資料型別是由監管機構規定的,不同國家和地區的監管機構可能存在差異。根據中國人民銀行《商業銀行資料管理辦法》規定,商業銀行需要儲存的資料期限為:
業務憑證:包括存款憑證、取款憑證、轉賬憑證、匯款憑證等,是銀行業務的重要證據,需要儲存5年;業務臺賬:記錄銀行業務的流程和結果,包括開戶、銷戶、存取款、轉賬、貸款等,需要儲存10年;賬戶檔案:包括客戶基本資訊、身份證件影印件、簽約協議等,是銀行業務的重要依據,需要儲存10年;風險管理相關檔案:包括風險評估報告、內部控制制度、反洗錢措施等,需要儲存15年;其他與銀行業務相關的檔案和資料:包括內部審計報告、合規檢查報告、業務報告等,需要按照業務需要進行儲存。
銀行資料是指儲存在銀行系統中的各種型別的資料,包括客戶資訊、賬戶餘額、交易記錄、貸款資訊、利率等。這些資料分散在眾多不同的業務系統中,因此不能一概而論的統稱,可以從業務層面和技術層面進行資料分類。
在業務層面,按照法律法規規定的資料、內部管理需要的資料(包括客戶的基本資訊、賬戶資訊、交易記錄等資料)和業務運營需要的資料來劃分。在技術層面,根據應用系統所產生的資料細分為資料庫備份資料、應用系統交易日誌資料、業務非結構化資料等,按照線上資料、近線資料和離線資料來劃分。
1)線上資料:線上資料是需要實時訪問的資料,通常是對業務操作產生影響的資料,例如銀行賬戶餘額、線上交易記錄等。線上資料需要快速響應使用者請求,保證資料的實時性和準確性。那麼線上資料越積越多後將導致實時訪問速度變慢,因此,需要結合應用系統資料的實際情況將部分歷史資料進行拆分,比如建立歷史查詢資料庫等,將線上資料遷移至歷史庫。
2)近線資料:近線資料是指對實時性要求相對較低,但仍需要快速訪問和處理的資料,通常是資料量較大但對資料延遲的要求不是特別高的資料,例如:歷史資料庫交易記錄、客戶資訊等。近線資料需要快速訪問,但對資料的延遲容忍度較高。
3)離線資料:離線資料是指對實時性要求相對較低,可以在後臺處理的資料,通常是資料量較大,對資料延遲的要求比較低的資料。離線資料對資料的延遲容忍度很高。所以,一般可以理解為備份類的資料。
所以,銀行業資料的保留時間需要遵守相關的法律法規和監管要求,並根據銀行自身的業務需求進行調整,以保證資料的合規性和安全性。同時,銀行需要對資料進行分類、歸檔和備份,以便在需要的時候能夠快速地檢索和訪問資料。
2、金融企業資料長期保留的必要性?保留策略如何制定?
法律法規要求金融企業資料需要長期保留,長期保留資料以支援業務需求,並跟蹤客戶的交易歷史以瞭解其投資偏好和風險承受能力,如何提前規劃好承載系統和承載時長,平衡好長期保留的資料量與長期保留資料的管理成本?
金融企業資料長期保留的必要性這個問題首先要從資料生命週期階段和資料儲存方式來分析:
資料生命週期階段:第一階段:資料在應用系統中資料不刪除,也就是熱資料。以結構化資料為例,為了提高資料庫效能,可以將一些不常用,但仍然會有一些使用需求的,從生產庫轉移到歷史庫上。第二階段:在應用系統中已經沒有實時訪問的需求,但是需要長期保留的資料。
資料儲存方式有兩種:
1)集中備份系統:主要防止生產資料的物理丟失(硬體故障,環境故障等)或者邏輯丟失(人為誤刪除,應用邏輯錯誤等),提前對資料做定期備份,在資料丟失的時候立刻恢復,通常會在資料丟失的幾小時或者幾天內就恢復資料,所以一般來說備份系統中的資料不需要保留很久。但是,集中備份系統也可以長時間保留。集中備份系統在備份過程中只是將生產資料搬運到備份介質上,它的搬運相容性最好,幾乎可以對任何資料進行搬運,但是同時,它搬運過來的資料也都是壓縮包,想要使用需要再搬運回生產環境,無法直接使用。
2)專門的歸檔系統:專門的歸檔系統是為了歸檔資料而設計的系統。它們通常具有更高階的歸檔功能,例如資料去重、壓縮、加密、索引和檢索。專門的歸檔系統通常能夠處理大量的資料,並提供更好的資料管理和保護功能,生產資料在進入到歸檔系統後,有專門的檢索和取用的介面。專門的歸檔系統通常是針對需要長期儲存和保護資料的組織和企業而設計的。
長期資料保留的必要性與儲存策略:
1)法律法規要求(剛性):金融行業需要遵守各種法律法規,例如證券法、銀行法、稅法等,這些法規要求金融機構儲存特定型別的資料,並在需要時提供給監管機構或法律機構。這些資料可能包括客戶資訊、交易記錄、財務報表等。此類資料應該完全遵從法規細節,在業務系統設計投產時,就將相關法規要求的資料,在規定的時間點,按法規需求儲存時長轉存至專門的歸檔系統。
2)業務需求(剛性):金融機構需要長期保留資料以支援業務需求。例如,金融機構需要跟蹤客戶的交易歷史以瞭解其投資偏好和風險承受能力,需要儲存財務報表以監控業務績效和財務狀況。此類資料完全由業務需求決定,是業務的一部分。此類資料需要實時訪問,將在資料庫中長期存放,不能從資料生命週期中歸為長期保留資料,不需要額外進行策略設計。僅僅從資源使用成本合理性和資料庫效能考慮,可以存放至生產資料庫或者歷史庫,儲存時長按業務需求。
3)風險管理(剛性):金融機構需要長期保留資料以進行風險管理。例如,金融機構需要儲存交易記錄以便在需要時進行調查和審計,需要儲存客戶資訊以便進行反洗錢和反恐怖融資的監測。此類資料由於可能沒有清晰的法規要求,而且有的審計非常隨意,原因為一些審計政策本身就語義不明,可以有不同的解讀。所以對於重要應用系統,可以在集中備份系統中將月末或者季末資料庫備份後長期保留,保留時間根據成本考慮,可以十五年或者二十年。
4)歷史分析(非剛性):金融機構需要長期保留資料以進行歷史分析。例如,金融機構需要分析過去的交易資料以瞭解市場趨勢和預測未來的市場走勢,需要分析客戶的投資歷史以瞭解其投資行為和偏好。此類資料也屬於業務需求,一般來說不算資料中心長期保留資料的範疇,應該在應用架構範圍內解決,可以存放至生產資料庫或者歷史庫,儲存時長按業務需求。
綜上,金融行業需要長期保留資料以滿足法律法規要求、業務需求、風險管理和歷史分析等方面的需求。這些資料可以作為金融機構的重要資產,有助於提高業務效率和風險管理能力,但是應該提前規劃好承載系統和承載時長,避免成為大水漫灌的資料,易存不易使,當長期保留的資料量太大太多,達到幾十PB幾百PB以上時,不僅將難以使用,隨之而來還會帶來長期保留資料的管理成本、轉儲成本等。
3、銀行行業需要備份哪些型別的資料?資料的種類和數量有多大?
銀行作為金融機構,需要備份的資料型別和數量非常繁多,以保障日常業務運營和應對各種突發情況。資料的種類和數量因銀行規模、業務型別、資料處理系統等因素而異。銀行如何做好備份策略定期評估?
銀行作為金融機構,需要備份的資料型別包括交易資料:包括客戶賬戶餘額、轉賬記錄、存款和貸款資訊等;客戶資訊:包括客戶身份資訊、聯絡方式、信用評估結果等敏感資訊;安全日誌:記錄系統事件和安全狀態變化的資訊,包括系統操作日誌、安全日誌、異常日誌等;系統配置檔案:作業系統、資料庫、網路裝置等各類硬體裝置的配置引數;應用系統資料:如核心支付系統、風險控制系統、業務管理平臺等的相關資料和設定資訊;證書和金鑰:加密演算法所需證書檔案和金鑰,以確保資料傳輸和訪問安全;電子文件:客戶簽署協議、合同、貸款申請人資料等重要的電子文件;影像資料:交易憑證、身份證影印件、權益證明等的掃描或拍攝的電子文件;其它資料:財務資料、員工資料,辦公資料等。
資料的種類和數量因銀行規模、業務型別、資料處理系統等因素而異。一般來說,大型銀行需要備份的資料量較大,可能需要備份數百萬到數千萬個客戶的資訊和交易記錄,以及大量的系統日誌和員工資料。備份的資料量也會隨著時間的推移而增加,因此銀行需要定期評估備份策略,以確保備份的資料能夠滿足業務需求和法律法規要求。
銀行不同的業務系統,對應不同的資訊系統,有著不同的資料型別。在進行備份與容災保護時,需按重要級別和保護級別進行保護。目前,國內中小銀行災難備份方面存在4種方法。
1)僅做主機雙機熱備份
雙機熱備份就是使用互為備份的兩臺伺服器共同執行同一服務,其中一臺主機為工作機(Primary Server),另一臺主機為備份機(StandbyServer)。在系統正常情況下,工作機為應用系統提供服務,備份機和工作機互相監視對方的執行情況是否正常,當工作機出現異常,不能支援應用系統運營時,備份機主動接管工作機的工作,繼續支援關鍵應用服務,保證系統不間斷的執行。
雙機熱備是一種實時備份,任何軟體錯誤、病毒影響、誤操作等等,都會同步地在多份資料中發生影響。因此,對於關鍵業務僅採用此方案的話,依然存在相當大的安全隱患,如資料損壞、丟失時根本無法進行恢復,一旦遇到災難性事件可能產生無可挽回的影響。
2)將備份資料存放在同城異地分支機構
這種資料備份方式最常見的模式是:定期備份+關鍵資料備份。
定期備份:是按一定時間間隔,將系統某一時刻的資料備份到磁帶等介質上,及時傳遞到遠離執行中心的安全地方儲存起來。
關鍵資料備份:是將資料更新的日誌或流水等關鍵資料及時備份下來,並傳送到安全地方(通常是同城的主要分支機構)。關鍵資料備份的頻率應比定期備份的頻率更高。關鍵資料中包含了資料更新的全部操作,因此,使用定期備份介質和關鍵資料備份介質,完全可以將資料恢復到備份終結前最後的關鍵資料狀態。
此種方案大多采取人工方式傳送定期備份介質、資料通訊傳送關鍵資料的方式執行,主要優點是投資較少,可利用現有的磁帶備份裝置和資料庫管理系統工具。
採用這種方式進行災備,說明銀行對於災難恢復有基本的認知,但是防護手段比較單一。如果碰到地區性災害,則同樣有可能丟失對於銀行來說生死攸關的資料。
3)在分支機構內設機房,做同城異地實時備份
同城異地實時備份,是指進行資料更新操作同時,在執行系統和備份系統中進行備份,執行系統的資料更新操作既寫入本地磁碟,又透過高速資料通訊線路傳到備份系統的磁碟,直至收到備份系統完成資料更新操作的確認。
此方案中後備執行系統處於熱備份狀態,因此災難發生後恢復時間極短,主要是網路切換的時間。採用的技術一般有遠端磁碟映象同步方式、遠端資料庫複製同步方式和網路資料映象同步方式等。
4)將備份系統託管在同城IDC機房中,做同城異地實時備份
這種情況與第三種情況類似,區別之處在於使用了第三方的機房環境。IDC的基礎設施條件有好有差,但最根本的一點也在於運營管理。IDC的制度、管理及設施都是適應於Internet主機裝置託管的,因此與災備中心的運營管理存在極大差別。如果沒有相應的措施,其中存在的隱患會更大。
4、在何處保留資料備份?是否需要將其存放到遠端位置,以避免本地災害造成資料損失?
根據監管要求,備份資料需要異地存放,以避免本地災害造成資料損失。銀行在選擇遠端備份位置時需要考慮哪些因素?
根據監管要求,備份資料需要異地存放,所以,銀行業都會將資料備份存放在距離生產機房較遠的安全位置,以避免本地災害造成資料損失。
早期一般是透過人工安保押運方式將備份資料介質運輸到指定的安全位置妥善保管。隨著技術快速發展,銀行業基本上已經具備兩地三中心等容災架構,一般是將備份資料透過網路複製儲存到同城災備或異地災備機房。而且在規劃多中心容災架構時都預先設計了備份資料的恢復能力。
銀行業選擇備份位置包括以下幾種:
1) 資料中心:銀行會建立自己的資料中心,並在其中設定主要的資料備份設施。這些資料中心通常具有高階別的物理和網路安全措施,以保護資料免受未經授權的訪問和災難事件的影響。
2) 地理分散位置:為了防止單一地點的風險,銀行會選擇在不同的地理位置建立資料備份。這些位置可以是離主資料中心較遠的地方,甚至可以分佈在不同的城市或國家。
3) 雲端儲存服務:一些銀行也會選擇將資料備份到可靠的雲端儲存服務提供商那裡。雲端儲存能夠提供高度安全性和冗餘性,確保資料在多個地點進行備份,同時提供快速且可靠的恢復選項。
以上是一般而言,但實際銀行的資料備份策略可能因銀行規模、法規要求以及其它因素而有所不同。銀行會根據自身需求和風險管理考慮因素來制定最適合的資料備份方案。
5、銀行業務系統資料庫備份資料長期保留的資料的應用場景是哪些?
銀行如何根據監管要求和實際業務需求來制定資料備份的保留策略,以確保備份資料的完整性、準確性和可靠性?銀行資料備份的具體保留策略有哪些?主要依據哪些監管要求和實際的業務需要來制定了相關的備份策略?
資料庫是核心中的核心,資料庫的備份也是核心,長期保留主要是內外部合規的基礎上,如何確保資料庫資料的萬無一失。
5.1 銀行業務系統資料庫備份資料長期保留的應用場景主要包括以下幾個方面:
1) 法律法規要求:根據相關法律法規的要求,銀行需要對某些重要資料進行備份,並且要求保留一定的時間。例如《中華人民共和國商業銀行法》中規定存款賬戶記賬憑證、交易憑證等必須儲存五年以上;《銀行卡業務管理辦法》規定,持卡人賬戶交易資訊懷疑發生異常時應立即停止該賬戶交易,並儲存交易記錄不少於6個月。
2) 業務風險控制:銀行業務涉及到大量的資金流動和客戶交易資訊,為了避免業務風險,銀行需要對這些資料進行備份,並保留一定的時間。備份資料可以作為稽核、追責等方面的依據,以防日後發生爭議。
3) 內部審計和監督:為了確保銀行的內部審計和監督有效開展,銀行需要對某些資料進行備份,並保留一定的時間。備份資料可以作為內部審計和監督的依據,以便審計和監管人員進行核查和審查。
5.2 不同的銀行在資料備份方面的保留策略可能有所不同。一般來說,銀行的資料備份保留策略主要依據以下兩個方面:
1) 監管要求:銀行需要遵守相關的監管要求,例如《商業銀行法》、《銀行卡業務管理辦法》等,要求銀行對某些資料進行備份,並保留一定的時間。銀行需要根據監管要求來制定相應的資料備份保留策略。
2) 實際業務需求:銀行的備份策略還需要考慮到實際的業務需求。不同的銀行在業務規模、業務型別、資料量等方面存在差異,因此其備份策略也需要根據實際情況進行制定。
5.3 具體相關備份策略的制定,要依據內部資訊科技部門和銀行總體規劃來制定,主要可以從以下幾個方面考慮:
1) 資料備份週期:銀行需要確定備份週期,即備份的時間是每天、每週、每月還是每年。一般來說,備份週期越短,備份資料的實時性就越高,但備份資料量也就越大,備份和恢復所需的時間成本會更高。
2) 資料備份儲存時間:銀行需要根據監管要求和實際業務需求,確定備份資料的儲存時間。一般來說,備份資料可以分為長期備份和短期備份,長期備份一般儲存數年或更長時間,而短期備份則儲存較短時間,如幾天或幾周等。
3) 資料備份儲存位置:銀行需要確定備份資料的儲存位置,即備份資料是否儲存在本地或者遠端的資料中心等地。備份資料的儲存位置需要考慮到資料安全性、可靠性以及成本等多個因素。
4) 資料備份策略:銀行需要明確資料備份的策略,包括完全備份、增量備份、差異備份等多種備份方式。完全備份可以保證資料備份的完整性,但備份資料的大小比較大,備份和恢復的時間成本也比較高;增量備份和差異備份可以節省備份資料的大小,但還原備份資料的時間成本會更高。
5) 資料備份恢復測試:銀行需要對備份資料進行恢復測試,以確保備份資料的準確性和可恢復性。銀行應該制定相應的恢復測試計劃和流程,定期對備份資料進行測試,發現備份資料的問題及時處理並修復。
6) 資料備份安全性:銀行備份資料需要考慮到資料的安全性,只有經過加密並且儲存在安全可靠的裝置中,才能有效保護資料備份不被非法獲取和篡改等風險。另外,備份資料還需根據資料的機密等級分割槽儲存。
因此,銀行在制定資料備份保留策略時,需要考慮到監管要求、實際業務需求、備份週期、備份儲存時間、備份儲存位置、備份策略、恢復測試和備份安全性等多個因素,並根據具體情況進行適當調整和最佳化。不同場景的、不同重要程度、不同業務的資料庫都有不同的要求,還要依據銀行的具體資訊化建設情況綜合考慮,需要從整體資料安全層面去考量和制定相關備份策略,還要結合監管要求和銀行業務要求去實現。
課題總結
1) 銀行業需要保留的資料時間長度和資料型別是非常重要的,銀行應該建立健全的資料備份和儲存機制,確保資料的安全和完整性。
2) 銀行業需要制定合理的資料備份和儲存策略,並且定期檢查和更新策略,以確保客戶資料的安全和可靠性。
3) 銀行資料的種類和數量因銀行規模、業務型別、資料處理系統等因素而異。銀行需要定期評估備份策略,以確保備份的資料能夠滿足業務需求和法律法規要求。
4) 銀行在選擇遠端備份位置時需要考慮到資料傳輸的延遲和頻寬限制等問題,以確保備份資料的及時性和完整性。此外,銀行還需要定期測試備份資料的恢復能力,以確保備份資料的可靠性和有效性。
5) 銀行的資料備份需要長期保留,備份策略需要根據監管要求、業務需求、資料重要性和技術手段等因素來制定。銀行需要定期評估備份策略的有效性,並根據需要進行調整和改進。
來自 “ twt社群 ”, 原文作者:twt社群;原文連結:https://mp.weixin.qq.com/s/Thy4v_zSpHkWRlvy7rN2Wg,如有侵權,請聯絡管理員刪除。
相關文章
- OceanBase Meetup第五期 複雜業務場景下的資料庫應用需求及挑戰資料庫
- HTAP資料庫及應用場景分析資料庫
- 分散式資料庫的需求與場景分散式資料庫
- 業務場景下資料採集機制和策略
- Redis 5種資料結構 及使用場景分析Redis資料結構
- 資料分析沙龍 第1期 ——網際網路行業專場行業
- 一些資料賦能業務的場景及案例
- 新場景下銀行業、證券業和保險業的破局行業
- 分析視角下銀行業資料平臺架構演進及實現行業架構
- 大資料分析: SAP Sybase IQ功能特性及適用場景大資料
- InfluxDB—資料保留策略(Retention Policies)介紹UX
- kafka的acks=1策略資料丟失的風險場景Kafka
- 資料庫效能需求分析及評估模型資料庫模型
- 銀行大資料分析解決方案,助力銀行零售業務轉型大資料
- Redis的資料結構及應用場景Redis資料結構
- 圖資料庫及應用場景資料庫
- 銀行資料庫選型需求,你真的清楚嗎?資料庫
- 德勤諮詢:2022年全球銀行業及資本市場展望行業
- 洞見RSA 2021|大資料場景下的安全資料分析及威脅模型構建大資料模型
- 資料分析:複雜業務場景下,量化評估流程
- 股票策略的資料分析
- 德勤諮詢:2024年銀行業及資本市場展望報告行業
- Python的市場需求及職業規劃Python
- Redis系列-資料型別及使用場景Redis資料型別
- redis資料型別及應用場景Redis資料型別
- 淺談線下場景中的資料分析思路
- 金融業分散式資料庫選型及HTAP場景實踐分散式資料庫
- 晶片製造行業的ERP需求分析晶片行業
- 消費金融是如何利用大資料場景分析提高企業效益的?大資料
- 中國銀行:金融場景生態建設行業發展白皮書行業
- 分散式資料庫核心系統應用場景和需求分散式資料庫
- ELK日誌保留7天-索引生命週期策略索引
- 大資料行業,發展現狀及前景分析!大資料行業
- redis的五種資料型別及應用場景Redis資料型別
- 金融行業的大資料分析行業大資料
- 財務RPA機器人在金融銀行業中的應用場景有哪些?機器人行業
- TiDB 在微眾銀行核心批量場景的實踐TiDB
- 資料需求分析過程