安全、穩定、資料0丟失|金融雲遷移,袋鼠雲解鎖新姿勢
一、客戶金融雲遷移背景
金融行業上雲之困
在講述袋鼠雲這次的金融雲遷移服務案例之前,首先需要和大家聊聊,金融行業獨有的上雲痛點和難點。
2016年7月,銀監會向社會公開徵求對《中國銀行業資訊科技“十三五”發展規劃監管指導意見(徵求意見稿)》的意見,其中把開展雲端計算應用作為金融機構主動實施架構轉型的主要手段。
但是相比其他行業,金融行業對雲端計算平臺的要求非常苛刻,服務金融行業的技術必須具備相當高的可靠性,以及針對業務和資料的安全性。
所以,儘管目前已有數家大型銀行、證券、保險機構上雲,但是眾多金融企業對上雲扔持觀望態度。
根據和金融行業客戶的溝通、交流,袋鼠雲瞭解到:“金融企業暫時沒有上雲,並不代表他們不Care,相反他們非常想上雲。對他們而言,上雲已然成了金融企業跟上DT時代步伐最迫切、也最至關重要的一步,也只有這樣,才能把交易,服務,連線,決策,分析,智慧,核身,信任,體驗等環節打通”,才能緊跟大資料、人工智慧等最新的技術潮流,實現網際網路轉型,提升企業競爭力。
從公共雲遷移到金融雲
安全性、穩定性、資料0丟失,成客戶關注核心
客戶(注:袋鼠雲嚴格保密客戶相關資訊,本文內容已脫敏)是一家專業的網際網路金融機構,前期所有服務都執行在阿里雲公共雲上,近期國家對網際網路金融機構頒發了新規,支撐網際網路金融服務的雲環境必須要符合等保四級標準;同時,使用者的業務執行在經典網路環境下,相比於VPC網路環境,如果客戶操作不當,伺服器很容易存在被掃描入侵,病毒感染,資料勒索等諸多安全風險。
基於以上原因,為了符合國家規定,同時保護企業自身資產安全以及使用者資訊保安,客戶便決定開啟從公共雲到金融雲的遷徙之路。
阿里金融雲
只為構建安全穩定的雲上堡壘
阿里金融雲按照人民銀行和銀監會的合規標準建設,滿足了公安部雲端計算等級保護等四級的要求,作為為金融行業提供量身定製的雲端計算服務,具備低成本、高彈性、高可用、安全合規等特性。
阿里金融具體特性如下:
圖一
二、金融雲遷移,袋鼠雲陪客戶打場漂亮仗
攻堅第一戰
雲上網路環境,如何實現金融級別的安全性?
那就是為客戶量身設計高度安全等級的金融雲VPC網路。
使用者當前網路環境痛點:
-
使用經典網路,如果網路規劃與配置不嚴謹,相比於VPC網路環境,它存在的網路安全風險更高。
-
一種服務對應跑在單臺ECS上,服務高可用無法保障;同時應用直接通過ECS的公網IP對外提供訪問,使伺服器直接暴露在公網,容易被攻擊;
-
ECS數量60+,伺服器IP隨機分配,無規律,難管理;
-
日常運維,開發直接通過伺服器公網IP登入操作,無任何操作審計和訪問控制;
-
經典網路環境下安全組策略需要配置4個方向的策略,配置管理複雜,容易出錯;
我的天!這麼多問題,不擔心被網路安全管理部門貼小標籤麼?
當前網路環境存在的這些問題讓客戶很抓狂,客戶急需解決這種混亂而不安全的局面,據此,袋鼠云云服務專家幽蘭強烈建議在金融雲上使用VPC網路,重新規劃設計整個業務系統的網路架構。
如下:VPC網路架構圖
圖二
如上圖,我們根據使用者的當前業務場景,在金融雲VPC環境下,自定義規劃了一個較大的區域網,與經典網路相比,該網路設計具備以下一些優勢:
-
入口訪問方式統一,使用公網SLB對外提供業務訪問,不對外暴露後端ECS。
-
公網出口統一,內部ECS需主動出公網訪問第三方服務,使用NAT閘道器,對內部ECS統一進行地址轉換,無需為每臺ECS分配EIP同時使用共享頻寬包,節約頻寬成本。
-
網路環境完全隔離,VPC環境下各租戶之間網路為二層隔離,相比於經典網路下的三層隔離更加安全可靠。
-
IP網段可管理,VPC環境下,私網IP段完全自定義。可以像線下環境一樣,我們可以根據伺服器的職能劃分web服務,APP服務,DB服務等對應的IP段。
-
運維入口統一,在VPC下劃分一個“管控區”,在這個區域裡面使用VPN服務,堡壘機服務。使用VPN打通網路連線,使用堡壘機對日常運維進行審計和控制,讓VPC環境下所有的主機只有通過VPN,通過堡壘機才能登入,其他不規範的登入方式都被拒絕。
-
簡化安全組策略,在ECS數量等同的情況下,經典網路的主機有四個方向(公網出/入,內網出/入)的策略配置,而VPC環境下只有兩個方向(內網出/入)。同時我們通過上面的服務分類分組後,可以直接基於安全組之間進行策略開通,而不是基於主機之間來分配策略,這樣安全組策略條數就會明顯降低,管理更加簡單。
如下圖:
圖三
攻堅第二戰
雲上金融服務,如何實現高可用?
前面講到客戶在經典網路下很多應用服務都是執行在單可用區而且是單臺ECS上,這種架構存在單點故障,同時沒有容災機制,對於金融行業來講肯定是不符合規範的。為了解決這些架構問題,在金融雲上我們必須考慮高可用與容災機制,來提升服務的穩定性和可用性。
如下圖:
圖四
如上圖所示,我們在金融雲上將整個架構拆分成web服務層,APP服務層,資料服務層這樣一個三層架構模式,每層都支援線上橫向擴容,以便於應對後期業務的快速增長。為每種服務配置多臺ECS伺服器,將其分配到多可用區,這樣保證了服務的高可用性,同時也具備服務同城容災的機制;在資料庫層,RDS資料庫在金融雲環境下預設具備同城容災和高可用性,我們直接使用便可。通過上面的應用架構改造,徹底幫助客戶解決了原有經典網路下存在的一系列痛點。
攻堅第三戰
TB級海量資料,如何做到遷移0丟失?
-
經過前面的各種設計和規劃後,接下來我們該怎樣把公共雲的這些業務系統,資料搬到金融雲呢?
在阿里雲上應用遷移,有兩種方式,一種是使用映象的方式,即將現有的應用服務做一次映象,然後將該映象遷移到金融雲。另外一種是使用重建的方式,即在金融雲環境下重新部署應用環境便可。
根據客戶現有的情況不宜使用映象方式遷移,因為ECS數量多,映象容量太大,傳輸時間長;另外金融雲應用服務架構發生變化,需要對源映象進行很多修改。所以推薦使用重新部署會更方便快捷。
-
應用環境搭好了,客戶的5TB+應用資料該如何遷移到金融雲?
別擔心,自有神器助你!
使用者有5TB+的OSS資料也需要搬到金融雲,幸好,阿里雲提供了OSSimport神器來幫助我們,遷移流程如下:
圖五
-
如上圖所示,我們首先在金融雲VPC下購買一臺ECS(中轉伺服器)並關聯EIP,
-
在ECS上,安裝OSSimport工具,
-
在公共雲和金融雲上授權子賬號許可權,
-
在金融雲上建立好bucket,
-
在OSSimport的任務配置檔案中配置遷移的源和目標AK資訊,源和目標bucket地址和名稱,提交任務便可。
OSSimport工具會自動幫我們去核對源和目標資料是否一致(通過對比檔案的大小,時間等meta資訊和CRC校驗結果來判斷),將不一致的檔案或傳輸失敗的檔案都詳細的記錄在log中,便於我們檢視和重試。另外他還支援增量傳輸(通過Unix時間戳大小來設定),斷點傳輸等功能。
OSSimport 工具支援的遷移場景遠不只是阿里雲之間的遷移,它還支援將百度雲、騰訊雲、青雲、又拍雲、線下IDC等環境下的資料遷移到阿里雲OSS上。
-
藉助DTS,500GB的DB資料遷移不再難
我們怎樣將使用者環境下超過500GB的RDS資料,並且同時有MySQL,MongoDB等多種型別資料庫資料遷移到金融雲?像這種大資料量的遷移,資料是否會丟失,以及源和目標庫資料是否會不一致?資料遷移完成後我們又該怎樣去校驗?
功能強大的DTS法寶,幫我們解決了上述的諸多難題。它支援雲上跨地域,跨雲平臺等場景,在不停資料庫服務的情況下幫助使用者快速、方便的實現各種資料來源間的資料遷移工作。在遷移過程中DTS還會對資料進行一致性校驗來保證資料的完整性。
資料庫遷移流程如下圖:
圖六
上圖為資料庫的遷移流程,但如果是跨雲平臺的情況下,例如該使用者就是從公共雲到金融雲的場景,DTS任務配置的時候就需要注意 “源庫資訊” 的選擇,此處必須選擇 “有公網IP的自建資料庫” 否則遷移任務配置會失敗,
如下圖:
圖七
資料庫的遷移是一個很專業的活兒,既要有DTS法寶在手,也要有專業的DBA全程護航。這樣才能在遷移過程中有坑填坑,有雷排雷。本次客戶在做金融雲遷移的過程中,袋鼠雲DBA團隊,全程現場護航,幫助使用者解決各種資料庫疑難雜症,得到客戶的認可。“這場硬仗打得辛苦,但是贏得漂亮,袋鼠雲的同學通宵了一夜,真是辛苦了”。
三、啃下硬骨頭,金融雲上無限可能
到此為止,金融雲遷移的主要困難點(如何構建安全的網路環境,如何將應用資料,DB資料完整而無丟失的搬到雲上)就都解決了,至於其他的一些工作,例如,ECS、SLB、RDS、OSS、CDN、DNS等這些產品怎麼使用,都是比較容易的事情。
當然了,整個遷雲過程中還是有很多的坑存在,如果把它想的太簡單可能會碰壁。不過它也沒有大家想象的那樣複雜,袋鼠雲和客戶用生動真實的遷雲實踐案例證明,合理的規劃和專業的技術保障是金融雲平滑遷移的關鍵。
金融雲的成功遷移,讓該網際網路金融客戶能更好地保證自身使用者資訊保安、為使用者提供更穩定的服務體驗,同時,也為客戶在雲上做大資料、智慧應用的探索提供了基礎。
“指紋識別付款”、“刷臉支付”、“智慧反欺詐系統”、“智慧還款”…
得益於安全、便捷、低成本的雲上服務和大資料、人工智慧、區塊鏈等新技術的應用,越來越多金融機構實現了金融模式創新。
在這個過程中,袋鼠雲關注金融行業需求,期待和更多金融行業客戶一起基於雲端計算和大資料帶來的技術紅利,探索更多可能性。袋鼠雲相信,無論是企業,還是個人都能享受到技術變革給自身所帶來的實惠與便利。
袋鼠雲,開啟您的資料智慧時代
點選下載PDF檔案,收藏案例慢慢看
相關文章
- 網盤安全新姿勢!雲盒子企業網盤:用指紋解鎖資料
- 騰訊雲 雲資料庫遷移資料庫
- 解鎖企業管理新姿勢,FileMaker定製化AppAPP
- 雲資料庫管理與資料遷移資料庫
- 雲遷移的安全風險
- Oracle impdp遷移資料後主鍵丟失故障處理Oracle
- 守護更多女性健康,華為雲GeminiDB助力美柚資料庫高效穩定遷移資料庫
- 解鎖自定義分享功能新姿勢
- 解鎖!玩轉 HelloGitHub 的新姿勢Github
- 雲資料遷移(Cloud Data Migration,CDM)Cloud
- max_allowed_packet引起MySQL遷移丟失資料的問題MySql
- 華納雲:防止資料庫資料丟失的幾個方法資料庫
- 【北亞資料恢復】MongoDB資料遷移檔案丟失的MongoDB資料恢復案例資料恢復MongoDB
- 解鎖Android設計佈局的新姿勢Android
- 從技術角度看騰訊雲“資料丟失”事件!事件
- 已有的遊戲如何快速穩定遷移到雲上?遊戲
- 重磅!解鎖Apache Flink讀寫Apache Hudi新姿勢Apache
- 騰訊雲公佈“前沿數控”資料丟失細節
- 雲伺服器redis重啟資料丟失如何解決伺服器Redis
- 【伺服器資料恢復】ZFS伺服器遷移資料時資料丟失的資料恢復案例伺服器資料恢復
- 華為雲資料庫穩定可靠-即開即用資料庫
- 線上資料遷移,數字化時代的必修課 —— 京東雲資料遷移實踐
- 雲原生趨勢下的遷移與容災思考
- 【伺服器資料恢復】伺服器之間遷移資料時資料丟失的資料恢復案例伺服器資料恢復
- 雲資料庫安全解決方案資料庫
- 為資料安全護航,袋鼠雲在資料分類分級上的探索實踐
- 現場遷移資料、首個開源文件雲廠商,阿里雲真敢玩!阿里
- 21世紀了還愚公移山?資料庫這麼遷移更穩定!資料庫
- 摩杜雲遷移全週期解決方案:助力企業加速遷移
- ECS控制檯雲資源分組管理新姿勢—全域性標籤
- 自動化遷移七牛雲的資料到阿里雲OSS阿里
- 自動化遷移七牛雲的資料到阿里雲 OSS阿里
- 中國信通院雲大所與青藤雲安全達成戰略合作,護航金融雲穩健安全發展
- 摩杜雲資料庫MySQL,破解異構資料庫遷移難題資料庫MySql
- 【伺服器資料恢復】儲存伺服器之間遷移資料時資料丟失恢復成功案例伺服器資料恢復
- 從雲資料遷移服務看MySQL大表抽取模式MySql模式
- 解如何避免雲遷移故障及其預防方法
- 京東雲開發者|京東雲RDS資料遷移常見場景攻略
- 阿里雲國際版基於快照與映象功能遷移雲伺服器資料阿里伺服器