【公測中】阿里雲釋出國內首個大資料雙活容災服務,滿足高要求大資料災備場景...

weixin_34185364發表於2018-08-13

在6月上旬舉行的雲棲大會上海峰會上,阿里雲釋出了國內首個大資料叢集雙活容災產品-混合雲容災服務下的混合雲大資料容災服務(HDR for

Big Data, 簡稱

HDR-BD),並已經在7月份開始邀測。HDR-BD採用業界領先的資料雙向實時複製技術,可以實現Hadoop叢集雙活和準0

RPO容災,為大資料災備制定了全新的標準。

常見Hadoop災備技術的挑戰

當前比較常見的Hadoop叢集災備方式是用distcp將資料定期複製到一個備用叢集做容災用途,或者將資料複製到只讀叢集、二級儲存作為多恢復點的備份。這些方案都有明顯弱點。

RPO和RTO是衡量災備方案的兩個重要指標,RPO-恢復點目標,決定了丟失多少資料,RTO-恢復時間目標,決定了業務中斷了多長時間。由於傳統的Hadoop叢集災備方式使用的是distcp來做容災,也就意味著資料複製不是實時的,因此使用者必須承受至少小時級到天級的RPO。並且主站當機後,將只讀叢集或二級儲存中的資料恢復出來會佔用大量時間,而拉起standby叢集重新啟動業務依然是一個耗時的操作。因此,傳統的Hadoop叢集災備方式在RPO和RTO方面都有較大挑戰。

除此之外,由於災備叢集平時處於備用狀態,不能用於執行業務,對於使用者來說也屬於資源浪費。

以上這些問題長期困擾著Hadoop叢集的使用者和管理員們,如何突破RPO和RTO瓶頸,大資料叢集的災備領域亟需一種全新的技術來徹底解決目前的困境。

HDR-

BD此次帶來的雙向實時複製技術可以在兩個Hadoop叢集之間建立雙活架構,RPO接近0;RTO因為資料隨時可讀寫而極大壓縮;雙活架構可以讓兩個叢集執行不同的應用,避免資源浪費。這些特性將Hadoop災備標準提高到了一個全新的高度,為Hadoop使用者帶來了極高的價值。

HDR-BD引入大資料雙向複製技術,滿足高要求的大資料災備場景

阿里雲此次推出的Hadoop雙活容災方案HDR-BD引入了業界領先的大資料雙向複製技術,結合強大的公共雲基礎設施,可以滿足極高要求的大資料災備場景,為企業Hadoop叢集資料保護提供了全新的選擇。

HDR-BD的優勢在於:

極低RPO:資料的實施複製決定了每一個寫操作都會實時複製到配對叢集,RPO幾乎為0

極高資源利用率:資料雙向複製確保兩個叢集共享一份資料但執行不同應用,不會出現一個叢集必須處於只讀會備用狀態的問題,計算資源可以充分利用

運維複雜度極低: HDR-BD實現了資料的全自動實時雙向複製,無需特定時間視窗,也無需擔心對業務的影響

在自建資料中心和阿里雲之間部署HDR-BD伺服器配對,使用者就可以將自建Hadoop叢集與阿里雲無縫整合,充分利用阿里雲EMR和OSS建立極為高效的Hadoop災備,遷移系統。HDR-BD可以滿足的核心場景包括

近0 RPO Hadoop雲容災

將自建Hadoop叢集的資料實時複製到阿里雲EMR叢集,實現接近0 RPO的Hadoop叢集容災。

Hadoop叢集與阿里雲EMR叢集雙活

在自建Hadoop叢集和阿里雲EMR叢集之間建立資料雙向複製。兩個叢集共享一份資料,但是執行不同的應用,實現叢集雙活,達到資源的最大化利用。

Hadoop資料實時備份,遷移上雲

雲上HDR-BD伺服器可以直連至阿里雲物件儲存OSS。在無需EMR叢集的情況下,HDR for Big Data可以將Hadoop資料實時複製到阿里雲OSS,實現接近0 RPO的雲備份;同時這個機制也可以作為Hadoop資料遷移上雲的理想方案。利用這個機制做Hadoop叢集遷移上雲,在遷移過程中無需啟動EMR叢集;同時遷移過程無需複雜定製化指令碼開發或者複雜的業務停機規劃。

相關文章