分散式儲存ceph 物件儲存配置zone同步

一、架構:  
Ceph天生帶兩地三中心概念，我們要去的雙活就是兩個資料中心，Ceph兩資料中心可以在一個叢集也可以在不同的叢集中。

   

二，概念：        

zone：包含多個RGW例項的一個邏輯概念。zone不能跨叢集。同一個zone的資料儲存在同一組pool中。    

zonegroup：一個zonegroup如果包含1個或多個zone。如果一個zonegroup包含多個zone，必須指定 一個zone作為master zone，用來處理bucket和使用者的建立。一個叢集可以建立多個zonegroup，一個zonegroup也可以跨多個叢集。      

realm：一個realm包含1個或多個zonegroup。如果realm包含多個zonegroup，必須指定一個zonegroup為master zonegroup， 用來處理系統操作。一個系統中可以包含多個realm，多個realm之間資源完全隔離。

RGW多活方式是在同一zonegroup的多個zone之間進行，即同一zonegroup中多個zone之間的資料是完全一致的，使用者可以透過任意zone讀寫同一份資料。 但是，對後設資料的操作，比如建立桶、建立使用者，仍然只能在master zone進行。對資料的操作，比如建立桶中的物件，訪問物件等，可以在任意zone中 處理。

三、在Cluster1叢集上配置master zone

1. 建立realm
   radosgw-admin realm create --rgw-realm=earth --default

2. 建立master zonegroup

   先刪除預設的zonegroup
   radosgw-admin zonegroup delete --rgw-zonegroup=default
   
   建立一個為china的zonegroup
   radosgw-admin zonegroup create --rgw-zonegroup=china --endpoints=ceph-1:7480 --master --default

3. 建立master zone

   先刪除預設的zone
   adosgw-admin zone delete --rgw-zone=default

   建立一個為huabei的zone
   radosgw-admin zone create --rgw-zonegroup=china --rgw-zone=huabei --endpoints=ceph-1:7480 --default --master

4. 建立一個system賬戶用於和huadong zone同步
   radosgw-admin user create --uid="sync-user" --display-name="sync user" --system
    
5. 用建立system賬戶產生的access 和secret更新zone配置
   radosgw-admin zone modify --rgw-zone=huabei --access-key={access-key} --secret={secret}

6. 更新period

   radosgw-admin period update --commit

7.  配置ceph.conf

   [client.rgw.ceph-1]

       host = ceph-1

       rgw frontends = "civetweb port=7480"

       rgw_zone=huabei

四、在Cluster2叢集上配置slave zone

1. 從master zone拉取realm

   radosgw-admin realm pull --url=ceph-2:7480 --access-key={access-key} --secret={secret}

   注意：這裡的access key 和secret是master zone上system 賬戶的access key和secret

2. 拉取period

   radosgw-admin period pull --url=ceph-2:7480 --access-key={access-key} --secret={secret}

   注意：這裡的access key 和secret是master zone上system 賬戶的access key和secret

3. 建立slave zone

    radosgw-admin zone create --rgw-zonegroup=china --rgw-zone=huadong \

                               --access-key={system-key} --secret={secret} \

                               --endpoints=ceph-2:7480

    注意：這裡的access key 和secret是master zone上system 賬戶的access key和secret

4. 更新period

   radosgw-admin period update --commit

   注意:如果出現認證錯誤，重啟master zone的例項服務

配置ceph.conf

       [client.rgw.ceph-2]

        host = ceph-2

        rgw frontends = "civetweb port=7480"

        rgw_zone=huadong

五、驗證zone之間資料同步

1. 在secondary zone節點執行
   radosgw-admin sync status 
2. 在master zone節點上建立使用者
   radosgw-admin user create --uid="testuser" --display-name="First User"
3. 用s3客戶端 建立桶，並put 物件

注意: 在slave zone節點上也要建立相同的使用者才會看到建立的桶，和上傳的物件。

作者：tqyin
原文連結：https://my.oschina.net/ytqvip/blog/1601669