[toc]

# 一、 CouchBase概述

## 1.1、簡述

CouchBase是一款開源的、分散式的、面向文件的NoSQL資料庫，主要用於分散式快取和資料儲存領域。能夠透過manage cache提供快速的亞毫米級別的k-v儲存操作，並且提供快速的查詢和其功能強大的能夠指定SQL-like查詢的查詢引擎。Couchbase是一個較新的、發展迅速的nosql資料庫技術。2014年，viber宣佈使用couchbase替換mongodb，以適應10億級的使用者量，目前，couchbase已大量運用於生產環境，國內使用的公司主要有新浪，騰訊等。

Couchbase是Apache CouchDB和MemBase這兩個NoSQL資料庫的合併的產物，而memBase是基於Memcached的。因此CouchBase聯合了CouchDB的簡單可靠和Memcached的高效能，以及membase的可擴充套件性。

Apache CouchDB和CouchBase這兩個NoSQL資料庫，都是開源、免費的NoSQL文件型資料庫，都使用了JSON作為其文件格式。Apache CouchDB和CouchBase的相似性極高，但也有不少不同之處。基本上CouchBase結合了Apache CouchDB和MemBase兩種資料庫的功能特性而構建的。CouchDB的面向文件的資料模型、索引和查詢功能與MemBase分散式鍵值資料模型相結合、高效能、易於擴充套件、始終保持接通的能力，這就是CouchBase。

簡而言之， CouchBase = CouchDB + MemBase

但是，CouchBase並非CouchDB的新版本，相反，它實際上是MemBase的新版本。CouchBase Server實際上是MemBase Server的新名字。CouchBase並非CouchDB的替代，而是MemBase的替代版本。CouchBase仍然使用了Memcached協議，而沒有使用CouchDB的RESTful風格的API。同時，CouchDB仍然是CouchDB，是Apache旗下的專案，由Apache負責維護和演進。而且，CouchDB並非過時的CouchBase，CouchDB仍然是一個比較活躍的開源專案。而CouchBase是另一個完全獨立的專案。

## 1.2、CouchDB和CouchBase比對

### 1.2.1、CouchDB和CouchBase的相同之處

1）CouchDB和CouchBase兩者都是NoSQL文件資料庫，都使用了JSON作為其文件格式。 
2）CouchDB和CouchBase兩者都使用了相同的索引和查詢方法。 
3）CouchDB和CouchBase兩者都使用了相同的複製系統的方法，除了P2P複製。 
儘管CouchBase的開發結合了CouchDB和MemBase的功能特性，但是CouchDB和CouchBase還是有很多的不同之處，尤其是在叢集、快取、許可證等方面。

### 1.2.2、CouchDB和CouchBase的不同之處

1、叢集系統 
CouchBase內建了一個叢集系統，允許資料自動跨多種節點傳播。而CouchDB是一個單節點的解決方案，支援P2P複製技術，它更適合分散式的系統，以及適合不需要把資料傳播到多個節點的場景。

2、快取系統 
CouchBase與MemBase相似，它內建了一個基於Memcached的快取技術，始終如一地提供了亞毫秒級的讀寫效能，在每個節點上每秒可執行上百萬個操作。Apache CouchDB是一個基於磁碟的資料庫，通常它更適合超低延遲或吞吐量需求不高的場合。

3、許可證系統 
CouchBase不完全是開源、免費的軟體。它有兩個版本：社群版（免費、不包含最新的Bug修復）和企業版（使用有限制、需經過CouchBase公司的稽核，還有一些很多人覺得無法接受的其他條款限制）。 
CouchDB是一個開源、免費的軟體（沒有附帶任何條件），它基於Apache License 2.0許可證。

4、其它不同 
CouchBase不支援以下CouchDB的特性： 
1）RESTful API（只用於檢視，無CRUD操作） 
2）P2P複製 
3）支援CouchApps 
4）Futon（提供了不同的管理介面） 
5）文件ID 
6）資料庫的概念（這裡只有桶Bucket） 
7）在CouchDB資料庫和CouchBase Server之間做複製 
8）明確的附件（你必須儲存另外的檔案作為新鍵值對） 
9）CouchBase中的一切操作都使用了HTTP API，這與CouchDB不同（你需要使用CouchBase Server的SDK或其它實驗性的客戶端庫，無需curl和wget使用經驗） 
10）CouchDB API（CouchBase使用了Memcached的API來代替） 
11）在CouchBase中，不能透過瀏覽器完成所有工作，而在CouchDB中則可以（使用CouchBase必須寫伺服器端的應用。） 
12）使用CouchBase，開發兩層架構的Web應用是不可能的，而使用CouchDB則可以（使用CouchBase必須寫伺服器端的應用來適配瀏覽器和資料庫，就像關聯式資料庫那樣。）

## 1.3、CouchBase的社群版和企業版的區別

詳細部分請參考官網：https://www.couchbase.com/products/editions

內容較多，這裡不再列舉。

## 1.4、Couchbase名詞術語

![](https://gitee.com/lhrbest/pic/raw/master/img/20210318112123.png)

Bucket: 相當於關係型資料庫中的庫，儲存JSON文件。

vBucket: 相當於Key的子集，儲存的是key的值， CouchBase是JSON型資料庫，沒有表的概念。

## 1.5、Couchbase和RMDB對比

| Couchbase Server              | Relational databases | 備註 |
| :---------------------------- | :------------------: | :--: |
| Buckets                       |      Databases       |  -   |
| Documents                     |        Tables        |  -   |
| Items (key-value or document) |         Rows         |  -   |
| Index                         |        Index         |  -   |

1.6、資料同步協議
-----

### 1.6.1、DCP (Database Change Protocol)

DCP 協議是一個高效的二進位制協議，它主要用於叢集內的資料複製、索引複製、備份資料等等。主要概念有以下幾點：

1.  有序複製，基於每個vbucket存在一個順序序列號，同步時根據序列號進行更新；

2.  重啟恢復，當同步連線中斷後，重新連線後，會對沖突資料進行恢復；

3.  一致性，使用快照資料同步資料統一性；

4.  記憶體間複製。

### 1.6.2、XDCR (Cross Data Center Replication)

XDCR提供了多個有效vbucket的資料的複製，主要用於跨資料中心的多叢集間的複製，可以跨版本複製。主要概念有以下幾點：

1.  基於bucket複製，兩個叢集的同一個bucket可以實現單向或者雙向複製；

2.  透過DCP協議保持持續性複製，一個XDCR連線中包括多個DCP資料流。這些流可以根據不同的分割槽對目的叢集進行同步複製；

3.  支援多種叢集拓撲復制。叢集間可以透過單向，雙向複製。多個叢集可以實現1對1,1對多,多對1等的叢集複製拓撲圖；

4.  安全複製。資料中心見傳輸資料可以使用SSL進行加密；

5.  最終一致性和解決資料衝突的能力。當出現衝突資料，會使用後設資料的序列值，CAS值，文件標籤和過期時間限制對資料進行衝突解決。

二、複製
==

為了保證分散式儲存系統的高可靠和高可用，資料在系統中一般儲存多個副本。當某個副本所在的儲存節點出現故障時，分散式儲存系統能夠自動將服務切換到其它的副本，從而實現自動容錯。

2.1、複製的概述
-----

分散式儲存系統中資料儲存多個副本，一般來說，其中一個副本為主副本，其它副本為備副本，常見的做法是資料寫入到主副本，由主副本確定操作的順序並複製到其它副本。以下是兩種複製型別：

*   **強同步複製**：複製協議要求主備同步成功才可以返回客戶端寫成功，這種協議稱為強同步協議。強同步協議提供了強一致性，但是，如果備副本出現問題將阻塞寫操作，系統可用性較差。
    
*   **非同步複製**：在非同步複製下，主副本不需要等待備副本的回應，只需要本地修改成功就可以告知客戶端寫操作成功。非同步複製的好處在於系統可用性較好，但是一致性較差，如果主副本發生不可恢復故障，可能丟失最後一部分更新操作。

2.2、Couchbase 中的複製
--------------

### 2.2.1、叢集內複製（單叢集內複製）

叢集內複製主要針對同一個叢集中多個節點的資料進行多份複製備份，並且複製的份數會分佈到不同的節點中。在資料分佈中我們知道每個節點都會儲存有效的 vbucket和複製的vbucket。如下圖展示，當應用對資料進行寫操作，此操作會先到叢集節點中所對應有效的vbucket的資料進行寫操作，並 且有效的vbucket節點會根據DCP協議傳輸寫操作的變更傳輸到複製的vbucket所對應的節點，對複製的vbucket進行變更。可複製的 vbucket的份數，可以在操作bucket的時候進行配置，備份數量為1-3份。

![](https://gitee.com/lhrbest/pic/raw/master/img/20210317091051.webp)

**Couchbase 群集所有點都是對等的，只是在建立群或者加入叢集時需要指定一個主節點，一旦結點成功加入叢集，所有的結點對等。**

![](https://gitee.com/lhrbest/pic/raw/master/img/20210318144639.png)

對等網的優點是，叢集中的任何節點失效，叢集對外提供服務完全不會中斷，只是叢集的容量受影響。

由於 couchbase 是對等網叢集，所有的節點都可以同時對客戶端提供服務，

vBucket 概念的引入，是 couchbase 實現 auto sharding，線上動態增減節點的重要基礎。

簡單的解釋 vBucket 可以從靜態分片開始說起，靜態分片的做法一般是用 key 算出一個 hash，得到對應的伺服器，這個演算法很簡單。

叢集內複製在Couchbase中可以由應用在寫資料的時候選擇一致性與可用性之間的權衡，Couchbase提供了以下幾種模式的複製：

1.  記憶體級的儲存。此種模式是當應用寫資料時，當資料已經儲存到記憶體中後，就會返回正確回覆給應用，同步其它節點和持久化儲存都是由非同步處理。此種模式速度最快，相對的容錯性也是最差。
    
2.  記憶體+持久化級的儲存。此種模式是當應用寫資料時，只有資料儲存在記憶體和硬碟中後，才會返回正確回覆給應用，同步其它節點是非同步處理方式。此種模式，如果單節點出現問題，資料可能出現不一致性。
    
3.  記憶體+備份節點級的儲存。此種模式是當應用寫資料時，只有資料儲存同步到其它節點的記憶體中時，才會返回正確回覆給應用，持久話處理都是非同步處理，應用是可以選擇出同步資料的節點數量。此種模式保證了資料一定備份和容災，但是也有一定可能資料沒有持久話會丟失。
    
4.  記憶體+持久化+備份節點的儲存。此種模式是當應用寫資料時，資料儲存必須滿足所需要的節點中記憶體複製和持久化都完成後，才可以返回正確給應用。這種模式保證即使有效vbucket節點機器出現無法恢復的故障。

> 注：在程式流程中，第2,3,4種儲存方式持久化數量節點和備份節點的數量是由客戶端進行設定和進行檢測的。第1種儲存方式客戶端是直接進行操作並且沒有檢測過程的。

在對於讀的一致性的權衡，Couchbase 也提供了以下兩種形式：

1.  讀取時，獲取一致性的的資料。此種方式是當資料更新後所有的應用讀到資料都是一樣的。主要原理是讀和寫都是操作有效vbucket。
    
2.  讀取時，可以獲取不一致性的資料。此種方式適合對於對資料一致性不是很重要，對可用性比較注重的場景。主要原理是讀的時候，有效vbucket不可用時，資料會從備份vbucket中獲取資料。

### 2.2.2、跨資料中心複製（多叢集間複製）--XDCR

跨資料中心複製主要是針對多個叢集間的資料複製，此種複製主要以非同步的方式透過XDCR協議同步資料到其它叢集中備份，從而實現單叢集或機房出現問題級的容災。跨資料中心複製是以bucket為單位進行復制的，在管理員操作介面可以透過配置XDCR來進行此種複製方式，下圖為跨資料中心複製示例圖：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210317090726.webp)

# 三、叢集docker安裝

安裝的系統要求：https://docs.couchbase.com/server/current/install/install-platforms.html

普通安裝：https://docs.couchbase.com/server/current/install/install-intro.html

docker安裝使用：https://docs.couchbase.com/server/current/install/getting-started-docker.html

本次叢集搭建的架構如下所示：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322121342.png)

分2個資料中心，資料中心1使用4.1版本，資料中心2使用6.6版本，此處使用docker來搭建環境，否則至少得準備6臺虛擬機器環境，由此可見docker的確很棒！

相關命令如下所示：

```sql
https://hub.docker.com/_/couchbase/

-- 建立相關容器環境
docker pull couchbase:community-4.1.0
docker rm -f lhrcouchbase4180 lhrcouchbase4181 lhrcouchbase4182
docker run -d --name lhrcouchbase4180 -h lhrcouchbase4180 --net=mysql-network --ip 172.72.0.80 \
      -p  8091-8094:8091-8094 -p 11210:11210 \
      -e TZ=Asia/Shanghai couchbase:community-4.1.0
docker run -d --name lhrcouchbase4181 -h lhrcouchbase4181 --net=mysql-network --ip 172.72.0.81 \
     -p 8191-8194:8091-8094 -p 11281:11210 \
     -e TZ=Asia/Shanghai couchbase:community-4.1.0
docker run -d --name lhrcouchbase4182 -h lhrcouchbase4182 --net=mysql-network --ip 172.72.0.82 \
     -p 8291-8294:8091-8094 -p 11282:11210 \
     -e TZ=Asia/Shanghai couchbase:community-4.1.0

docker pull couchbase:community-6.6.0
docker rm -f lhrcouchbase6685 lhrcouchbase6686 lhrcouchbase6687
docker run -d --name lhrcouchbase6685 -h lhrcouchbase6685 --net=mysql-network --ip 172.72.0.85 \
      -p 8591-8596:8091-8096 -p 11284-11285:11210-11211 \
      -e TZ=Asia/Shanghai couchbase:community-6.6.0
docker run -d --name lhrcouchbase6686 -h lhrcouchbase6686 --net=mysql-network --ip 172.72.0.86 \
      -p 8691-8696:8091-8096 -p 11286-11287:11210-11211 \
      -e TZ=Asia/Shanghai couchbase:community-6.6.0
docker run -d --name lhrcouchbase6687 -h lhrcouchbase6687 --net=mysql-network --ip 172.72.0.87 \
      -p 8791-8796:8091-8096 -p 11288-11289:11210-11211 \
      -e TZ=Asia/Shanghai couchbase:community-6.6.0

-- 訪問web介面
http://192.168.66.35:8591/
```

## 3.1、初始化首節點

https://docs.couchbase.com/server/current/manage/manage-nodes/initialize-node.html

首次執行Couchbase Server時，需要您對其進行初始化。初始化有以下幾種方法：

* Couchbase的web控制檯 (Couchbase Web Console)

* Couchbase的命令列 (Couchbase Command Line Interface)

* Couchbase的API介面(Couchbase REST API)

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322112557.png)
我們這裡是建立新的叢集，點選“Setup New Cluster” 
![](https://gitee.com/lhrbest/pic/raw/master/img/20210318104820.png) 
輸入叢集名字和Admin的使用者名稱和密碼 ，使用者名稱最小為6位。
![](https://gitee.com/lhrbest/pic/raw/master/img/20210318104827.png) 
接受條款，點選繼續 
![](https://gitee.com/lhrbest/pic/raw/master/img/20210318104849.jpeg)

各個選項的含義依次為：

1. 主機名或者ip地址，兩者都支援，強烈建議使用主機名，後續維護會比較方便
2. bucket落地disk的資料目錄，注意這裡不支援類似於elk的多path路徑掛載，所以如果需要多快盤分擔io的話: 
   a. lvm 
   b. 硬體raid 
   c. 軟鏈（每個bucket一個目錄，軟鏈到其他的disk上去）
3. 參考2
4. 相關服務的記憶體限額，需要考慮給系統留一些記憶體（10-20%），注意這裡一旦設定了限額，那麼後續所有的後面加入的節點都會是這個配額了。
5. 儲存引擎設定
6. web啟用更新提示

## 3.2、將其他節點加入叢集

還是上面節點，建立完叢集后介面如下 
![](https://gitee.com/lhrbest/pic/raw/master/img/20210318105001.png) 
點選左邊欄的Servers按鈕，可以檢視到目前只有一臺機器 
![image-20210322120528694](https://gitee.com/lhrbest/pic/raw/master/img/20210322120528.png)

點選右上欄的“ADD SERVER”按鈕，給叢集新增其他的SERVER 
![img](https://gitee.com/lhrbest/pic/raw/master/img/20210318105032.jpeg)

![img](https://gitee.com/lhrbest/pic/raw/master/img/20210318105029.png) 
具體的說明如下： 
1.要新增機器的hostname或者ip地址，這裡填172.72.0.86
2,3.不用填寫，因為對端的機器是新建立的 
4.選擇新加入的這臺機器上執行什麼服務。注意只能選擇服務的種類，沒有辦法選擇每種服務的記憶體限額。 
新增完畢後，進入到Servers介面 
![image-20210322113040012](https://gitee.com/lhrbest/pic/raw/master/img/20210322113201.png)

已經可以檢視到新加入的節點了，因為新節點還沒有均衡資料，所以還是黃色的，點選右上角的rebalance按鈕，進行vbucket的重新負載均衡 
負載均衡完畢後，可以看到兩個節點都是綠色顯示的了 
![image-20210322113108438](https://gitee.com/lhrbest/pic/raw/master/img/20210322113201.png)

如此，將172.72.0.87也加入到叢集中去，最終ui顯示如下，說明所有的節點都正常了 
![](https://gitee.com/lhrbest/pic/raw/master/img/20210322113151.png)

同理，初始化4.1版本的叢集。

## 3.3、建立一個bucket

切換到Buckets介面，點選“ADD BUCKET”按鈕 
![img](https://gitee.com/lhrbest/pic/raw/master/img/20210318105129.png) 
彈出Bucket新增按鈕 
![](https://gitee.com/lhrbest/pic/raw/master/img/20210318105134.png) 
詳細的專案解釋如下：

1. bucket名字

2. 記憶體限額，最小100M起，注意這裡是每個節點都分配100M，總共三個節點，那麼這個bucket的總大小為300M

3. bucket的型別，有三種，memcached可以理解為就是memcached，是基於記憶體的，沒有持久化，不會落地硬碟，也沒有複製同步等高階功能。ephemeral則是couchbase自己的memcached，也是基於記憶體的，不會落地硬碟，沒有持久化，但是有複製和同步的高階功能。Couchbase則是最主打，最高階的型別了，基於記憶體，但是資料可以持久化到硬碟，不會撐爆記憶體，並且有複製同步等高階功能。可以說couchbase型別的bucket才是couchbase的核心。

4. 備份的數目，預設為1個備份

5. 是否複製view索引，預設只複製資料，不會複製索引。所以需要的話，需要額外勾選

6. 衝突解決方案，說白了就是複製了，然後多個節點同時修改某個資料，是有個可能發生2邊都修改了。這樣叢集內部存在2份同個key的資料，具體以哪個為準呢，衝突解決方案就是決定以哪個為準的策略

7. 彈出策略：也就是說如果記憶體中的資料過多的話，採用何種方式進行資料彈出，是全部都彈出，還是隻彈出vlue，記憶體中依然保留著key

8. 建立的這個bucket的硬碟io優先順序，也就是說會有多個bucket時，這個bucket的硬碟io優先順序

9. 是否覆蓋自動壓縮設定

10. 預設刪除item的時候不會立即刪除，開啟了這個引數，會盡可能快的刪除。 
    
    多新增幾個Buckes，如下：
    
    ![](https://gitee.com/lhrbest/pic/raw/master/img/20210322120441.png)

## 3.4、XDCR跨叢集複製

XDCR提供了多個有效vbucket的資料的複製，主要用於跨資料中心的多叢集間的複製，可以跨版本複製。

我們這裡配置從版本4.1到版本6.6的XDCR複製。

> 注意：
>
> **若要配置4.1到6.6版本的複製，那麼必須在4.1版本上做配置。資料才能從4.1版本流向6.6版本。**

第1步，在4.1上建立名為lhrdb41的buckets桶，在6.6上建立名為lhrdb66的buckets桶。

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322141622.png)

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322141645.png)

第2步，在4.1版本上建立叢集引用和複製：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322141808.png)

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322141921.png)

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322142012.png)

到此，XDCR配置完成。

接下來，在41版本上，插入一條資料，查詢66版本上是否同步：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322142209.png)

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322142234.png)

可以看到，6.6版本上也同步過去了。

#  四、常見命令

## 4.1、連線

可以在windows平臺安裝CouchBase，然後使用cbq連線到CouchBase資料庫。

https://docs.couchbase.com/server/current/tools/cbq-shell.html

**N1QL**：https://www.dazhuanlan.com/2020/03/20/5e74609b54b49/

https://query-tutorial.couchbase.com/tutorial/#1

N1QL（發音是“妮叩”）是一門將SQL引入檔案資料庫的查詢語言。講得技術一點，JSON是不符合第一正規化的資料模型，而N1QL則對這一資料模型進行操作。N1QL將傳統SQL對錶和行的操作擴充至JSON （巢狀檔案）。

N1QL實際上可以理解成NOSQL+JSON，一種語法類似於SQL的語言。可以在couchbase上執行，主要考慮是方便熟悉關係型資料庫的開發人員快速上手。與SQL類似，N1QL也分為DDL與DML語句，不同的是DDL語句是create indexes，modify indexes，drop indexes，這裡index與關係型資料庫中的表的概念有點像，也是必須建立對應的index才能進行增刪改查。

將SQL引入JSON有點像汽車油改電，雖然引擎換了但駕駛員的操作方式保持不變。現在開發人員既可以使用熟悉的SQL來操作又可以動態擴充套件應用的schema。

```sql
root@d4155ca1e245:~# cbq --help
Usage of cbq:
  -engine="http://localhost:8093/": URL to the query service(cbq-engine). By default, cbq connects to: http://localhost:8093

Examples:
         cbq 
                 Connects to local query node. Same as: cbq -engine=http://localhost:8093
         cbq -engine=http://172.23.107.18:8093 
                 Connects to query node at 172.23.107.18 Port 8093 
         cbq -engine=https://my.secure.node.com:8093 
                 Connects to query node at my.secure.node.com:8093 using secure https protocol.

-quiet=false: Enable/Disable startup connection message for the shell 
                 Default : false 
                 Possible Values : true/false
     
     
-- 遠端連線
cbq -e http://192.168.66.35:8093 -u Administrator -p lhr123

cbq> create primary index on `beer-sample`;
cbq> select * from `beer-sample` limit 1;
cbq> SELECT 'Hello World' AS Greeting;
cbq> \EXIT;

```

>  注：在查詢的時候，這種非大寫的bucket，一定要使用反引號引起來。

```sql
C:\Users\lhrxxt>cbq -e http://192.168.66.35:8093 -u Administrator -p lhr123
 Connected to : http://192.168.66.35:8093/. Type Ctrl-D or \QUIT to exit.

Path to history file for the shell : C:\Users\lhrxxt\.cbq_history
cbq> select * from `lhrdb41`;
{
    "requestID": "7b2a01e7-f265-4a45-8726-ee2b05b77602",
    "errors": [
        {
            "code": 4000,
            "msg": "No primary index on keyspace lhrdb41. Use CREATE PRIMARY INDEX to create one."
        }
    ],
    "status": "fatal",
    "metrics": {
        "elapsedTime": "2.272368223s",
        "executionTime": "2.272268823s",
        "resultCount": 0,
        "resultSize": 0,
        "errorCount": 1
    }
}
cbq> create primary index on `lhrdb41`;
{
    "requestID": "b78c5f50-5b4c-480a-bde1-0124dd6513bd",
    "signature": null,
    "results": [
    ],
    "status": "success",
    "metrics": {
        "elapsedTime": "7.859142423s",
        "executionTime": "7.859013758s",
        "resultCount": 0,
        "resultSize": 0
    }
}
cbq> select * from `lhrdb41`;
{
    "requestID": "812490a8-5b78-418a-95d2-5696f5c015b8",
    "signature": {
        "*": "*"
    },
    "results": [
        {
            "lhrdb41": {
                "66": "xxt",
                "new in 2.0": "there are no reserved field names"
            }
        }
    ],
    "status": "success",
    "metrics": {
        "elapsedTime": "148.363934ms",
        "executionTime": "148.255245ms",
        "resultCount": 1,
        "resultSize": 145
    }
}
cbq>  SELECT 'Hello World' AS Greeting;
{
    "requestID": "5e8a4def-89c4-4105-9838-2d687ce463be",
    "signature": {
        "Greeting": "string"
    },
    "results": [
        {
            "Greeting": "Hello World"
        }
    ],
    "status": "success",
    "metrics": {
        "elapsedTime": "1.388056ms",
        "executionTime": "1.228273ms",
        "resultCount": 1,
        "resultSize": 49
    }
}
cbq>

```

##  4.2、couchbase-cli

```sql
root@336bb04f0d87:/# couchbase-cli server-list -c 172.72.0.80:8091 -u Administrator -p lhr123
ns_1@172.72.0.80 172.72.0.80:8091 healthy active
ns_1@172.72.0.81 172.72.0.81:8091 healthy active
ns_1@172.72.0.82 172.72.0.82:8091 healthy active

C:\Users\lhrxxt>couchbase-cli bucket-list -c 192.168.66.35:8091 -u Administrator -p lhr123
beer-sample
 bucketType: membase
 numReplicas: 1
 ramQuota: 314572800
 ramUsed: 91817216
default
 bucketType: membase
 numReplicas: 1
 ramQuota: 1258291200
 ramUsed: 81784944
lhr
 bucketType: membase
 numReplicas: 1
 ramQuota: 4869586944
 ramUsed: 81445144
```

## 4.3、客戶端連線叢集

在Couchbase的叢集架構中，沒有中心節點和Router的概念，這些工作是由Smartclient完成的，在客戶端與couchbase server互動時，Couchbase叢集是作為一個黑匣子存在的。客戶端負責客戶程式與群集裡獨立節點的通訊，首次連線的那個節點並不會充當代理或者風發的角色。Smartclient或Moxi（couchbase server端的proxy元件）會載入vBucket對映表，並決定連線到叢集裡的哪個節點去獲取和儲存資料。如果叢集的拓撲圖改變了（比如執行rebalance或者failover操作），客戶端庫會自動處理任何會話錯誤。可以這樣理解，叢集的配置和結構，對應用程式是透明的，你無需去關注。

什麼是Buckets，Buckets是獨立的虛擬的資料容器，一個bucket就是couchbase伺服器叢集中的一個邏輯組，可以被叢集中的多個客戶端應用使用。它提供安全的機制來組織、管理、分析資料儲存資源。

什麼是vBuckets，一個vBucket定義為couchbase叢集裡key空間的一個子集的擁有者。透過使用vBuckets，資訊在叢集裡分發更有效。vBucket系統被用於分散式資料，以及支援多節點間的資料複製。

在Couchbase中bucket有兩種型別，一種是couchbase型別，另一種是memcache型別，Couchbase型別bucket支援資料的持久化，因為它的資料是儲存在磁碟上，把活躍的資料讀取到記憶體中供客戶端使用（後續的備份和Failover也僅是針對著用型別的bucket），而memcache型別的bucket是記憶體級別的，所有的資料均儲存在記憶體中。現在我們開始切入主題，我們老的couchbase伺服器，使用了這兩種型別的bucket，我們使用couchbase型別的bucket儲存的是持久化的資料，供我們的客戶端呼叫，這部分資料相當重要且不能丟失。

https://blog.couchbase.com/rebalancing-couchbase-part-i/

https://blog.couchbase.com/rebalancing-couchbase-part-ii/

# 五、CouchBase的備份和恢復

官網：https://docs.couchbase.com/server/current/backup-restore/backup-restore.html

https://docs.couchbase.com/server/current/cli/cbtools/cbbackup.html

https://docs.couchbase.com/server/current/cli/cbtools/cbrestore.html

## 5.1、cbback和cbrestore

該 cbbackup命令，可以在單個節點，單桶，或整個群集備份到一個靈活的備份架構，它可以將資料恢復到相同或不同的叢集和水桶。所有的備份可以實時叢集或節點上執行。該命令 cbbackup 是最靈活和推薦的備份工具，**是一款客戶端工具，備份的檔案位於客戶端上**。

###     5.1.1、cbback備份

命令列操作方式：cbbackup [options] [source] [backup-dir] -u [admin] -p [password]

例如：

```sql
cbbackup -m full -v http://172.72.0.80:8091 /bk -u Administrator -p lhr123
```

- -m full參數列明：執行全叢集節點備份操作，基於-m引數：full、diff及accu
- -v參數列明：執行過程中相關log的輸出

```sql
cbbackup -m full --single-node -t 3 http://172.72.0.80:8091 /bk -u Administrator -p lhr123
```

- --single-node 參數列明：執行單節點的備份操作

- -t 3參數列明：當前執行備份的執行緒個數為3

示例：

```sql
[root@docker35 bk]# cbbackup -m full -t 8 http://172.72.0.85:8091 /bk -u Administrator -p lhr123
  [####################] 100.0% (3/estimated 3 msgs)
bucket: XXT, msgs transferred...
       :                total |       last |    per sec
 byte  :                  112 |        112 |       48.8
2021-03-22 14:46:10,605: mt (0, None)
  [####################] 100.0% (3/estimated 3 msgs)
bucket: XXT2, msgs transferred...
       :                total |       last |    per sec
 byte  :                  224 |        224 |      159.8
2021-03-22 14:46:12,544: mt (0, None)
  [####################] 100.0% (7303/estimated 7303 msgs)
bucket: beer-sample, msgs transferred...
       :                total |       last |    per sec
 byte  :              2543148 |    2543148 |   743088.8
2021-03-22 14:46:16,848: mt (0, None)
  [####################] 100.0% (1/estimated 1 msgs)
bucket: lhrdb, msgs transferred...
       :                total |       last |    per sec
 byte  :              2543178 |    2543178 |  1616610.5
2021-03-22 14:46:19,100: mt (0, None)
  [####################] 100.0% (31570/estimated 31570 msgs)
bucket: lhrdb2, msgs transferred...
       :                total |       last |    per sec
 byte  :             33593916 |   33593916 |  5303973.5
2021-03-22 14:46:26,170: mt (0, None)
  [####################] 100.0% (5/estimated 5 msgs)
bucket: lhrdb66, msgs transferred...
       :                total |       last |    per sec
 byte  :             33593977 |   33593977 | 21310665.8
2021-03-22 14:46:28,796: mt (0, None)
  [####################] 100.0% (31569/estimated 31569 msgs)
bucket: travel-sample, msgs transferred...
       :                total |       last |    per sec
 byte  :             64644653 |   64644653 | 10702286.6
2021-03-22 14:46:35,688: mt (0, None)
done
[root@docker35 bk]# ll
total 0
drwxr-xr-x 3 root root 37 Mar 22 14:46 2021-03-22T064606Z
[root@docker35 bk]# ll 2021-03-22T064606Z/*
total 4
drwxr-xr-x 5 root root 158 Mar 22 14:46 bucket-beer-sample
drwxr-xr-x 3 root root  77 Mar 22 14:46 bucket-lhrdb
drwxr-xr-x 5 root root 139 Mar 22 14:46 bucket-lhrdb2
drwxr-xr-x 5 root root 139 Mar 22 14:46 bucket-lhrdb66
drwxr-xr-x 5 root root 158 Mar 22 14:46 bucket-travel-sample
drwxr-xr-x 5 root root 139 Mar 22 14:46 bucket-XXT
drwxr-xr-x 5 root root 139 Mar 22 14:46 bucket-XXT2
-rw-r--r-- 1 root root   2 Mar 22 14:46 fts_alias.json
```

注意，這裡的桶名都加上了bucket，真實的桶名為去掉bucket後的名稱，例如桶名為lhrdb，而不是bucket-lhrdb

###     5.1.2、cbrestore還原資料庫

命令操作方式：cbrestore [options] [backup-dir] [destination]

```sql
cbrestore -b lhr -B lhrdb  -t 8  /bk/ http://172.72.0.85:8091 -u Administrator -p lhr123
```

- -b 參數列明源buckets名稱，必須正確，即source_bucket
- -B 參數列明目標buckets名稱，需要提前建立，即destiant_bucket
- --from-date 參數列明從具體的某一日開始
- --to-date 參數列明截止到具體的某一日

> 注意：
>
> 1、還原的時候必須指定還原的桶名，即-b和-B都必須指定
>
> 2、還原之前，必須在目標端提前建立好要還原的Buckets名稱

**示例：**

首先刪除要還原的桶beer-sample，然後建立一個空的桶beer-sample：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322145832.png)

然後，進行還原：

```sql
[root@docker35 bk]# cbrestore -b beer-sample -B beer-sample  -t 8  /bk/ http://172.72.0.85:8091 -u Administrator -p lhr123
  [####################] 100.0% (7303/estimated 7303 msgs)
bucket: b'beer-sample', msgs transferred...
       :                total |       last |    per sec
 byte  :              2542924 |    2542924 |  2483121.5
done
```

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322145954.png)

資料已成功恢復。

## 5.2、增量備份

官網：https://docs.couchbase.com/server/current/backup-restore/incremental-backup.html

麥老師透過閱讀官網，可知，CouchBase也可以進行增量備份，增量備份可以分為差異增量備份（Differential incremental backup）、累積增量備份（Cumulative incremental backup）和組合增量備份型別（Combining incremental backup types）。差異增量備份僅包含自上次備份以來發生的資料庫更改。累積增量備份包含自**上次完全備份**以來發生的所有更改。

![](https://gitee.com/lhrbest/pic/raw/master/img/20210318185017.jpg)

在本例中，星期一備份包含自週日完全備份以來所做的更改，星期二備份包含自星期一備份以來所做的更改，星期三備份包含自星期二備份以來所做的更改，依此類推。例如，週三執行的還原操作使用週日的完整備份以及週一和週二的差異增量備份。

![](https://gitee.com/lhrbest/pic/raw/master/img/20210318185033.jpg)

在本例中，星期一備份包含自週日完全備份以來所做的所有更改，星期二備份包含自週日完全備份以來所做的所有更改，星期三備份包含自週日完全備份以來所做的所有更改，依此類推。例如，週三執行的還原操作使用週日的完整備份和週二的累計增量備份。

![backup-combined-incremental](https://gitee.com/lhrbest/pic/raw/master/img/20210318185216.jpg)

在本例中，備份計劃包括不同天的差異增量備份和累積增量備份。在星期一、星期二、星期三、星期五和星期六，將進行差異增量備份。週四，將進行累積增量備份。例如，週六執行的還原操作使用週日的完整備份、週四的累計增量備份和週五的差異增量備份。

示例：

XXT桶目前是4條資料，全量備份已做，接下來插入一條資料，讓XXT桶變為5條資料，然後進行增量備份：

```sql
[root@docker35 2021-03-22T064606Z]# cbbackup -m diff -b XXT -t 8 http://172.72.0.85:8091 /bk -u Administrator -p lhr123
  [####################] 100.0% (5/estimated 5 msgs)
bucket: XXT, msgs transferred...
       :                total |       last |    per sec
 byte  :                  256 |        256 |      100.8
2021-03-22 15:36:47,172: mt (0, None)
done
[root@docker35 2021-03-22T064606Z]# ll
total 0
drwxr-xr-x 9 root root 182 Mar 22 14:46 2021-03-22T064606Z-full
drwxr-xr-x 3 root root  46 Mar 22 15:36 2021-03-22T073643Z-diff
```

資料夾2021-03-22T073643Z-diff中就是增量備份的內容，接下來刪除XXT桶，然後再建立XXT空桶，最後進行還原：

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322154028.png)

```sql
[root@docker35 2021-03-22T064606Z-full]# cbrestore -b XXT -B XXT  -t 8  /bk/  http://172.72.0.85:8091 -u Administrator -p lhr123
  [####################] 100.0% (8/estimated 8 msgs)
bucket: b'XXT', msgs transferred...
       :                total |       last |    per sec
 byte  :                  368 |        368 |     4231.8
done
```

![](https://gitee.com/lhrbest/pic/raw/master/img/20210322160515.png)

有關其它內容的深入學習，本文不再演示，若有需要，請聯絡麥老師。

**About Me**

***
> ● 本文作者：小麥苗，部分內容整理自網路，若有侵權請聯絡小麥苗刪除
> ● 本文原始發表於個人微 信公眾號（[DB寶](https://mp.weixin.qq.com/s/36ahcv7o8u67NcxGSGO5WQ)）上
> ● QQ群號： 230161599 、618766405，微信群私聊 
> ● 個人QQ號（646634621），微 訊號（db_bao），註明新增緣由
> ● 版權所有，歡迎分享本文，轉載請保留出處

【DB寶46】NoSQL資料庫之CouchBase簡介、叢集搭建、XDCR同步及備份恢復

相關文章