資料庫平滑擴容方案剖析

緊張的羊肉串aa 發表於 2022-11-23
資料庫

1. 擴容方案剖析

1.1 擴容問題

在專案初期,我們部署了三個資料庫A、B、C,此時資料庫的規模可以滿足我們的業務需求。為了將資料做到平均分配,我們在Service服務層使用uid%3進行取模分片,從而將資料平均分配到三個資料庫中。

如圖所示:
file

後期隨著使用者量的增加,使用者產生的資料資訊被源源不斷的新增到資料庫中,最終達到資料庫的最佳儲存容量。如果此時繼續向資料庫中新增資料,會導致資料庫的CRUD等基本操作變慢,進而影響整個服務的響應速度。

這時,我們需要增加新的節點,對資料庫進行水平擴容,那麼加入新的資料庫D後,資料庫的規模由原來的3個變為4個。

如圖所示:

file

此時由於分片規則發生了變化(uid%3 變為uid%4),導致大部分的資料,無法命中原有的資料,需要重新進行分配,要做大量的資料遷移處理。

比如之前uid如果是uid=3取模3%3=0, 是分配在A庫上,新加入D庫後, uid=3取模3%4=3,分配在D庫上;

file

新增一個節點, 大概會有90%的資料需要遷移, 這樣會面臨大量的資料壓力,並且對服務造成極大的不穩定性。

1.2 停機方案

file

  1. 釋出公告

    為了進行資料的重新拆分,在停止服務之前,我們需要提前通知使用者,比如:我們的服務會在yyyy-MM-dd進行升級,給您帶來的不便敬請諒解。

  2. 停止服務

    關閉Service

  3. 離線資料遷移(拆分,重新分配資料)

    將舊庫中的資料按照Service層的演算法,將資料拆分,重新分配資料

  4. 資料校驗

    開發定製一個程式對舊庫和新庫中的資料進行校驗,比對

  5. 更改配置

    修改Service層的配置演算法,也就是將原來的uid%3變為uid%4

  6. 恢復服務

    重啟Service服務

  7. 回滾預案

    針對上述的每個步驟都要有資料回滾預案,一旦某個環節(如:資料遷移,恢復服務等)執行失敗,立刻進行回滾,重新再來

停止服務之後, 能夠保證遷移工作的正常進行, 但是服務停止,傷害使用者體驗, 並造成了時間壓力, 必須在指定的時間內完成遷移。

1.3 停寫方案

file

  1. 支援讀寫分離

    資料庫支援讀寫分離,在擴容之前,每個資料庫都提供了讀寫功能,資料重新分配的過程中,將每個資料庫設定為只讀狀態,關閉寫的功能

  2. 升級公告

    為了進行資料的重新拆分,在停寫之前,我們需要提前通知使用者,比如:我們的服務會在yyyy-MM-dd進行升級,給您帶來的不便敬請諒解。

  3. 中斷寫操作,隔離寫資料來源(或攔截返回統一提示)

    在Service層對所有的寫請求進行攔截,統一返回提示資訊,如:服務正在升級中,只對外提供讀服務

  4. 資料同步處理

    將舊庫中的資料按照Service層的演算法,將資料重新分配,遷移(複製資料)

  5. 資料校驗

    開發定製一個程式對舊庫中的資料進行備份,使用備份的資料和重新分配後的資料進行校驗,比對

  6. 更改配置

    透過配置中心,修改Service層的配置演算法,也就是將原來的uid%3變為uid%4,這個過程不需要重啟服務

  7. 恢復寫操作

    設定資料庫恢復讀寫功能,去除Service層的攔截提示

  8. 資料清理

    使用delete語句對冗餘資料進行刪除

  9. 回滾預案

    針對上述的每個步驟都要有資料回滾預案,一旦某個環節(如:資料遷移等)執行失敗,立刻進行回滾,重新再來

缺點:在資料的複製過程需要消耗大量的時間,停寫時間太長,資料需要先複製,再清理冗餘資料

1.4 日誌方案

核心是透過日誌進行資料庫的同步遷移, 主要操作步驟如下:

  1. 資料遷移之前, 業務應用訪問舊的資料庫節點。

    file

  2. 日誌記錄

    在升級之前, 記錄“對舊資料庫上的資料修改”的日誌(這裡修改包括增、刪、改),這個日誌不需要記錄詳細的資料資訊,主要記錄:

    (1)修改的庫;

    (2)修改的表;

    (3)修改的唯一主鍵;

    (4)修改操作型別。

file

日誌記錄不用關注新增了哪些資訊,修改的資料格式,只需要記錄以上資料資訊,這樣日誌格式是固定的, 這樣能保證方案的通用性。

服務升級日誌記錄功能風險較小:

寫和修改介面是少數, 改動點少;

升級只是增加了一些日誌,採用非同步方式實現, 對業務功能沒有太多影響。

  1. 資料遷移:

    研發定製資料遷移工具, 作用是把舊庫中的資料遷移至新庫中。

    file

    整個過程仍然採用舊庫進行對外服務。

    資料同步工具實現複雜度不高。

    只對舊庫進行讀取操作, 如果同步出現問題, 都可以對新庫進行回滾操作。

    可以限速或分批遷移執行, 不會有時間壓力。

    資料遷移完成之後, 並不能切換至新庫提供服務。

    因為舊庫依然對線上提供服務, 庫中的資料隨時會發生變化, 但這些變化的資料並沒有同步到新庫中, 舊庫和新庫資料不一致, 所以不能直接進行切換, 需要將資料同步完整。

  2. 日誌增量遷移

file

研發一個日誌遷移工具,把上面遷移資料過程中的差異資料追平,處理步驟:

讀取log日誌,獲取具體是哪個庫、表和主鍵發生了變化修改;

把舊庫中的主鍵記錄讀取出來

根據主鍵ID,把新庫中的記錄替換掉

這樣可以最大程度的保障資料的一致性。風險分析:

整個過程, 仍然是舊庫對線上提供服務;

日誌遷移工具實現的複雜度較低;

任何時間發現問題, 可以重新再來,有充分的容錯空間;

可以限速重放處理日誌, 處理過程不會因為對線上影響造成時間壓力。

但是, 日誌增量同步完成之後, 還不能切換到新的資料庫。

因為日誌增量同步過程中,舊庫中可能有資料發生變化, 導致資料不一致,所以需要進一步讀取日誌, 追平資料記錄; 日誌增量同步過程隨時可能會產生新的資料, 新庫與舊庫的資料追平也會是一個無限逼近的過程。

  1. 資料校驗

    準備好資料校驗工具,將舊庫和新庫中的資料進行比對,直到資料完全一致。

file

  1. 切換新庫

    資料比對完成之後, 將流量轉移切換至新庫, 至此新庫提供服務, 完成遷移。

file

但是在極限情況下, 即便透過上面的資料校驗處理, 也有可能出現99.99%資料一致, 不能保障完全一致,這個時候可以在舊庫做一個readonly只讀功能, 或者將流量遮蔽降級,等待日誌增量同步工具完全追平後, 再進行新庫的切換。

至此,完成日誌方案的遷移擴容處理, 整個過程能夠持續對線上提供服務, 只會短暫的影響服務的可用性。

這種方案的弊端,是操作繁瑣,需要適配多個同步處理工具,成本較高, 需要制定個性化業務的同步處理, 不具備普遍性,耗費的時間週期也較長。

1.5 雙寫方案(中小型資料)

file

雙寫方案可透過canal或mq做實現。

  1. 增加新庫,按照現有節點, 增加對應的數量。
  2. 資料遷移:避免增量影響, 先斷開主從,再匯入(耗時較長), 同步完成並做校驗
  3. 增量同步:開啟Canal同步服務, 監聽從節點資料庫, 再開啟主從同步,從節點收到資料後會透過Canal服務, 傳遞至新的DB節點。
  4. 切換新庫:透過Nginx,切換訪問流量至新的服務。
  5. 修復切換異常資料:在切換過程中, 如果出現,Canal未同步,但已切換至新庫的請求(比如下單,修改了資金, 但還未同步 ), 可以透過定製程式, 讀取檢測異常日誌,做自動修復或人工處理。

    針對此種情況, 最好是在凌晨使用者量小的時候, 或專門停止外網訪問,進行切換,減少異常資料的產生。

  6. 資料校驗:為保障資料的完全一致, 有必要對資料的數量完整性做校驗。

1.6 平滑2N方案(大資料量)

  1. 線上資料庫,為了保障其高可用,一般每臺主庫會配置一臺從庫,主庫負責讀寫,從庫負責讀取。下圖所示,A,B是主庫,A0和B0是從庫。

file

  1. 當需要擴容的時候,我們把A0和B0升級為新的主庫節點,如此由2個分庫變為4個分庫。同時在上層的分片配置,做好對映,規則如下:

    把uid%4=0和uid%4=2的資料分別分配到A和A0主庫中

    把uid%4=1和uid%4=3的資料分配到B和B0主庫中

file

  1. 因為A和A0庫的資料相同,B和B0資料相同,此時無需做資料遷移。只需調整變更一下分片配置即可,透過配置中心更新,不需要重啟。

file

由於之前uid%2的資料是分配在2個庫裡面,擴容之後需要分佈到4個庫中,但由於舊資料仍存在(uid%4=0的節點,還有一半uid%4=2的資料),所以需要對冗餘資料做一次清理。

這個清理,並不會影響線上資料的一致性,可以隨時隨地進行。

  1. 處理完成之後,為保證資料的高可用,以及將來下一步的擴容需求。

    可以為現有的主庫再次分配一個從庫。

file

2. 平滑2N擴容方案實踐

2.1 實現應用服務級別的動態擴容

擴容前部署架構:

file

2.1.1 MariaDB服務安裝

  1. 切換阿里雲映象服務(YUM安裝過慢可以切換)

    yum -y install wget
    ## 備份CentOS-Base.repo
    mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
    
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    
    wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
    
    yum clean all
    
    yum makecache
  2. 配置YUM源

    vi /etc/yum.repos.d/mariadb-10.2.repo 

    增加以下內容:

    [mariadb]
    name = MariaDB
    baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64
    gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
    gpgcheck=1
  3. 執行安裝

    yum -y install mariadb mariadb-server MariaDB-client  MariaDB-common
  4. 如果之前已經安裝, 需要先刪除(如果之前沒有安裝, 可以忽略此步驟)

    • 停止Mariadb服務

      [[email protected] yum.repos.d]# ps -ef | grep mysql
      root       1954      1  0 Oct04 ?        00:05:43 /usr/sbin/mysqld --wsrep-new-cluster --user=root
      root      89521  81403  0 07:40 pts/0    00:00:00 grep --color=auto mysql
      [[email protected] yum.repos.d]# kill 1954
    • 解除安裝Mariadb服務

      yum -y remove Maria*
    • 刪除資料與配置:

      rm -rf /var/lib/mysql/*
      rm -rf /etc/my.cnf.d/
      rm -rf /etc/my.cnf
  5. 啟動MariaDB後,執行安全配置嚮導命令,可根據安全配置嚮導提高資料庫的安全性

    systemctl start mariadb
    
    mysql_secure_installation
  6. 開啟使用者遠端連線許可權

    將連線使用者root開啟遠端連線許可權;

    mysql -uroot -p654321

    進入MySQL服務, 執行以下操作:

    use mysql;
    
    delete from user;
    ## 配置root使用者使用密碼654321從任何主機都可以連線到mysql伺服器
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '654321' WITH GRANT OPTION;
    
    FLUSH PRIVILEGES;

2.1.2 MariaDB雙主同步

  1. 在Server1增加配置:

    在/etc/my.cnf中新增以下配置:

    [mysqld]
    server-id  = 1
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    ## 忽略mysql、information_schema庫下對錶的操作
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    ## 預設的情況下mysql是關閉的;
    log-slave-updates=on
    ## 複製過程中,有任何錯誤,直接跳過
    slave-skip-errors=all
    auto-increment-offset=1
    auto-increment-increment=2
    ## binlog的格式:STATEMENT,ROW,MIXED
    binlog_format=mixed
    ## 自動過期清理binlog,預設0天,即不自動清理
    expire_logs_days=10

    注意, Server1自增為奇數位:

    auto-increment-offset=1 主鍵自增基數, 從1開始。

    auto-increment-increment=2 主鍵自增偏移量,每次為2。

  2. 在Server2增加配置:

    修改/etc/my.cnf:

    [mysqld]
    server-id = 2
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    Server2自增為偶數位:

    auto-increment-offset=2 主鍵自增基數, 從2開始。

    auto-increment-increment=2 主鍵自增偏移量,每次為2。

    配置修改完成後, 重啟資料庫。

  3. 同步授權配置

    在Server1建立replica用於主從同步的使用者:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    查詢日誌檔案與偏移量,開啟同步時需使用:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |      663 |              |                  |
    +------------------+----------+--------------+------------------+
    

    同樣, 在Server2建立replica用於主從同步的使用者:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    查詢日誌檔案與偏移量:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |      663 |              |                  |
    +------------------+----------+--------------+------------------+
  1. 配置主從同步資訊

    在Server1中執行:

    MariaDB [(none)]> change master to master_host='192.168.116.141',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000007', master_log_pos=374, master_connect_retry=30;
    

    在Server2中執行:

    MariaDB [(none)]> change master to master_host='192.168.116.140',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000015', master_log_pos=374, master_connect_retry=30;
    
  2. 開啟雙主同步

    在Server1和Server2中分別執行:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)

    在Server1查詢同步資訊:

    MariaDB [(none)]>  show slave status\G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.126
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000001
              Read_Master_Log_Pos: 663
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 555
            Relay_Master_Log_File: mysql-bin.000001
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    ...

    在Server2查詢同步資訊:

    MariaDB [(none)]>  show slave status\G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000001
              Read_Master_Log_Pos: 663
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 555
            Relay_Master_Log_File: mysql-bin.000001
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    ...

    Slave_IO_Running和Slave_SQL_Running 都是Yes,說明雙主同步配置成功。

2.1.3 KeepAlived安裝與高可用配置

  1. 在Server1與Server2兩臺節點安裝keepalived:

    yum -y install keepalived
  2. 關閉防火牆

    systemctl stop firewalld
    systemctl disable firewalld
  1. 設定主機名稱:

    Server1節點:

    hostnamectl set-hostname vip1

    Server2節點:

    hostnamectl set-hostname vip2
  1. Server1節點配置

    /etc/keepalived/keepalived.conf:

    global_defs {
       router_id vip1           # 機器標識,和主機名保持一致,執行keepalived伺服器的一個標識
    }
    vrrp_instance VI_1 {            #vrrp例項定義
        state BACKUP               #lvs的狀態模式,MASTER代表主, BACKUP代表備份節點
        interface ens33               #繫結對外訪問的網路卡,vrrp例項繫結的網路卡
        virtual_router_id 111        #虛擬路由標示,同一個vrrp例項採用唯一標示
        priority 100               #優先順序,100代表最大優先順序, 數字越大優先順序越高
        advert_int 1              #master與backup節點同步檢查的時間間隔,單位是秒
        authentication {           #設定驗證資訊
            auth_type PASS         #有PASS和AH兩種
            auth_pass 6666         #驗證密碼,BACKUP密碼須相同
        }
        virtual_ipaddress {         #KeepAlived虛擬的IP地址
            192.168.116.150
        }
    }
    virtual_server 192.168.116.150 3306 {       #配置虛擬伺服器IP與訪問埠
        delay_loop 6                 #健康檢查時間
        lb_algo rr                  #負載均衡排程演算法, rr代表輪詢
        lb_kind DR                   #負載均衡轉發規則 DR/NAT/
        persistence_timeout 0        #會話保持時間,這裡要做測試, 所以設為0, 實際可根據session有效時間配置
        protocol TCP               #轉發協議型別,支援TCP和UDP
        real_server 192.168.116.140 3306 {    #配置伺服器節點VIP1    
        notify_down /usr/local/shell/mariadb.sh #當服務掛掉時, 會執行此指令碼,結束keepalived程式
        weight 1               #設定權重,越大權重越高
        TCP_CHECK {              #狀態監測設定
           connect_timeout 10       #超時配置, 單位秒
           retry 3             #重試次數
           delay_before_retry 3        #重試間隔
           connect_port 3306         #連線埠, 和上面保持一致
           }
        }
    
    }
    

    建立關閉指令碼mariadb.sh

    /usr/local/shell/mariadb.sh:

    pkill keepalived

    加入執行許可權:

    chmod a+x mariadb.sh
  1. Server2節點配置:

    global_defs {
       router_id vip2           # 機器標識,和主機名保持一致,執行keepalived伺服器的一個標識
    }
    vrrp_instance VI_1 {            #vrrp例項定義
        state BACKUP               #lvs的狀態模式,MASTER代表主, BACKUP代表備份節點
        interface ens33               #繫結對外訪問的網路卡
        virtual_router_id 111        #虛擬路由標示,同一個vrrp例項採用唯一標示
        priority 98               #優先順序,100代表最大優先順序, 數字越大優先順序越高
        advert_int 1              #master與backup節點同步檢查的時間間隔,單位是秒
        authentication {           #設定驗證資訊
            auth_type PASS         #有PASS和AH兩種
            auth_pass 6666         #驗證密碼,BACKUP密碼須相同
        }
        virtual_ipaddress {         #KeepAlived虛擬的IP地址
            192.168.116.150
        }
    }
    virtual_server 192.168.116.150 3306 {       #配置虛擬伺服器IP與訪問埠
        delay_loop 6                 #健康檢查時間
        lb_algo rr                  #負載均衡排程演算法, rr代表輪詢, 可以關閉
        lb_kind DR                   #負載均衡轉發規則, 可以關閉
        persistence_timeout 0        #會話保持時間,這裡要做測試, 所以設為0, 實際可根據session有效時間配置
        protocol TCP               #轉發協議型別,支援TCP和UDP
        real_server 192.168.116.141 3306{    #配置伺服器節點VIP2
        notify_down /usr/local/shell/mariadb.sh #當服務掛掉時, 會執行此指令碼,結束keepalived程式
        weight 1               #設定權重,越大權重越高
        TCP_CHECK {              #r狀態監測設定
           connect_timeout 10       #超時配置, 單位秒
           retry 3             #重試次數
           delay_before_retry 3        #重試間隔
           connect_port 3306         #連線埠, 和上面保持一致
           }
        }
    
    }
    

    和Server1的差異項:

    router_id vip2   # 機器標識,和主機名保持一致
    priority 98               #優先順序,100代表最大優先順序, 數字越大優先順序越高
    real_server 10.10.20.126 3306  #配置伺服器節點VIP2

    注意, 兩臺節點都設為BACKUP

    virtual_router_id 111        #同一個vrrp例項採用唯一標示
    state BACKUP

    如果不想重啟後, 爭奪備用節點的VIP, 可以設定此項

    nopreempt #不主動搶佔資源

    注意:這個配置只能設定在backup主機上,而且這個主機優先順序要比另外一臺高

  2. 驗證高可用

    停止主節點MariaDB服務, 驗證是否自動切換。

2.1.4 搭建應用服務工程

  1. ShardingJDBC的介紹

    是ShardingSphere 下的一個產品

    定位為輕量級 Java 框架,在 Java 的 JDBC 層提供的額外服務。 它使用客戶端直連資料庫,以 jar 包形式提供服務,無需額外部署和依賴,可理解為增強版的 JDBC 驅動,完全相容 JDBC 和各種 ORM 框架。

    • 適用於任何基於 JDBC 的 ORM 框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
    • 支援任何第三方的資料庫連線池,如:DBCP, C3P0, BoneCP, Druid, HikariCP 等。
    • 支援任意實現 JDBC 規範的資料庫,目前支援 MySQL,Oracle,SQLServer,PostgreSQL 以及任何遵循 SQL92 標準的資料庫
  1. ShardingJDBC初始化流程

    1)配置ShardingRuleConfiguration物件

    2)配置表分片規則TableRuleConfiguration物件,設定分庫、分表策略

    3)透過Factory物件將Rule物件與DataSource物件裝配

    4)ShardingJDBC使用DataSource物件進行分庫

file

  1. ShardingJDBC整合配置

    1)maven依賴

    2)規則配置application.yml

    3)建立DataSource

  1. 驗證應用服務動態擴容

    1) 配置兩個資料來源,分別指向Server1和Server2
    2) 分片只配置一個資料來源
    3) 動態增加另一個資料來源

    // 動態資料來源配置實現擴容
    Properties properties = loadPropertiesFile("datasource1.properties");
    try {
        log.info("load datasource config url: " + properties.get("url"));
        DruidDataSource druidDataSource = (DruidDataSource) DruidDataSourceFactory.createDataSource(properties);
        druidDataSource.setRemoveAbandoned(true);
        druidDataSource.setRemoveAbandonedTimeout(600);
        druidDataSource.setLogAbandoned(true);
        // 設定資料來源錯誤重連時間
        druidDataSource.setTimeBetweenConnectErrorMillis(60000);
        druidDataSource.init();
        OrchestrationShardingDataSource dataSource = SpringContextUtil.getBean("tradeSystemDataSource", OrchestrationShardingDataSource.class);
        Map<String, DataSource> dataSourceMap = dataSource.getDataSource().getDataSourceMap();
        dataSourceMap.put(DatasourceEnum.DATASOURCE_2.getValue(), druidDataSource);
    
        Map<String, DataSourceConfiguration> dataSourceConfigMap = new HashMap<String, DataSourceConfiguration>();
        for(String key : dataSourceMap.keySet()) {
            dataSourceConfigMap.put(key, DataSourceConfiguration.getDataSourceConfiguration(dataSourceMap.get(key)));
        }
        String result = SHARDING_RULE_TABLE_ORDER.replace(SHARDING_RULE_DATASOURCE, newRule);
        replaceActualDataNodes(result);
        SHARDING_RULE_DATASOURCE = newRule;
    
        dataSource.renew(new DataSourceChangedEvent(
            "/" + DruidSystemDataSourceConfiguration.DYNAMIC_SHARDING + "/config/schema/logic_db/datasource",
            dataSourceConfigMap));
        return;
    
    
    } catch (Exception e) {
        log.error(e.getMessage(), e);
    }
    
    
  1. 注意事項

    Sharding JDBC, Mycat, Drds 等產品都是分散式資料庫中介軟體, 相比直接的資料來源操作, 會存在一些限制, Sharding JDBC在使用時, 要注意以下問題:

    • 有限支援子查詢
    • 不支援HAVING
    • 不支援OR,UNION 和 UNION ALL
    • 不支援特殊INSERT
    • 每條INSERT語句只能插入一條資料,不支援VALUES後有多行資料的語句
    • 不支援DISTINCT聚合
    • 不支援dual虛擬表查詢
    • 不支援SELECT LAST_INSERT_ID(), 不支援自增序列
    • 不支援CASE WHEN

2.2 實現資料庫的秒級平滑2N擴容

擴容部署架構:

file

2.2.1 新增資料庫VIP

  1. 在Server2節點, 增加VIP

    修改/etc/keepalived/keepalived.conf

    global_defs {
       router_id vip2
    }
    vrrp_instance VI_1 {            #vrrp例項定義
        state BACKUP               #lvs的狀態模式,MASTER代表主, BACKUP代表備份節點
        interface ens33               #繫結對外訪問的網路卡
        virtual_router_id 112        #虛擬路由標示,同一個vrrp例項採用唯一標示
        priority 100               #優先順序,100代表最大優先順序, 數字越大優先順序越高
        advert_int 1              #master與backup節點同步檢查的時間間隔,單位是秒
        authentication {           #設定驗證資訊
            auth_type PASS         #有PASS和AH兩種
            auth_pass 6666         #驗證密碼,BACKUP密碼須相同
        }
        virtual_ipaddress {         #KeepAlived虛擬的IP地址
            192.168.116.151
        }
    }
    virtual_server 192.168.116.151 3306 {       #配置虛擬伺服器IP與訪問埠
        delay_loop 6                 #健康檢查時間
        persistence_timeout 0        #會話保持時間,這裡要做測試, 所以設為0, 實際可根據session有效時間配置
        protocol TCP               #轉發協議型別,支援TCP和UDP
        real_server 192.168.116.141 3306{    #配置伺服器節點VIP1
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #設定權重,越大權重越高
        TCP_CHECK {              #r狀態監測設定
           connect_timeout 10       #超時配置, 單位秒
           retry 3             #重試次數
           delay_before_retry 3        #重試間隔
           connect_port 3306         #連線埠, 和上面保持一致
           }
        }
    
    }
    

    注意配置項:

    virtual_router_id 112        #虛擬路由標示,同一個vrrp例項採用唯一標示
    priority 100               #優先順序,100代表最大優先順序, 數字越大優先順序越高

2.2.2 應用服務增加動態資料來源

  1. 修改應用服務配置, 增加新的資料來源, 指向新設定的VIP: 192.168.116.151
  2. 透過應用服務介面, 動態擴容調整

2.2.3 解除原雙主同步

mysql -uroot -p654321

  1. 進入Server1:

    MariaDB [(none)]> stop slave;
  2. 進入Server2:

    MariaDB [(none)]> stop slave;
  3. 透過應用服務介面驗證資料是否解除同步

2.2.4 安裝MariaDB擴容伺服器

  1. 新建兩臺虛擬機器, 分別為Server3和Server4。
  2. 在Server3和Server4兩臺節點上安裝MariaDB服務

    參考2.1.1 MariaDB服務安裝

  3. 配置Server3與Server1,實現新的雙主同步

    1) Server3節點, 修改/etc/my.cnf:

    [mysqld]
    server-id = 3
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    2) 重啟Server3資料庫

    service mariadb restart

    3) 建立replica用於主從同步的使用者:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    4) 在Server1節點,進行資料全量備份:

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server1.sql
    

    5) 檢視並記錄master status資訊:

    ...
    --
    -- Position to start replication or point-in-time recovery from
    --
    
    -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=17748;
    ...
    

    6) 將備份的server1.sql透過scp命令複製至Server3節點。

    scp server1.sql [email protected]:/usr/local/

    7) 將資料還原至Server3節點:

    mysql -uroot -p654321 < /usr/local/server1.sql

    8) 配置主從同步資訊

    根據上面的master status資訊, 在Server3中執行:

    MariaDB [(none)]> change master to master_host='192.168.116.140',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000016', master_log_pos=1754, master_connect_retry=30;
    Query OK, 0 rows affected (0.01 sec)
    

    9) 開啟主從同步:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

    如果出現問題, 復原主從同步資訊:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.01 sec)
    

    10) 檢查同步狀態資訊:

    MariaDB [(none)]> show slave status \G
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000004
              Read_Master_Log_Pos: 11174
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 1746
            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    

    11) 配置Server1與Server3節點的同步

    檢視Server3的日誌資訊:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |     4781 |              |                  |
    +------------------+----------+--------------+------------------+
    

    在Server1節點, 配置同步資訊:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.00 sec)
    
    MariaDB [(none)]> change master to master_host='192.168.116.142',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000005', master_log_pos=6931, master_connect_retry=30;
    
    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    
  1. 配置Server4與Server2的雙主同步

    1) Server4節點, 修改/etc/my.cnf:

    [mysqld]
    server-id = 4
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    2) 重啟Server4資料庫

    service mariadb restart

    3) 建立replica用於主從同步的使用者:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    4) 在Server2節點,進行資料全量備份:

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server2.sql
    

    5) 檢視並記錄master status資訊:

    ...
    --
    -- Position to start replication or point-in-time recovery from
    --
    
    -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=4208;
    
    ...
    

    6) 將備份的server2.sql透過scp命令複製至Server4節點。

    scp server2.sql [email protected]:/usr/local/

    7) 將資料還原至Server4節點:

    mysql -uroot -p654321 < /usr/local/server2.sql

    8) 配置主從同步資訊

    根據上面的master status資訊, 在Server4中執行:

    MariaDB [(none)]> change master to master_host='192.168.116.141',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000007', master_log_pos=3006, master_connect_retry=30;
    Query OK, 0 rows affected (0.01 sec)
    

    9) 開啟主從同步:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

    注意, 如果出現問題, 復原主從同步資訊:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.01 sec)
    

    10) 檢查同步狀態資訊:

    MariaDB [(none)]> show slave status \G
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000004
              Read_Master_Log_Pos: 11174
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 1746
            Relay_Master_Log_File: mysql-bin.000004
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    

    11) 配置Server2與Server4節點的同步

    檢視Server4的日誌資訊:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |     3696 |              |                  |
    +------------------+----------+--------------+------------------+
    

    在Server2節點, 配置同步資訊:

    MariaDB [(none)]> reset slave;
    Query OK, 0 rows affected (0.00 sec)
    
    MariaDB [(none)]> change master to master_host='192.168.116.143',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000005', master_log_pos=5787, master_connect_retry=30;
    
    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)
    

2.2.5 增加KeepAlived服務實現高可用

  1. 確保新增的Server3和Server4節點安裝Keepalived服務。
  2. 修改Server3節點配置

    global_defs {
       router_id vip3          # 機器標識,一般設為hostname,故障發生時,郵件通知會使用到。
    }
    vrrp_instance VI_1 {            #vrrp例項定義
        state BACKUP               #lvs的狀態模式,MASTER代表主, BACKUP代表備份節點
        interface ens33               #繫結對外訪問的網路卡
        virtual_router_id 111        #虛擬路由標示,同一個vrrp例項採用唯一標示
        priority 98               #優先順序,100代表最大優先順序, 數字越大優先順序越高
        advert_int 1              #master與backup節點同步檢查的時間間隔,單位是秒
        authentication {           #設定驗證資訊
            auth_type PASS         #有PASS和AH兩種
            auth_pass 6666         #驗證密碼,BACKUP密碼須相同
        }
        virtual_ipaddress {         #KeepAlived虛擬的IP地址
            192.168.116.150
        }
    }
    virtual_server 192.168.116.150 3306 {       #配置虛擬伺服器IP與訪問埠
        delay_loop 6                 #健康檢查時間
        persistence_timeout 0        #會話保持時間,這裡要做測試, 所以設為0, 實際可根據session有效時間配置
        protocol TCP               #轉發協議型別,支援TCP和UDP
        real_server 192.168.116.142 3306{    #配置伺服器節點VIP3
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #設定權重,越大權重越高
        TCP_CHECK {              #r狀態監測設定
           connect_timeout 10       #超時配置, 單位秒
           retry 3             #重試次數
           delay_before_retry 3        #重試間隔
           connect_port 3306         #連線埠, 和上面保持一致
           }
        }
    
    }
    

    注意裡面IP配置正確, 修改完成後重啟服務。

    建立關閉指令碼mariadb.sh

    /usr/local/shell/mariadb.sh:

    pkill keepalived

    加入執行許可權:

    chmod a+x mariadb.sh
  1. 修改Server4節點配置

    global_defs {
       router_id vip4          # 機器標識,一般設為hostname,故障發生時,郵件通知會使用到。
    }
    vrrp_instance VI_1 {            #vrrp例項定義
        state BACKUP               #lvs的狀態模式,MASTER代表主, BACKUP代表備份節點
        interface ens33               #繫結對外訪問的網路卡
        virtual_router_id 112        #虛擬路由標示,同一個vrrp例項採用唯一標示
        priority 98               #優先順序,100代表最大優先順序, 數字越大優先順序越高
        advert_int 1              #master與backup節點同步檢查的時間間隔,單位是秒
        authentication {           #設定驗證資訊
            auth_type PASS         #有PASS和AH兩種
            auth_pass 6666         #驗證密碼,BACKUP密碼須相同
        }
        virtual_ipaddress {         #KeepAlived虛擬的IP地址
            192.168.116.151
        }
    }
    virtual_server 192.168.116.151 3306 {       #配置虛擬伺服器IP與訪問埠
        delay_loop 6                 #健康檢查時間
        persistence_timeout 0        #會話保持時間,這裡要做測試, 所以設為0, 實際可根據session有效時間配置
        protocol TCP               #轉發協議型別,支援TCP和UDP
        real_server 192.168.116.143 3306{    #配置伺服器節點VIP4
        notify_down /usr/local/shell/mariadb.sh
        weight 1               #設定權重,越大權重越高
        TCP_CHECK {              #r狀態監測設定
           connect_timeout 10       #超時配置, 單位秒
           retry 3             #重試次數
           delay_before_retry 3        #重試間隔
           connect_port 3306         #連線埠, 和上面保持一致
           }
        }
    
    }
    
    

    建立關閉指令碼mariadb.sh

    /usr/local/shell/mariadb.sh:

    pkill keepalived

    給所有的使用者組加入執行許可權:

    chmod a+x mariadb.sh
  1. 修改完後重啟Keepalived服務。

2.2.6 清理資料並驗證

  1. 透過應用服務動態擴容介面做調整和驗證
  2. 在Server1節點清理資料

    根據取模規則, 保留accountNo為偶數的資料

    delete from t_trade_order where accountNo % 2 != 0
  3. 在Server2節點清理資料

    根據取模規則, 保留accountNo為奇數的資料

    delete from t_trade_order where accountNo % 2 != 1

3.keepalived高可用配置大全

在Server1(192.168.116.140)中執行:

MariaDB [(none)]> change master to master_host='192.168.116.141',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000005', master_log_pos=3207, master_connect_retry=30;

在Server2(192.168.116.141)中執行:

MariaDB [(none)]> change master to master_host='192.168.116.140',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000012', master_log_pos=1951, master_connect_retry=30;

在Server3(192.168.116.142)中執行:

MariaDB [(none)]> change master to master_host='192.168.116.140',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000013', master_log_pos=2781, master_connect_retry=30;
Query OK, 0 rows affected (0.01 sec)

在Server4(192.168.116.143)中執行:

MariaDB [(none)]> change master to master_host='192.168.116.141',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000005', master_log_pos=7358, master_connect_retry=30;
Query OK, 0 rows affected (0.01 sec)

Server1和Server2雙主關係

Server1: keepalived.conf

vi /etc/keepalived/keepalived.conf

global_defs {
   router_id vip1
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 111
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 6666
    }
    virtual_ipaddress {
        192.168.116.150
    }
}
virtual_server 192.168.116.150 3306 {
    delay_loop 6
    lb_algo rr
    lb_kind DR // NAT|DR|TUN
    persistence_timeout 0
    protocol TCP
    real_server 192.168.116.140 3306 {
    notify_down /usr/local/shell/mariadb.sh
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 3306
       }
    }
}

Server2:keepalived.conf

vi /etc/keepalived/keepalived.conf

global_defs {
   router_id vip2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 111
    priority 98
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 6666
    }
    virtual_ipaddress {
        192.168.116.150
    }
}
virtual_server 192.168.116.150 3306 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 0
    protocol TCP
    real_server 192.168.116.141 3306{
    notify_down /usr/local/shell/mariadb.sh
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 3306
       }
    }
}

新增資料庫VIP

Server2:keepalived.conf

vi /etc/keepalived/keepalived.conf

global_defs {
   router_id vip2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 112
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 6666
    }
    virtual_ipaddress {
        192.168.116.151
    }
}
virtual_server 192.168.116.151 3306 {
    delay_loop 6
    persistence_timeout 0
    protocol TCP
    real_server 192.168.116.141 3306{
    notify_down /usr/local/shell/mariadb.sh
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 3306
       }
    }
}

Server1和Server3雙主關係

Server3: keepalived.conf

vi /etc/keepalived/keepalived.conf

global_defs {
   router_id vip3
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 111
    priority 98
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 6666
    }
    virtual_ipaddress {
        192.168.116.150
    }
}
virtual_server 192.168.116.150 3306 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 0
    protocol TCP
    real_server 192.168.116.142 3306 {
    notify_down /usr/local/shell/mariadb.sh
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 3306
       }
    }
}

Server2和Server4雙主關係

Server4: keepalived.conf

vi /etc/keepalived/keepalived.conf

global_defs {
   router_id vip4
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 112
    priority 98
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 6666
    }
    virtual_ipaddress {
        192.168.116.151
    }
}
virtual_server 192.168.116.151 3306 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 0
    protocol TCP
    real_server 192.168.116.143 3306{
    notify_down /usr/local/shell/mariadb.sh
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 3306
       }
    }
}

如果本文對您有幫助,歡迎關注點贊`,您的支援是我堅持創作的動力。

轉載請註明出處!

相關文章