Mysql之讀寫分離架構-Atlas

youmen發表於2021-04-23
MySql架構

Atlas介紹

​ Atlas是由 Qihoo 360, Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的資料中間層專案。
它是在mysql-proxy 0.8.2版本的基礎上，對其進行了優化，增加了一些新的功能特性;
​ 360內部使用Atlas執行的mysql業務，每天承載的讀寫請求數達幾十億條;

下載地址
https://github.com/Qihoo360/Atlas/releases
注意:

1、Atlas只能安裝執行在64位的系統上

2、Centos 5.X安裝 Atlas-XX.el5.x86_64.rpm，Centos6.X安裝Atlas-XX.el6.x86_64.rpm。

3、後端mysql版本應大於5.1，建議使用Mysql 5.6以上

4、8.0以上版本建議使用MySQL官方MySQL-Router

主要功能

  • 讀寫分離
  • 從庫負載均衡
  • IP過濾
  • 自動分表
  • DBA可平滑上下線DB
  • 自動摘除當機的DB

Atlas相對於官方MySQL-Proxy的優勢
1.將主流程中所有Lua程式碼用C重寫，Lua僅用於管理介面

2.重寫網路模型、執行緒模型

3.實現了真正意義上的連線池

4.優化了鎖機制，效能提高數十倍

安裝配置

yum install -y Atlas*
cd /usr/local/mysql-proxy/conf
mv test.cnf test.cnf.bak

 vi test.cnf
[mysql-proxy]

#帶#號的為非必需的配置專案

#管理介面的使用者名稱
admin-username = root

#管理介面的密碼
admin-password = MyNewPass!

#Atlas後端連線的MySQL主庫的IP和埠，可設定多項，用逗號分隔
proxy-backend-addresses = 192.168.199.149:3306

#Atlas後端連線的MySQL從庫的IP和埠，@後面的數字代表權重，用來作負載均衡，若省略則預設為1，可設定多項，用逗號分隔
proxy-read-only-backend-addresses = 192.168.199.198:3306@1

#使用者名稱與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程式encrypt加密，下行的user1和user2為示例，將其替換為你的MySQL的使用者名稱和加密密碼！
#pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
pwds = root:EQOnCBjybDXeQgv6rMKE2w==

#設定Atlas的執行方式，設為true時為守護程式方式，設為false時為前臺方式，一般開發除錯時設為false，線上執行時設為true,true後面不能有空格。
daemon = true

#設定Atlas的執行方式，設為true時Atlas會啟動兩個程式，一個為monitor，一個為worker，monitor在worker意外退出後會自動將其重啟，設為false時只有worker，沒有monitor，一般開發除錯時設為false，線上執行時設為true,true後面不能有空格。
keepalive = true

#工作執行緒數，對Atlas的效能有很大影響，可根據情況適當設定
event-threads = 8

#日誌級別，分為message、warning、critical、error、debug五個級別
log-level = message

#日誌存放的路徑
log-path = /usr/local/mysql-proxy/log

#SQL日誌的開關，可設定為OFF、ON、REALTIME，OFF代表不記錄SQL日誌，ON代表記錄SQL日誌，REALTIME代表記錄SQL日誌且實時寫入磁碟，預設為OFF
sql-log = REALTIME

#慢日誌輸出設定。當設定了該引數時，則日誌只輸出執行時間超過sql-log-slow（單位：ms)的日誌記錄。不設定該引數則輸出全部日誌。
#sql-log-slow = 10

#例項名稱，用於同一臺機器上多個Atlas例項間的區分
instance = test

#Atlas監聽的工作介面IP和埠
proxy-address = 192.168.199.227:8080

#Atlas監聽的管理介面IP和埠
admin-address = 192.168.199.227:8081

#分表設定，此例中person為庫名，mt為表名，id為分表欄位，3為子表數量，可設定多項，以逗號分隔，若不分表則不需要設定該項
#tables = person.mt.id.3

#預設字符集，設定該項後客戶端不再需要執行SET NAMES語句
charset = utf8

#允許連線Atlas的客戶端的IP，可以是精確IP，也可以是IP段，以逗號分隔，若不設定該項則允許所有IP連線，否則只允許列表中的IP連線
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面掛接的LVS的物理網路卡的IP(注意不是虛IP)，若有LVS且設定了client-ips則此項必須設定，否則可以不設定
#lvs-ips = 192.168.1.1

# 啟動atlas
/usr/local/mysql-proxy/bin/mysql-proxyd test start
ps -ef |grep proxy

兩個程式,一個負責管理一個負責對外提供服務;

Atlas功能測試

# 測試讀操作：
mysql -umha -pmha  -h 192.168.0.8 -P 33060 
db03 [(none)]>select @@server_id;

# 測試寫操作：
mysql> begin;select @@server_id;commit;

生產使用者要求

開發人員申請一個應用使用者 app(  select  update  insert)  密碼123456,要通過10網段登入
1. 在主庫中,建立使用者
grant select ,update,insert on *.* to app@'10.0.0.%' identified by '123456';
2. 在atlas中新增生產使用者
/usr/local/mysql-proxy/bin/encrypt  123456      ---->製作加密密碼
vim test.cnf
pwds = repl:3yb5jEku5h4=,mha:O2jBXONX098=,app:/iZxz+0GRoA=
/usr/local/mysql-proxy/bin/mysql-proxyd test restart
[root@db03 conf]# mysql -uapp -p123456  -h 10.0.0.53 -P 33060

Atlas管理

連線管理埠

mysql -uuser -ppwd -h127.0.0.1 -P2345

查詢後端所有節點資訊

mysql>  SELECT * FROM backends    ;

動態新增刪除節點

# 動態刪除節點
REMOVE BACKEND 3;

# 動態新增節點
ADD SLAVE 10.0.0.53:3306;

# 儲存配置檔案
SAVE CONFIG;

自動分表

介紹

使用Atlas的分表功能時，首先需要在配置檔案test.cnf設定tables引數。
tables引數設定格式：資料庫名.表名.分表欄位.子表數量，
比如：
你的資料庫名叫school，表名叫stu，分表欄位叫id，總共分為2張表，那麼就寫為school.stu.id.2，如果還有其他的分表，以逗號分隔即可。

讀寫分離

MySQL-Router    ---> MySQL官方
ProxySQL         --->Percona
Maxscale         ---> MariaDB

小結

1、如果你是新表，並且預見以後資料很大，可以用上Atlas來解決資料量的問題；

2、舊錶的話，你還得自己寫指令碼導資料，核對資料；

3、如果有些分頁查詢的話，還需要自己重寫；

4、確定你的所有場景的查詢是否都有分表欄位作為where，沒有的話，需要自己再寫工具將子表的資料同步到總表；

可以看到Atlas如果需要產品化還要做很多的事情，如果確定上面都不是問題，就大膽的用吧

相關文章