MySQL資料庫使用pg_chameleon遷移至openGauss

• 透過讀取MySQL的binlog，提供實時線上複製的功能。

• 支援從多個MySQL schema讀取資料，並將其恢復到目標openGauss資料庫中。源schema和目標schema可以使用不同的名稱。

• 透過守護程式實現實時複製，包含兩個子程式，一個負責讀取MySQL側的日誌，一個負責在openGauss側重演變更。

接下來我們將演示如何使用pg_chameleon遷移MySQL資料庫至openGauss。

pg_chameleon透過 ~/.pg_chameleon/configuration下的配置檔案config-example.yaml定義遷移過程中的各項配置。整個配置檔案大約分成四個部分，分別是全域性設定、型別過載、目標資料庫連線設定、源資料庫設定。全域性設定主要定義log檔案路徑、log等級等。型別過載讓使用者可以自定義型別轉換規則，允許使用者覆蓋已有的預設轉換規則。目標資料庫連線設定用於配置連線至openGauss的連線引數。源資料庫設定定義連線至MySQL的連線引數以及其他複製過程中的可配置專案。

詳細的配置項解讀，可檢視官網的說明：

https://pgchameleon.org/documents_v2/configuration_file.html

下面是一份配置檔案示例：

# global settings



pid_dir: '~/.pg_chameleon/pid/'



log_dir: '~/.pg_chameleon/logs/'



log_dest: file



log_level: info



log_days_keep: 10



rollbar_key: ''



rollbar_env: ''







# type_override allows the user to override the default type conversion



# into a different one.



type_override:




"tinyint(1)":



    override_to: boolean



    override_tables:



    - 
"*"



            



# postgres  destination connection



pg_conn:



  host: 
"1.1.1.1"



  port: 
"5432"



  user: 
"opengauss_test"



  password: 
"password_123"



  database: 
"opengauss_database"



  charset: 
"utf8"



  



sources:



 mysql:



  db_conn:



   host: 
"1.1.1.1"



   port: 
"3306"



   user: 
"mysql_test"



   password: 
"password123"



   charset: 'utf8'



   connect_timeout: 10



  schema_mappings:



    mysql_database:sch_mysql_database



   limit_tables:



   skip_tables:



   grant_select_to:



    - usr_migration



   lock_timeout: 
"120s"



   my_server_id: 1



   replica_batch_size: 10000



   replay_max_rows: 10000



   batch_retention: '1 day'



   copy_max_memory: 
"300M"



   copy_mode: 'file'



   out_dir: tmp



   sleep_loop: 1



   on_error_replay: continue



   on_error_read: continue



   auto_maintenance: 
"disabled"



   gtid_enable: false



   type: mysql



   keep_existing_schema: No

以上配置檔案的含義是，遷移資料時，MySQL側使用的使用者名稱密碼分別是 mysql_test 和 password123。MySQL伺服器的IP和port分別是1.1.1.1和3306，待遷移的資料庫是mysql_database。

openGauss側使用的使用者名稱密碼分別是 opengauss_test 和 password_123。openGauss伺服器的IP和port分別是1.1.1.1和5432，目標資料庫是opengauss_database，同時會在opengauss_database下建立sch_mysql_database schema，遷移的表都將位於該schema下。

下面開始介紹整個遷移的步驟。

在openGauss側建立遷移時需要用到的使用者以及database。

在MySQL側建立遷移時需要用到的使用者並賦予相關許可權。

修改MySQL的配置檔案，一般是/etc/my.cnf或者是 etc/my.cnf.d/ 資料夾下的cnf配置檔案。在[mysqld] 配置塊下修改如下配置（若沒有mysqld配置塊，新增即可）：

修改完畢後需要重啟MySQL使配置生效。

python3 
-m venv venv




source 
venv/bin/activate

更新pip：pip 
install pip 
--upgrade

將openGauss的 pg_config 工具所在資料夾加入到 $PATH 環境變數中。例如：

export PATH={openGauss-server}/dest/bin:
$PATH

下載psycopg2原始碼( )，去掉檢查PostgreSQL版本的限制，使用 python setup.py install編譯安裝。

下載pg_chameleon原始碼( )，修改前面提到的在openGauss上的問題，使用 python setup.py install編譯安裝。

3. 建立pg_chameleon配置檔案目錄

chameleon set_configuration_files

4. 修改pg_chameleon配置檔案

cd ~
/.pg_chameleon/configuration



cp config-example.yml 
default.yml

根據實際情況修改 default.yml 檔案中的內容。重點修改pg_conn和mysql中的連線配置資訊，使用者資訊，資料庫資訊，schema對映關係。前面已給出一份配置檔案示例供參考。

5. 初始化複製流

chameleon create_replica_schema --config 
default



chameleon add_source --config 
default --source mysql

此步驟將在openGauss側建立用於複製過程的輔助schema和表。

6. 複製基礎資料

chameleon init_replica --config 
default --source mysql

7. 開啟線上實時複製

chameleon start_replica --config 
default --source mysql

8. 停止線上複製