通過rhel7的kvm虛擬機器實現3節點Postgres-XL（包括gtm standby）

為師的完全體發表於2017-05-10

關於postgres-xl的實驗是在我自己筆記本rhel7.2_x64的環境下，用kvm實現的，總共有6臺虛擬機器：

一臺openfiler2.99釋出共享儲存，一臺gtm master，一臺gtm slave，三臺gtm_proxy/coordinator/datanode，除了openfiler之外其餘5臺虛擬機器皆以最小化安裝rhel7.2_x64初始化，且具備兩張網路卡，一張用於192.168.122.* 提供服務，一張用於10.10.10.* 讀取openfiler釋出的共享儲存，具體的postgres-xl服務規劃如下。

服務名稱	服務作用	ip	服務埠	服務目錄	pooler port
gtm_mast	gtm master	192.168.122.179	20001	/pgdata/gtm/data
gtm_slav	gtm slave	192.168.122.189	20001	/pgdata/gtm/data
gtm_pxy01	gtm proxy	192.168.122.171	20001	/pgdata/gtm_pxy01/data
gtm_pxy02	gtm proxy	192.168.122.172	20001	/pgdata/gtm_pxy02/data
gtm_pxy03	gtm proxy	192.168.122.173	20001	/pgdata/gtm_pxy03/data
coord01	coordinator	192.168.122.171	15432	/pgdata/coord01/data	40101
coord02	coordinator	192.168.122.172	15432	/pgdata/coord02/data	40102
coord03	coordinator	192.168.122.173	15432	/pgdata/coord03/data	40103
datan01	datanode	192.168.122.181	25431	/pgdata/datan01/data	40401
datan02	datanode	192.168.122.182	25432	/pgdata/datan02/data	40402
datan03	datanode	192.168.122.183	25433	/pgdata/datan03/data	40403

一. 虛擬機器作業系統配置

1. 主機名配置

對每個虛擬機器修改主機名

hostnamectl set-hostname rhel7pg171

將 /etc/hosts 檔案修改成格式化檔案（帶域名就三列，不帶域名則兩列就行）

從 /etc/hosts 檔案可以看出每臺虛擬機器的主機名為 rhel7pgxxx

# cat /etc/hosts
127.0.0.1              localhost
192.168.122.1          station90
192.168.122.170        rhel7pg170
192.168.122.171        rhel7pg171
192.168.122.172        rhel7pg172
192.168.122.173        rhel7pg173
192.168.122.179        rhel7pg179
192.168.122.189        rhel7pg189
192.168.122.100        openfiler100
192.168.122.181        datan01
192.168.122.182        datan02
192.168.122.183        datan03

2. 安全設定

對每個虛擬機器關閉selinux，關閉防火牆

setenforce 0
sed -i.bak "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
systemctl disable firewalld.service
systemctl stop firewalld.service
iptables --flush

3. 本地yum服務配置

掛載本地cdrom中的作業系統ISO到本地目錄

mkdir -p /mnt/iso
mount /dev/cdrom /mnt/iso
# 寫入fstab，下次重起作業系統的時候自動掛載
echo "/dev/cdrom    /mnt/iso    iso9660    defaults    0 0" >> /etc/fstab

建立本地yum源

vi /etc/yum.repos.d/base.repo
cat /etc/yum.repos.d/base.repo
[rhel7]
name=rhel7
baseurl=file:///mnt/iso
gpgcheck=0

[rhel7-HA]
name=rhel7-HA
baseurl=file:///mnt/iso/addons/HighAvailability
gpgcheck=0

[rhel7-RS]
name=rhel7-RS
baseurl=file:///mnt/iso/addons/ResilientStorage

更新yum服務資訊

yum clean all
yum list
yum group list

4. 時間同步服務配置

安裝chrony包

yum install chrony.x86_64 -y

編輯配置檔案，註釋掉預設的server，新增已知可用的或者自建的時間伺服器，本實驗在openfiler的虛擬機器192.168.122.100通過ntp釋出了一個時間同步源

vi /etc/chrony.conf
# server 0.rhel.pool.ntp.org iburst
# server 1.rhel.pool.ntp.org iburst
# server 2.rhel.pool.ntp.org iburst
# server 3.rhel.pool.ntp.org iburst
server 192.168.122.100 iburst

重啟時間同步服務：

systemctl restart chronyd.service

檢視時間同步狀態：

systemctl status chronyd.service

設定開機啟動服務：

systemctl enable chronyd.service

檢視時間同步源：

chronyc sources -v

檢視時間同步源狀態：

chronyc sourcestats -v

5. 重啟

重啟所有虛擬機器，生效主機名和selinux的配置

init 6

二. postgres-xl軟體安裝

1. 依賴包的安裝

各種依賴包：

yum install -y make mpfr libmpc cpp kernel-headers glibc-headers glibc-devel libgomp libstdc++-devel libquadmath libgfortran libgnat libgnat-devel libobjc gcc gcc-c++ libquadmath-devel gcc-gfortran gcc-gnat gcc-objc gcc-objc++ ncurses-devel readline readline-devel zlib-devel m4 flex bison mailcap

perl的支援：

yum install -y perl 
perl-Carp 
perl-constant 
perl-Encode 
perl-Exporter 
perl-File-Path 
perl-File-Temp 
perl-Filter 
perl-Getopt-Long 
perl-HTTP-Tiny 
perl-libs 
perl-macros 
perl-parent 
perl-PathTools 
perl-Pod-Escapes 
perl-podlators 
perl-Pod-Perldoc 
perl-Pod-Simple 
perl-Pod-Usage 
perl-Scalar-List-Utils 
perl-Socket 
perl-Storable 
perl-Text-ParseWords 
perl-threads 
perl-threads-shared 
perl-Time-HiRes 
perl-Time-Local

2. postgres-xl主體的安裝

gunzip postgres-xl-9.5r1.4.tar.gz
tar -xvf postgres-xl-9.5r1.4.tar
cd postgres-xl-9.5r1.4
./configure
gmake
gmake install

3. pgxc_ctl外掛的安裝

pgxc_ctl外掛中，假如我們有需要配置備份配置檔案的選項的話，需要修改下原始碼。postgres-xl-9.5r1.4/contrib/pgxc_ctl原始碼中do_command.c的static void init_all(void) 下面第二行，即第524行的init_gtm_master(true);前面，必須插入一行doConfigBackup();再儲存編譯make&make install ，要不然用pgxc_ctl init all的時候，configBackup=y的功能沒辦法正常使用

cd postgres-xl-9.5r1.4/contrib/pgxc_ctl
vi do_command.c
make
make install

4. 使用者環境配置

此處環境變數要寫入 .bashrc 中，因為pgxc_ctl會通過ssh信任協議直接遠端到伺服器上執行命令，這樣的話不會去讀取.bash_profile，只會讀取.bashrc，如果不把PATH等環境變數配置到.bashrc的化，之後初始化叢集init all 的時候就會報“命令不存在”的錯誤。

/usr/sbin/groupadd -g 2001 postgres 
/usr/sbin/useradd -u 2001 -g postgres postgres 
echo "postgres_passwd" | passwd --stdin postgres
echo "export PGHOME=/usr/local/pgsql" >> /home/postgres/.bashrc
echo "export LD_LIBRARY_PATH==$PGHOME/lib" >> /home/postgres/.bashrc
echo `export PG_CONFIG=$PGHOME/bin/pg_config` >> /home/postgres/.bashrc
echo `export pg_config=$PGHOME/bin/pg_config` >> /home/postgres/.bashrc
echo `export PATH=$PATH:$PGHOME/bin` >> /home/postgres/.bashrc

5. 連結庫檔案

source /home/postgres/.bash_profile
echo "$PGHOME/lib" >> /etc/ld.so.conf
/sbin/ldconfig
cat /etc/ld.so.conf

三. postgres-xl初始化

1. ssh互信配置

配置每個節點的postgres使用者互信
ssh互信配置方法非常多，可以參考《配置SSH互信》
http://blog.163.com/cao_jfeng…
我使用的是oracle的指令碼

./sshUserSetup.sh -hosts "rhel7pg171 rhel7pg172 rhel7pg173 rhel7pg179 rhel7pg189" -user postgres -advanced -noPromptPassphrase -exverify

測試ssh互通

2. 建立PGDATA目錄

3臺datanode

mkdir -p /pgdata/datan01
mkdir -p /pgdata/datan02
mkdir -p /pgdata/datan03
mkdir -p /pgdata/coord01
mkdir -p /pgdata/coord02
mkdir -p /pgdata/coord03
mkdir -p /pgdata/gtm_pxy01
mkdir -p /pgdata/gtm_pxy02
mkdir -p /pgdata/gtm_pxy03

gtm master和gtm slave

mkdir -p /pgdata/gtm

所有節點

chown -R postgres:postgres /pgdata

3. datanode的特殊準備

用openfiler配置3個3GB的共享磁碟給datan01 datan02 datan03
在datan01 datan02 datan03上執行

systemctl enable iscsi
iscsiadm -m discovery -t sendtargets -p 10.10.10.100
iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.bf1f466b7eef -p 10.10.10.100 -l

在其中某個datanode上對共享磁碟進行分割槽，分成一個分割槽即可，並對其進行格式化

fdisk /dev/sda
fdisk /dev/sdb
fdisk /dev/sdc
partprobe /dev/sda
partprobe /dev/sdb
partprobe /dev/sdc
mkfs.xfs /dev/sda1
mkfs.xfs /dev/sdb1
mkfs.xfs /dev/sdc1
tune2fs -c 0 -i 0 /dev/sda1
tune2fs -c 0 -i 0 /dev/sdb1
tune2fs -c 0 -i 0 /dev/sdc1

重啟所有datanode進行重新識別

掛載測試

mount /dev/sda1 /pgdata/datan01/
mount /dev/sdb1 /pgdata/datan02/
mount /dev/sdc1 /pgdata/datan03/
umount  /dev/sda1
umount  /dev/sdb1
umount  /dev/sdc1

新增每個datanode的臨時ip和掛載檔案系統

cd /etc/sysconfig/network-scripts/
cp -rp ifcfg-eth0 ifcfg-eth0:1
vi ifcfg-eth0:1
systemctl restart network
mount /dev/sdc1 /pgdata/datan03/