SCIDB叢集安裝

一、環境配置 安裝前的準備

1.1配置/etc/hosts   所有節點

Root # vi /etc/hosts 新增如下資訊

#ipadd

192.168.100.193  work0

192.168.100.182  work1

192.168.100.183  work2

192.168.100.189  work3

192.168.100.195  work4

1.2新增scidb使用者組  所有節點

root # groupadd scidb   增加使用者組

root # useradd –g scidb scidb  增加使用者到使用者組

root # passwd scidb           修改scidb密碼

root # visudo                 修改sudo使用者

在root ALL = (ALL)  ALL 下面新增

scidb ALL=（ALL）ALL

1.3yum源的新增 所有節點

root # cd /etc/yum.repo.d/

root # yum –y install wget

————————-devtoolset-3的源—————————-

root #wget https://www.softwarecollections.org/en/scls/rhscl/devtoolset-3/epel-6-x86_64/download/rhscl-devtoolset-3-epel-6-x86_64.noarch.rpm

root # rpm –ivh rhscl-devtoolset-3-epel-6-x86_64.noarch.rpm  (安裝rpm包)

root# rm –rf rhscl-devtoolset-3-epel-6-x86_64.noarch.rpm   (刪除rpm包 沒用了就刪除哦)

—————-java-common的源——可能網路環境不好多嘗試幾次———–

root # wget https://www.softwarecollections.org/repos/rhscl/rh-java-common/epel-6-x86_64/noarch/rhscl-rh-java-common-epel-6-x86_64-1-2.noarch.rpm

root # rpm –ivh rhscl-rh-java-common-epel-6-x86_64-yu1-2.noarch.rpm    (安裝)

root # rm –rf rhscl-rh-java-common-epel-6-x86_64-1-2.noarch.rpm (刪除)

 

可以使用scp   *.rpm  work1:/etc/yum.repo.d/  傳送過去

   root # ls  會出現 表示安裝成功

rhscl-rh-java-common-epel-6-x86_64.repo   rhscl-devtoolset-3-epel-6-x86_64.repo

1、4 sudo vi /etc/selinux/config

          selinux=disabled

二、coordinator 節點配置

2.1.1 互信

#su scidb //切換使用者

安裝需要的軟體包 yum安裝就可以了

$ sudo yum -y install subversion expect openssh-server openssh

啟動服務 開機自啟

$ sudo chkconfig –add sshd

$ sudo chkconfig sshd on

$ sudo service sshd start

$ sudo vi /etc/sysconfig/iptables 新增如下語句

-A INPUT -m state –state NEW -m tcp -p tcp –dport 1239 -j ACCEPT
-A INPUT -m state –state NEW -m tcp -p tcp –dport 22 -j ACCEPT

 $ sudo service iptables restart       重啟防火牆服務

2.1.2 下載原始碼

http://forum.paradigm4.com/uploads/db6652/original/1X/af46ea0924d43cd943a10a3c83ecf778800bf2a0.tgz

將原始碼放在/home/scidb 目錄下

$ sudo tar –xvzf scidb-15.7.0.9267.tga

$mv scidb-15.7.0.9267 scidbtrunk              //改檔名字

 

2.1.3 無密碼傳輸配置

~

$ cd ~

$ ssh-keygen #不輸入任何資料 預設

$ chmod 775 ~

$ chmod 755 ~/.ssh

$ exec ssh-agent bash

$ ssh-add

 

$ cd scidbtrunk//無密傳輸

$ deployment/deploy.sh access root “” “” work0 work1 work2 work3 work4

$ deployment/deploy.sh access scidb “” “” work0 work1 work2 work3 work4

———————-有幾個寫幾個節點————————–

—測試是否可行————-

$ ssh work1 date

$ ssh work2 date

————————全部機器重新啟動一遍————————

2.2 coordinator 環境配置 (work0 表示coordinator節點的IP地址）

$cd scidbtrunk

$ deployment/deploy.sh prepare_toolchain work0

———–這一步控制好libpqxx的版本————

rpm -e –nodeps  解除安裝掉全部的libpqxx-1.4.的版本

$sudo sed -i `/[epel]/a exclude=libpqxx*` /etc/yum.repos.d/epel.repo

重新執行上述語句

也可以跳過 這就需要自己手動安裝libpqxx包

wget https://downloads.paradigm4.com/centos6.3/3rdparty/libpqxx-3.1-1.src.rpm

wget https://downloads.paradigm4.com/centos6.3/3rdparty/libpqxx-devel-3.1-1.x86_64.rpm

wget https://downloads.paradigm4.com/centos6.3/3rdparty/libpqxx-3.1-1.x86_64.rpm

使用 rpm -ivh *.rpm 安裝 （解除安裝那個安裝那個就好）

———————————————

$ deployment/deploy.sh prepare_coordinator work0

$ deployment/deploy.sh prepare_chroot scidb work0

——————在這一步可能執行到mock 的安裝報錯————————

————–使用如下方式解決 

wget https://downloads.paradigm4.com/centos6.3/3rdparty/mock-1.1.24-1.noarch.rpm

wget https://downloads.paradigm4.com/centos6.3/3rdparty/mock-1.1.24-1.src.rpm

1）、sudo rpm -e –nodeps mock-*.noarch (解除安裝掉兩個包)

2）、sduo rpm -ivh mock-1.1.24-1.noarch.rpm

3）、sudo rpm -ivh mock-1.1.24-1.src.rpm (其實失敗就在這裡 因為這個安裝不成功) 

安裝完成後 直接繼續向下執行 

————————————————————————————————

2.3 postgres安裝

$cd scidbtrunk

deployment/deploy.sh prepare_postgresql postgres postgres 192.168.100.0/24 work0

———————只寫work0———————————–

其中 192.168.100.0/24 會新增傳遞在/var/lib/pgsql/data/pg_hba.conf 檔案內

可以通過$ ifconfig | grep Mask 檢視

 

2.4確保postgres使用者可以訪問scidb原始碼

$ sudo usermod –G scidb –a postgres

$ chmod g+rx scidbtrunk

$ sudo -u postgres ls /home/scidb/data/scidb

—————————–這裡配置postgres的檔案——————————–

$su – 

# cd /var/lib/pqsql/data

# vi postgresql.confg 

    port=5432 (去掉#註釋)

#vi pg_hba.conf

   將所有節點的IP加入進去

 host   all alll 192.168.10x.X/24   trust

#service postgresql restart

————————————————————————————————

——————可以不配置—————————————————————-

2.5 掛載ssd

cd scidbtrunk
rm -fr stage
mkdir stage
sudo echo “tmpfs scidbtrunk/stage tmpfs size=8G,nr_inodes=80k” >> /etc/fstab
sudo mount -a

 —————————————————————————————————

2.6 配置環境

$ vi .bashrc

export SCIDB_VER=15.7 
export SCIDB_SOURCE_PATH=scidbtrunk//注意路徑
export SCIDB_BUILD_PATH=$SCIDB_SOURCE_PATH/stage/build （接下來的make -j4 要在這個目錄下執行）
export SCIDB_INSTALL_PATH=/opt/scidb/$SCIDB_VER
export SCIDB_BUILD_TYPE=RelWithDebInfo
export PATH=$SCIDB_INSTALL_PATH/bin:$PATH

$ source .bashrc//生效

 

2.7 安裝軟體包—build packages

$cd sicdbtrunk

$./run.py setup

$ cd stage/build

$ make -j8 (八執行緒編譯安裝)

$ ./deployment/deploy.sh    build_fast      /tmp/packages

2.8 安裝scidb的rpm包

$ cd scidb

$ ./deployment/deploy.sh scidb_install /tmp/packages work0 work1 work2 work3 work4

—————–有幾個節點 就寫幾個幾點——————————————如果提示缺少安裝的rpm包 就用yum安裝—主從節點都有可能———————————————————

——-這就體現出之前配置的yum源的好處—也可能不缺包 看運氣了————————-

——————–如果提示某個節點沒有某個檔案 我的解決方案如下————————

#cd /opt/scidb

#tar czvf   15.7.tar.gz 15.7/     (將15.7下的全部檔案打包為15.7.tar.gz) 

#scp 15.7.tar.gz work1:/opt/scidb/     (scidb/目錄你手動建立哈 )

#scp 15.7.tar.gz work2:/opt/scidb/

有幾個子節點都傳遞過去

[ @ work1] # tar -xvzf 15.7.tar.gz (每個節點分別解壓)

至此所有的包都手動傳遞過去了，然後我們可以繼續執行就好了

—–類似於greenplum傳輸安裝包的安裝方法———參——–考—————————-

——————————————————————————————————————

3 初始化scidb資料庫

  $cd scidbtrunk

  $ ./deployment/deploy.sh scidb_prepare scidb“scidb” mydb1 mydb2 mydb3
/home/scidb/mydb-DB 2 default 1 work0 work1 work2 work3 work4

 ————-可能提示預設python的擴充套件包 使用easy_install package_name——————

Scidb    為scidb 資料庫使用者

“scidb”  為scidb 資料庫密碼

mydb1   postgres資料庫使用者

mydb2   postgres 資料庫的密碼

mydb3   postgres 資料庫

——-出—現—密碼—提示—表示—密碼—-錯誤————

取消

——————————————————————————————————————–

—————————–多修改重複幾次就好了———————————————————

我的執行語句為

./deployment/deploy.sh scidb_prepare scidb “scidb” scidb scidb scidbpg 
/home/scidb/mydb-DB 2 default 1 work0 work1 work2 work3 work4

 

在使用這條語句的時 要先執行下面的語句

將scidb設定為與postgres同等級的超級使用者

$ sudo -u postgres createuser –superuser scidb

為訪問該資料庫設定密碼

$ psql –d postgres

Postgres # CREATE DATABASE scidbpg OWNER scidb;

Postgres # c scidbpg

Scidbpg# password scidb回車

//輸入密碼（scidb）

Scidb# du        檢視是否新增成功 使用者列表

 

4 啟動 關閉 scidb資料庫

$ scidb.py startall scidbpg

$ scidb.py stopallscidbpg

 

$iquery

AFQ#

單節點環境變數的配置

$vi .bashrc

export SCIDB_VER=<your-scidb-version> # i.e. 15.7
export SCIDB_INSTALL_PATH=<dev_dir>/scidbtrunk/stage/install
export SCIDB_BUILD_TYPE=Debug
export PATH=$SCIDB_INSTALL_PATH/bin:$PATH
export MALLOC_CHECK_=3
export MALLOC_PERTURB_=127

預設 argparse模組

wget https://bootstrap.pypa.io/ez_setup.py -O – | python

easy_install argparse