2節點RAC安裝

一、安全相關（2個節點執行）

關閉selinux
  #vim /etc/sysconfig/selinux
  
  #SELINUX=enabled
  SELINUX=disabled
  儲存退出
  ：wq
  無需重啟生效，root使用者
  #setenforce 0
  
  停止防火牆
  #service iptables stop
  #service ip6tables stop
  
  禁止開機啟動
  #chkconfig iptables off
  #chkconfig ip6tables off
  
  配置IP地址
  #setup
  圖形配置
  
二、檢查硬體要求

   1）記憶體要求
   #grep MemTotal /proc/meminfo
   檢視記憶體
   #grep SwapTotal /proc/meminfo
   （#free）
   檢視swap空間，要求》=記憶體
    2）系統架構
   # uname -m
    3）磁碟空間
   #df -h
   /tmp  至少1G
三、檢查軟體補丁要求並安裝（2個節點安裝）
#cd /media/RHEL_6.3_x86_64_Disc_1/packages/
   binutils-2.20.51.0.2-5.34.el6.x86_64
   compat-libcap1-1.10-1.x86_64
   compat-libstdc++-33-3.2.3-69.el6.i686
   compat-libstdc++-33-3.2.3-69.el6.x86_64
   gcc-4.4.6-4.el6.x86_64
   gcc-c++-4.4.6-4.el6.x86_64
   glibc-2.12-1.80.el6.i686
   glibc-2.12-1.80.el6.x86_64
   glibc-devel-2.12-1.80.el6.i686
   glibc-devel-2.12-1.80.el6.x86_64
   ksh-20100621-16.el6.x86_64
   libgcc-4.4.6-4.el6.i686
   libgcc-4.4.6-4.el6.x86_64
   libstdc++-4.4.4-13.el6.x86_64
   libstdc++-4.4.4-13.el6.i686
   libstdc++-devel-4.4.6-4.el6.x86_64
   libstdc++-devel-4.4.6-4.el6.i686
   libaio-0.3.107-10.el6.x86_64
   libaio-0.3.107-10.el6.i686
   libaio-devel-0.3.107-10.el6.x86_64
   libaio-devel-0.3.107-10.el6.i686
   make-3.81-20.el6.x86_64
   sysstat-9.0.4-20.el6.x86_64
   elfutils-0.152-1.el6.x86_64
   elfutils-devel-0.152-1.el6.i686
   elfutils-devel-0.152-1.el6.x86_64 
   unixODBC-2.2.14-11.el6.i686
   unixODBC-2.2.14-11.el6.x86_64
   unixODBC-devel-2.2.14-11.el6.i686
   unixODBC-devel-2.2.14-11.el6.x86_64
使用linux自帶檔案管理器圖形安裝補丁包或者使用yum命令解決依賴包問題，但yum需要配置，詳見word文件
#yum -y install binutils compat-libcap1 ccompat-libstdc++ gcc glibc glibc-devel ksh libgcc libstdc++ libstdc++-devel libaio libaio-devel make sysstat elfutils elfutils-devel unixODBC unixODBC-devel

四、建立組、使用者和目錄（2個節點執行）
    1）檢查是否已存
   #more /etc/oraInst.loc
   #grep oinstall /etc/group
    2）建立Base目錄
   mkdir -p /u01/app/11.2.0/grid
    mkdir -p /u01/app/grid
    mkdir -p /u01/app/oracle
    mkdir -p /u01/soft/db
    mkdir -p /u01/soft/gi
    mkdir -p /u01/soft/psu
    mkdir -p /u01/soft/OPatch
   mkdir -p /u01/app/oracle/product/11.2.0/dbhome_1
    chown grid:oinstall /u01/app/11.2.0/grid
    chown grid:oinstall /u01/app/grid
    chown oracle:oinstall /u01/app/oracle
   chown oracle:oinstall /u01/app/oracle/product/11.2.0/dbhome_1
    chmod -R 775 /u01/
    chown -R grid:oinstall /u01
   安裝包目錄上次檔案並解壓後修改許可權與屬組
    3）建立任務角色分離的作業系統許可權組和使用者
   # /usr/sbin/groupadd -g 1000 oinstall
   # /usr/sbin/groupadd -g 1020 asmadmin
   # /usr/sbin/groupadd -g 1021 asmdba
   # /usr/sbin/groupadd -g 1022 asmoper
   # /usr/sbin/groupadd -g 1031 dba
   # /usr/sbin/groupadd -g 1032 oper

   # /usr/sbin/useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,dba grid
   # /usr/sbin/useradd -u 1101 -g oinstall -G asmdba,dba,oper oracle
     4）設定使用者密碼
      #passwd grid
      #passwd oracle
     5）2個節點設定oracle與grid使用者環境變數
     1節點
     #su - oracle
    
     $vi .bash_profile
   umask 022
   export TMP=/tmp
   export TMPDIR=$TMP    
   export ORACLE_HOSTNAME=host1
   export ORACLE_SID=oradb1
   export ORACLE_BASE=/u01/app/oracle
   export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
   export ORACLE_UNQNAME=oradb
   export ORACLE_TERM=xterm
   export PATH=/usr/sbin:$ORACLE_HOME/bin:$PATH
   export LANG=en_US
  儲存退出
  生效$. ./.bash_profile返回root使用者
   $exit
   #su - gird
   $vi .bash_profile
   umask 022
   export TMP=/tmp
   export TMPDIR=$TMP
   export ORACLE_HOSTNAME=host1
   export ORACLE_SID=+ASM1
   export ORACLE_BASE=/u01/app/grid
   export ORACLE_HOME=/u01/app/11.2.0/grid
   export ORACLE_TERM=xterm
   export PATH=/usr/sbin:$ORACLE_HOME/bin:$PATH
   export LANG=en_US
   
   生效$. ./.bash_profile
  2節點
   #su - oracle
    
     $vi .bash_profile
      umask 022
   export TMP=/tmp
   export TMPDIR=$TMP    
   export ORACLE_HOSTNAME=host2
   export ORACLE_SID=oradb2
   export ORACLE_BASE=/u01/app/oracle
   export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
   export ORACLE_UNQNAME=oradb
   export ORACLE_TERM=xterm
   export PATH=/usr/sbin:$ORACLE_HOME/bin:$PATH
   export LANG=en_US
  儲存退出
  
   生效$. ./.bash_profile 返回root使用者
   $exit
   #su - gird
   $vi .bash_profile
   umask 022
   export TMP=/tmp
   export TMPDIR=$TMP
   export ORACLE_HOSTNAME=host2
   export ORACLE_SID=+ASM2
   export ORACLE_BASE=/u01/app/grid
   export ORACLE_HOME=/u01/app/11.2.0/grid
   export ORACLE_TERM=xterm
   export PATH=/usr/sbin:$ORACLE_HOME/bin:$PATH
   export LANG=en_US
  儲存並退出
   
   生效$. ./.bash_profile

五、修改/etc/hosts檔案（2個節點修改）
  #vim /etc/hosts
  加入地址解析
  192.168.a.1  host1
  192.168.b.1  host1-priv
  192.168.a.2  host1-vip
  
  192.168.a.3  host2
  192.168.b.2  host2-priv
  192.168.a.4  host2-vip
  
  192.168.a.5  host-scan
六、修改網路及核心引數（2個節點修改）
  #vi /etc/sysctl.conf
  新增如下行：
  kernel.sem = 250 32000 100 128
  kernel.shmmax = 4294967295(實際記憶體大小-1)
  fs.file-max = 6815744
  fs.aio-max-nr = 1048576
  net.core.rmem_default = 262144
  net.core.rmem_max = 4194304
  net.core.wmem_default = 262144
  net.core.wmem_max = 1048576
  net.ipv4.ip_local_port_range = 9000 65500
  kernel.shmmni = 4096
  
  儲存退出
  ：wq
  生效
  #/etc/rc.d/init.d/network restart
  #/sbin/sysctl -p
確認修改：
#/sbin/sysctl -a
七、修改軟體安裝使用者的資源限制（2節點執行）
#vim /etc/security/limits.conf
  尾行加入
  #oracle soft nofile 1024
  oracle hard nofile 65536
  oracle soft nproc 2047
  #oracle hard nproc 16384
  #oracle soft stack 10240
  oracle hard stack 32768
  
  #grid soft nofile 1024
  grid hard nofile 65536
  grid soft nproc 2047
  #grid hard nproc 16384
  #grid soft stack 10240
  grid hard stack 32768
  儲存退出
  ：wq

八、配置NTP（2個節點修改）
    1）停掉系統ntp
   # /sbin/service ntpd stop
   # chkconfig ntpd off
   # mv /etc/ntp.conf /etc/ntp.conf.org
   # rm /var/run/ntpd.pid
    2）檢查Oracle叢集時鐘同步服務（安裝完成後）
   $ crsctl check ctss
九、上傳軟體
  將p13390677_112040_Linux-x86-64_1of7與p13390677_112040_Linux-x86-64_2of7上傳到/u01/soft/db下
  將p13390677_112040_Linux-x86-64_3of7上傳到/u01/soft/gi下
  將p18139609_112040_Linux-x86-64上傳到/u01/soft/psu下
  將p6880880_112000_Linux-x86-64上傳到2個節點的/u01/soft/OPatch下
  root使用者解壓
  db軟體
  #unzip /u01/soft/db/p13390677_112040_Linux-x86-64_1of7
  #unzip /u01/soft/db/p13390677_112040_Linux-x86-64_2of7
  gi軟體
  #unzip /u01/soft/gi/p13390677_112040_Linux-x86-64_3of7
  psu包
  #unzip /u01/soft/psu/p18139609_112040_Linux-x86-64
  OPatch需要安裝完gi與db後解壓覆蓋自帶目錄檔案
  #chown -R oracle:oinstall /u01/soft/db
  #chmod -R 775 /u01/soft/db
  #chown -R grid:oinstall /u01/soft/gi
  #chmod -R 775 /u01/soft/gi
  #chown -R grid:oinstall /u01/soft/psu/18139609
  #chmod -R 775 /u01/soft/psu/18139609

十、安裝cvuqdisk包
  1）將rpm包傳到另一節點
  scp /u01/soft/gi/grid/rpm/cvuqdisk-1.0.9-1.rpm host2:/tmp
  2）檢查是否已存在
   # rpm -qi cvuqdisk
  3）設定使用者組環境變數
   #export CVUQDISK_GRP=oinstall
  4)2個節點安裝
   1節點：
   #rpm -ivh /u01/soft/gi/grid/rpm/cvuqdisk-1.0.9-1.rpm
   2節點：
   #rpm -ivh /tmp/cvuqdisk-1.0.9-1.rpm
十一、配置ssh
  sshUserSetup.sh檔案位於1節點：/u01/soft/gi/grid/sshsetup/下;將sshUserSetup.sh傳到2節點/tmp
  目錄下
  #scp /u01/soft/gi/grid/sshsetup/sshUserSetup.sh host2:/tmp
  修改/etc/ssh/sshd_config檔案
  LoginGraceTime 0
  到sshUserSetup.sh檔案對應目錄下2個節點分別執行下面2條命令：
  #./sshUserSetup.sh –user grid –hosts “主機1 主機2” –exverify –noPromptPassphrase –advanced
  #./sshUserSetup.sh –user oracle –hosts “主機1 主機2” –exverify –noPromptPassphrase –advanced
十二、磁碟配置
 12.1 udev繫結磁碟(使用ASM，不需要操作這一步）
  1）獲取需要繫結為ASM Disk的磁碟uuid，例如/dev/mpathc  與/dev/mpathd；2個節點分別執行並比對UUID是否是共享磁碟
  scsi_id --whitelisted --replace-whitespace --device=/dev/mpathc
  scsi_id --whitelisted --replace-whitespace --device=/dev/mpathd
  2)2個節點編寫udev rules檔案（XXXXXX為uuid，NAME部分可以自己命名其餘不需要改動）
  vi /etc/udev/rules.d/99-oracle-asmdevices.rules
  加入
  KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="XXXXXXXXXX", NAME="asm-disk1",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
  KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="XXXXXXXXXX", NAME="asm-disk2",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
  3）2個節點分別啟動
  #/sbin/start_udev
  4）檢查裝置是否正確繫結
  #ls -l /dev/asm*
  brw-rw---- 1 grid asmadmin 8, 32 Oct 26 21:24 /dev/asm-disk1
  brw-rw---- 1 grid asmadmin 8, 32 Oct 26 21:24 /dev/asm-disk2
  
  重啟2臺裝置，重啟完成確認磁碟狀態正常。

 12.2 ASM要執行以下步驟：
  1、建立ASM Disk Volumes
[root@ora ~]# oracleasm configure -i
Configuringthe Oracle ASM library driver.
 
Thiswill configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determinewhether the driver is
loadedon boot and what permissions it will have. The current values
willbe shown in brackets ('[]').  Hitting<ENTER> without typing an
answerwill keep that current value.  Ctrl-Cwill abort.
 
Defaultuser to own the driver interface []: grid
Defaultgroup to own the driver interface []: asmadmin
StartOracle ASM library driver on boot (y/n) [n]: y
Scanfor Oracle ASM disks on boot (y/n) [y]: y
WritingOracle ASM library driver configuration: done
 
[root@ora ~]# oracleasm init
Creating/dev/oracleasm mount point: /dev/oracleasm
Loadingmodule "oracleasm": oracleasm
MountingASMlib driver filesystem: /dev/oracleasm
 
5.2建立ASM磁碟
[root@ora ~]# oracleasm createdisk CRSVOL1 /dev/sdb1
Writingdisk header: done
Instantiatingdisk: done
[root@ora ~]# oracleasm createdisk DATAVOL1 /dev/sdc1
Writingdisk header: done
Instantiatingdisk: done
[root@ora ~]# oracleasm createdisk DATAVOL2 /dev/sdd1
Writingdisk header: done
Instantiatingdisk: done
[root@ora ~]# oracleasm createdisk FRAVOL1 /dev/sde1
Writingdisk header: done
Instantiatingdisk: done
 
[root@ora ~]# oracleasm listdisks
CRSVOL1
DATAVOL1
DATAVOL2
FRAVOL1
 
dbc使用oracleasm-discover查詢ASM磁碟，所以先執行oracleasm-discover檢視是否能找到剛建立的4個磁碟
[root@ora ~]# oracleasm-discover
UsingASMLib from /opt/oracle/extapi/64/asm/orcl/1/libasm.so
[ASMLibrary - Generic Linux, version 2.0.4 (KABI_V2)]
Discovereddisk: ORCL:CRSVOL1 [2096753 blocks (1073537536 bytes), maxio 512]
Discovereddisk: ORCL:DATAVOL1 [41940960 blocks (21473771520 bytes), maxio 512]
Discovereddisk: ORCL:DATAVOL2 [41940960 blocks (21473771520 bytes), maxio 512]
Discovereddisk: ORCL:FRAVOL1 [62912480 blocks (32211189760 bytes), maxio 512]

十三、grid使用者安裝gi
  #xhost +
  #su - grid
  $cd /u01/soft/gi/grid
  $ll
  確認許可權屬組正確 775 grid:oinstall 
  $./runInstaller

       用grid使用者安裝Grid Infrastructure，安裝版本為11.2.0.1 x86_64位版，安裝過程不具體描述，但是在安裝過程中有幾步有以下幾個要注意的地方：
在'Step 2 of 9'時選擇第二個'Configure Oracle Grid Infrastructurefor a Standalone Server'

在'Step 4 of 11'時只選擇一個ASM磁碟CRSVOL1
在'Step 7 of 11'時會彈出警告對話方塊，可以不用理會，直接點選'Yes'
在'Step 9 of 12'會提示找不到pdksh-XXX的包，在RHEL6中已經移出此包，只要系統中有ksh-XXX包即可，選中'IgnoreAll'後點選"Next'按鈕
[root@ora ~]# rpm -qa | grep ksh
ksh-20100621-16.el6.x86_64

最後按照螢幕提示以root使用者執行兩個指令碼，再等待oracle自動完成最後的配置，Grid Infrastructure就安裝完成
 
安裝完後可以檢視ASM例項是否啟動。
[root@ora~]# ps -ef | grep asm
grid     23212    1  0 17:24 ?        00:00:00 asm_pmon_+ASM
grid     23214    1  0 17:24 ?        00:00:00 asm_psp0_+ASM
grid     23246    1  0 17:24 ?        00:00:01 asm_vktm_+ASM
grid     23250    1  0 17:24 ?        00:00:00 asm_gen0_+ASM
grid     23252    1  0 17:24 ?        00:00:00 asm_diag_+ASM
grid     23254    1  0 17:24 ?        00:00:00 asm_dia0_+ASM
grid     23256    1  0 17:24 ?        00:00:00 asm_mman_+ASM
grid     23258    1  0 17:24 ?        00:00:00 asm_dbw0_+ASM
grid     23260    1  0 17:24 ?        00:00:00 asm_lgwr_+ASM
grid     23262    1  0 17:24 ?        00:00:00 asm_ckpt_+ASM
grid     23264    1  0 17:24 ?        00:00:00 asm_smon_+ASM
grid     23266    1  0 17:24 ?        00:00:00 asm_rbal_+ASM
grid     23269    1  0 17:24 ?        00:00:00 asm_gmon_+ASM
grid     23271    1  0 17:24 ?        00:00:00 asm_mmon_+ASM
grid     23273    1  0 17:24 ?        00:00:00 asm_mmnl_+ASM
root     25068 3291  0 17:26 pts/2    00:00:00 grep asm
 
七、建立ASMdisk groups
以grid使用者使用圖形介面建立ASM磁碟組，也可以在SQL*PLUS中用CREATE DISKGROUP語句建立。
[grid@ora grid]$ asmca
預設會看到安裝Grid Infrastructure已經建立的CRS磁碟組如圖ASM-1，點選'Create'按鈕增加新的磁碟組DATA和FRA。
DATA磁碟組包含DATAVOL1和DATAVOL2，用來儲存資料庫檔案，FRA磁碟組包含FRAVOL1，用來做快速恢復區。在這裡DATA磁碟組沒有設定任何冗餘。
設定完成後顯示的結果。

oracleasm scandisks----查到當前資料庫的asm清單

http://blog.csdn.net/seertan/article/details/8487714
http://blog.csdn.net/rgb_rgb/article/details/8445321

十四、oracle使用者安裝db
  #xhost +
  #su - oracle
  $cd /u01/soft/db/database
  $ll
  確認許可權屬組正確 
  $./runInstaller
  圖形化安裝
十五、psu補丁安裝
  1）更新自帶OPatch（2個節點都需要執行）
  將原有OPatch重新命名，並將最新的OPatch解壓到相應目錄
  #unzip p6880880_112000_Linux-x86-64.zip -d /u01/app/11.2.0/grid/
  #unzip p6880880_112000_Linux-x86-64.zip -d /u01/app/oracle/product/11.2.0/dbhome_1
  #chown -R grid:oinstall /u01/app/11.2.0/grid/OPatch
  #chmod -R 775 /u01/app/11.2.0/grid/OPatch
  #chown -R oracle:oinstall /u01/app/oracle/product/11.2.0/dbhome_1/OPatch
  #chmod -R 775 /u01/app/oracle/product/11.2.0/dbhome_1/OPatch
  2)建立ocm響應檔案（2個節點都需要執行）
  grid使用者執行
  #su - grid
  $/u01/app/11.2.0/grid/OPatch/ocm/bin/emocmrsp  -no_banner -output /tmp/ocmfile.rsp
  3）解壓psu補丁
  #unzip /u01/spft/psu/p18139609_112040_Linux-x86-64
  #chown -R grid:oinstall 18139609
  #chmod -R 775 18139609
  4）2個節點分別以root使用者在各節點執行如下命令對gi安裝補丁
  #/u01/app/11.2.0/grid/OPatch/opatch auto /u01/soft/psu/18139609 -ocmrf /tmp/ocmfile.rsp
  5）修改/u01/soft/psu/18139609/18031668屬組許可權
  #chown -R oracle：oinstall /u01/soft/psu/18139609/18031668
  #chmod -R 775 /u01/soft/psu/18139609/18031668
  6）主節點為db安裝補丁
  #su - oracle
  $/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch napply -oh /u01/app/oracle/product/11.2.0/dbhome_1 /20140612/PSU/18139609/18031668
  7)驗證補丁安裝版本
  2節點分別執行
  grid使用者
  $/u01/app/11.2.0/grid/OPatch/opatch lsinventory
  oracle使用者
  $/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory
  會顯示一系列的補丁號
  系統重啟。oracle叢集隨系統自動重啟，完成後到gird使用者下確認crs狀態正常
  #su - grid
  $crs_stat -t
  
十六、建庫
  1)ASMCA 建立資料磁碟
  grid使用者
  #su - grid
  $asmca
  選擇未使用的磁碟做ASM磁碟
  2）建庫
  oracle使用者
  #su - oracle
  $dbca
  圖形介面配置
十七、引數修改
  #su - oracle
  $sqlplus / as sysdba
  sql>alter profile DEFAULT limit failed_login_attempts unlimited password_life_time unlimited;(關閉密碼時效，預設180天失效)
  sql>alter system set audit_trail=none scope=spfile;(關閉審計)
  sql>alter system set deferred_segement_creation=false;
  sql>alter system set sec_case_sensitive_logon=false;(關閉大小寫敏感)
  重啟2個例項生效
  sql>shutdown immediate;
  sql>startup
十八、確認資料庫正常