AIX6.1+HA+ORACLE10G RAC 安裝參考手冊

第一次在AIX上安裝Oracle，還是做RAC，偏偏作業系統還是比較新的AIX6.1還有HACMP 5.4真是痛苦呀，經歷了N長的時間，尋求了不少幫助，終於成型了，呵呵……

[@more@]AIX6.1+HAcmp5.4+ORACLE10G RAC 安裝參考手冊
一、系統軟硬體組成及安裝環境規劃
硬體環境：IBM P6 570兩臺
HP磁碟陣列2TB
交換機;
軟體環境：AIX6.1+HAcmp5.4
Oracle Database 10g for AIX5L(64-BIT)
二、系統規劃
三、安裝準備
1、調整AIX檔案系統
使用smit fs 兩臺機器調整成相同調整後的檔案系統情況如下：
$ hostname
node1
$ df -g
Filesystem GB blocks Free %Used Iused %Iused Mounted on
/dev/hd4 20.00 19.84 1% 10156 1% /
/dev/hd2 10.00 8.19 19% 40056 3% /usr
/dev/hd9var 10.00 9.88 2% 988 1% /var
/dev/hd3 4.00 3.75 7% 368 1% /tmp
/dev/hd1 25.00 8.48 67% 36487 2% /home
/dev/hd11admin 0.25 0.25 1% 5 1% /admin
/proc - - - - - /proc
/dev/hd10opt 30.00 29.87 1% 4645 1% /opt
# hostname
node2
# df -g
Filesystem GB blocks Free %Used Iused %Iused Mounted on
/dev/hd4 20.00 19.85 1% 10211 1% /
/dev/hd2 10.00 7.88 22% 42813 3% /usr
專案
說明
備註
作業系統
AIX6.1
AIX6.1
主機名
node1
node2
記憶體
16GB
16GB
本地磁碟
146GB *2
146GB*2
儲存（HP）
2TB
2TB
雙光纖通道
專用IP
124.17.100.102
124.17.100.103
虛擬IP
192.168.1.1
192.168.1.2
公共IP
124.17.100.104
124.17.100.105
Oracle RAC SID
keyan1
keyan2
資料庫名稱
keyan
SERVERICE_NAME
keyandb
/dev/hd9var 10.00 9.87 2% 921 1% /var
/dev/hd3 4.00 3.56 11% 1246 1% /tmp
/dev/fwdump 1.00 1.00 1% 4 1% /var/adm/ras/platform
/dev/hd1 25.00 10.23 60% 32743 2% /home
/dev/hd11admin 0.25 0.25 1% 5 1% /admin
/proc - - - - - /proc
/dev/hd10opt 30.00 29.81 1% 5566 1% /opt
2、檢查系統記憶體（兩個節點相同）
# lsattr -E -l sys0 -a realmem
realmem 15466496 Amount of usable physical memory in Kbytes False
3、檢查CPU（兩個節點相同）
# lsdev -C | grep proc
proc0 Available 00-00 Processor
proc2 Available 00-02 Processor
proc4 Available 00-04 Processor
proc6 Available 00-06 Processor
4、配置HACMP叢集
$ hostname
node1
$ ifconfig -a
en8:flags=1e080863,c0
inet 192.168.1.1 netmask 0xffffff00 broadcast 192.168.1.255
en9:flags=5e080863,c0
inet 124.17.100.102 netmask 0xffffff00 broadcast 124.17.100.255
inet 124.17.100.104 netmask 0xffffff00 broadcast 124.17.100.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
$ netstat -in
Name Mtu Network Address ZoneID Ipkts Ierrs Opkts Oerrs Coll
en8 1500 link#2 0.21.5e.2.65.91 803100 0 620942 0 0
en8 1500 192.168.1 192.168.1.1 803100 0 620942 0 0
en9 1500 link#3 0.14.5e.74.bc.b0 272543 0 185511 4 0
en9 1500 124.17.100 124.17.100.102 272543 0 185511 4 0
en9 1500 124.17.100 124.17.100.104 272543 0 185511 4 0
lo0 16896 link#1 868306 0 868485 0 0
lo0 16896 127 127.0.0.1 868306 0 868485 0 0
lo0 16896 ::1 1 868306 0 868485 0 0
$
# hostname
node2
# ifconfig -a
en8:flags=1e080863,c0
inet 192.168.1.2 netmask 0xffffff00 broadcast 192.168.1.255
en9:flags=5e080863,c0
inet 124.17.100.103 netmask 0xffffff00 broadcast 124.17.100.255
inet 124.17.100.105 netmask 0xffffff00 broadcast 124.17.100.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
# netstat -in
Name Mtu Network Address ZoneID Ipkts Ierrs Opkts Oerrs Coll
en8 1500 link#2 0.21.5e.2.40.31 714111 0 679573 0 0
en8 1500 192.168.1 192.168.1.2 714111 0 679573 0 0
en9 1500 link#3 0.14.5e.74.fc.e4 259675 0 187897 4 0
en9 1500 124.17.100 124.17.100.103 259675 0 187897 4 0
en9 1500 124.17.100 124.17.100.105 259675 0 187897 4 0
lo0 16896 link#1 865854 0 866047 0 0
lo0 16896 127 127.0.0.1 865854 0 866047 0 0
lo0 16896 ::1 1 865854 0 866047 0 0
#
（1）、建立cluster
smit hacmp


回車，完成建立cluster。
（2）、新增節點
# smitty hacmp
Initialization and Standard Configuration
Add Nodes to an HACMP Cluster
Configure Nodes to an HACMP Cluster (standard)
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Cluster Name [ibm_cls]
New Nodes (via selected communication paths) [node1 node2] +
Currently Configured Node(s)
（3）、新增資源組
# smitty hacmp
Initialization and Standard Configuration
Configure HACMP Resource Groups
Add a Resource Group
Add a Resource Group
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Resource Group Name [racdbrg]
* Participating Nodes (Default Node Priority) [node1 node2] +
Startup Policy Online On All Available Nodes +
Fallover Policy Bring Offline (On Error Node Only) +
Fallback Policy Never Fallback
（4）、配置串列埠通訊
# smitty hacmp
Extended Configuration
Extended Topology Configuration
Configure HACMP Communication Interfaces/Devices
Add Communication Interfaces/Devices
Select a category
Move cursor to desired item and press Enter.
> Add Discovered Communication Interface and Devices
Add Pre-defined Communication Interfaces and Devices
Select a category
Move cursor to desired item and press Enter.
Discovery last performed: (Dec 08 20:10)
Communication Interfaces
> Communication Devices
Select Point-to-Point Pair of Discovered Communication Devices to Add
Move cursor to desired item and press F7. Use arrow keys to scroll.
ONE OR MORE items can be selected.
Press Enter AFTER making all selections.
Node Device Device Path Pvid
node1 hdisk2 /dev/hdisk2 0002ee503cc
node2 hdisk2 /dev/hdisk2 0002ee503cc
> node1 tty0 /dev/tty0
> node2 tty0 /dev/tty0
5、修改/etc/hosts檔案（兩節點分別完成），新增以下內容：
192.168.2.1 node1_boot2
192.168.2.2 node2_boot2
192.168.1.1 node1_boot1
192.168.1.2 node2_boot1
124.17.100.102 node1 node1_pre
124.17.100.103 node2 node2_pre
124.17.100.104 node1_vip
124.17.100.105 node2_vip
6、修改/etc/rc.net，新增如下的內容（雙節點）
#for oracle rac
if [ -f /usr/sbin/no ] ; then
/usr/sbin/no -o extendednetstats=0 >>/dev/null 2>&1
/usr/sbin/no -p -o udp_sendspace=65536
/usr/sbin/no -p -o udp_recvspace=262144
/usr/sbin/no -p -o tcp_sendspace=262144
/usr/sbin/no -p -o tcp_recvspace=262144
/usr/sbin/no -p -o rfc1323=1
/usr/sbin/no -p -o sb_max=1310720
/usr/sbin/no -r -o ipqmaxlen=512
fi
#for oracle rac end
7、在雙節點上分別建立Oracle使用者，dba、oinstall、hagsuser組，並保持組ID和使用者ID相同。
使用smitty group和smitty user新增組和使用者新增後的情況如下：
# hostname
node1
# id oracle
uid=301(oracle) gid=220(oinstall) groups=221(dba),222(hagsuser)
# hostname
node2
# id oracle
uid=301(oracle) gid=220(oinstall) groups=221(dba),222(hagsuser)
8、配置磁碟陣列,建立共享卷
# smitty mkvg
Add a Big Volume Group
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
VOLUME GROUP name [datavg] +
Physical partition SIZE in megabytes 128
* PHYSICAL VOLUME names [hdisk4,hdisk5] +
Force the creation of a volume group yes +
Activate volume group AUTOMATICALLY no +
at system restart?
Volume Group MAJOR NUMBER [60]
Create VG Concurrent Capable? enhanced concurrent +
啟用卷組
# varyonvg -c datavg
建立LV
mklv -y'rac_crs' -w'n' -s'n' -r'n' datavg 2
mklv -y'rac_voting' -w'n' -s'n' -r'n' datavg 2
mklv -y'rac_data01' -w'n' -s'n' -r'n' datavg 128
修改許可權
#chown oracle:dba /dev/rrac_*
在另外一個節點上匯入並行卷組#importvg -y data_vg hdisk4
為根分割槽做映象
1）、將rootvg擴充套件到hdisk1上（預設是hdisk0）
chdev -l hdisk1 -a pv=yes
extendvg rootvg hdisk1
2）、映象
mirrorvg -S -c 2 rootvg hdisk1
3）、重新生成boot image
bosboot -ad /dev/hdisk0
bosboot -ad /dev/hdisk1
4）、更新bootlist
bootlist -m normal hdisk0 hdisk1 cd0
檢視更改結果
bootlist -o -m normal
5）、重啟系統
shutdown -Fr
9、確保每個節點上的hacmp叢集已經正常啟動，如果沒有啟動使用smitty clsstart啟動叢集
10、設定環境變數（兩個節點分別配置）
節點1
su – oracle
vi .profile新增以下內容：
export ORACLE_HOME=/home/oracle/product/10.2.0/db
export ORACLE_BASE=/home/oracle
export ORACLE_SID=keyan1
unset USERNAME
umask 022
export PATH=$HOME/bin:$ORACLE_HOME/bin:$PATH
節點2
su – oracle
vi .profile新增以下內容：
export ORACLE_HOME=/home/oracle/product/10.2.0/db
export ORACLE_BASE=/home/oracle
export ORACLE_SID=keyan2
unset USERNAME
umask 022
export PATH=$HOME/bin:$ORACLE_HOME/bin:$PATH
四、安裝Oracle CRS
先打補丁p6718715_10203_AIX64-5L.zip，然後以root使用者執行補丁6718715裡面的rootpre.sh檔案；
再用oracle使用者執行CRS安裝程式
./runInstaller
介面如下：
點選Next
點選Next
選擇CRS安裝的目錄/home/oracle/product/10.2.0/crs，點選Next
oracle進行系統引數檢查無問題，點選Next
新增Cluster中兩個節點及相關的公網、私網、VIP網路名稱，點選Next
選擇ocr檔案的位置為/dev/rac_crs，點選Next
選擇voting disk的位置為/dev/rac_crs，點選Next
執行安裝至完成。
完成後安裝提示用root使用者分別在每個節點執行root.sh.
CRS配置完成。
五、安裝oracle資料庫軟體
先以root使用者執行安裝盤中rootpre目錄中的rootpre.sh指令碼；
然後用oracle使用者執行資料庫安裝軟體
./runInstaller
介面如下：
點選Next
選擇Enterprise Edition，，點選Next
選擇資料庫安裝目錄為/home/oracle/product/10.2.0/db，點選Next
點選“Select All”選擇所有節點，點選Next
Oracle軟體進行系統引數檢查，檢查透過後點選Next
選擇Install Database Software only ，點選Next
點選Next完成安裝。安裝完成後按照提示分別在每個節點用root使用者執行root.sh指令碼。
至此資料庫軟體安裝完成
六、netca進行網路配置
用oracle使用者執行netca命令，如圖所示：
選擇Cluster Configuration，點選Next
點選“Select all nodes”選擇所有節點，點選“Next”
選擇Listener configuration，點選Next
選擇Add，點選Next
配置監聽器的名稱，點選Next
選擇TCP協議支援，點選Next
使用1521埠作為監聽埠，點選Next
不進行其他配置，點選Next
完成監聽器配置
七、配置ASM
使用dbca新建ASM儲存卷，用oracle使用者執行dbca命令，如圖所示：
選擇Oracle Real Application Clusters database，點選Next
選擇Configure Austomatic Storage Management，點選Next
點選“select all”選擇所有節點，點選“next”
給出ASM SYS的密碼為keyan，選擇使用Pfile作為ASM的引數檔案，點選Next
點選OK
ASM 例項開始啟動
出現ASM磁碟組的介面，點選Create New
出現選擇磁碟新建磁碟組介面，點選Change Disk Discovery Path按鈕
輸入Discovery Path為/dev/rrac_data*，點選OK
選擇/dev/rrac_data01磁碟，選擇Redundancy為Extenal，給出Disk Group Name為DATAVG，點選OK
完成新建ASM工作
八、DBCA建立資料庫
使用oracle使用者，執行dbca，出現如下介面：
選擇Oracle Real Application Clusters database，點選Next
選擇Create Database，點選Next
點選“select all”選擇所有節點，點選“next”
選擇General purpose，點選Next
輸入Global Database Name和SID prefix為keyan，點選Next
去掉Configure the Database with Enterprose Manager，點選Next
輸入SYS和SYSTEM的密碼，點選Next
儲存選擇Automatic Storage Management (ASM) ，點選Next
選擇第四步建立的DATAVG作為儲存，點選Next
點選Next
點選Next
點選Next
出現Service配置介面，點選Add新增Service
Enter Service name 處填寫keyandb，點選OK
TAF Policy 選擇Basic，keyan1和keyan2都使用Perferred，點選Next
記憶體配置使用系統記憶體的65%，點選Sizing Tab頁
更改Processes 為1024，選擇Character Sets Tab頁
選擇Choose from the list of character sets中的ZHS16GBK，
Defatult Language為Simplified Chinese，Default Date Format為China，點選Next
點選Next
點選Finish建立資料庫。
九、升級Oracle10g RAC（10.2.0.10升級到10.2.0.4.0）
1、下載Oracle10.2.0.4.0 for AIX 64-bit升級包 p6810189_10204_AIX5L.zip並解壓
2、關閉資料庫:分別在每個節點執行
sqlplus /nolog
conn sys/sys密碼 as sysdba
shutdown
3、停止所有RAC上所有服務
1）、chmod -R +w /home/oracle/product/10.2.0/crs/inventory/Templates/*
2）、isqlplusctl stop
3）、emctl stop dbconsole
4）、lsnrctl stop
5）、srvctl stop service –d keyan
6）、srvctl stop instance –d keyan –I keyan1
srvctl stop instance –d keyan –I keyan2
7）、srvctl stop asm –n node1
srvctl stop asm –n node2
8）、srvctl stop nodeapps –n node1
srvctl stop nodeapps –n node2
9）、以root使用者執行（每個節點分別執行）
/home/oracle/product/10.2.0/crs/bin/crsctl stop crs
ps –ef|grep ons 將找到的程式使用kill -9 pid殺死
/home/oracle/product/10.2.0/crs/install/root102.sh
10）、對系統進行冷備份
11）、安裝升級補丁
安裝結束後需要分別在每個節點用root使用者執行root.sh
12）、SQL> STARTUP UPGRADE
SQL> SPOOL upgrade_info.log
SQL> @?/rdbms/admin/utlu102i.sql
SQL> SPOOL OFF
完成後檢查upgrade_info.log
13） 、SQL> STARTUP NOMOUNT
SQL> ALTER SYSTEM SET CLUSTER_DATABASE=FALSE SCOPE=spfile;
SQL> SHUTDOWN
14）、SQL> STARTUP UPGRADE
SQL> SPOOL patch.log
SQL> @?/rdbms/admin/catupgrd.sql
SQL> SPOOL OFF
15）、重新啟動資料庫
SQL> SHUTDOWN IMMEDIATE
SQL> STARTUP
16）、SQL> @?/rdbms/admin/utlrp.sql
17）、SQL> ALTER SYSTEM SET CLUSTER_DATABASE=TRUE SCOPE=spfile;
18）、重新啟動資料庫；啟動所有的資料庫服務。
十、驗證RAC 叢集和資料庫配置
所有例項和服務的狀態
$ srvctl status database -d keyan
Instance keyan1 is running on node node1
Instance keyan2 is running on node node2
單個例項的狀態
$ srvctl status instance -d keyan -i keyan1
Instance keyan1 is running on node node1
$ srvctl status instance -d keyan -i keyan2
Instance keyan2 is running on node node2
在資料庫全域性命名服務的狀態
$ srvctl status service -d keyan
Service keyandb is running on instance(s) keyan2, keyan1
特定節點上節點應用程式的狀態
$ srvctl status nodeapps -n node1
VIP is running on node: node1
GSD is running on node: node1
Listener is running on node: node1
ONS daemon is running on node: node1
$ srvctl status nodeapps -n node2
VIP is running on node: node2
GSD is running on node: node2
Listener is running on node: node2
ONS daemon is running on node: node2
ASM 例項的狀態
$ srvctl status asm -n node1
ASM instance +ASM1 is running on node node1.
$ srvctl status asm -n node2
ASM instance +ASM2 is running on node node2.
列出配置的所有資料庫
$ srvctl config database
Keyan
顯示RAC 資料庫的配置
$ srvctl config database -d keyan
node1 keyan1 /home/oracle/product/10.2.0/db
node2 keyan2 /home/oracle/product/10.2.0/db
顯示指定叢集資料庫
$ srvctl config service -d keyan
keyandb PREF: keyan2 keyan1 AVAIL:
顯示節點應用程式的配置-（VIP、GSD、ONS、監聽器）
$ srvctl config nodeapps -n node1 -a -g -s -l
VIP exists.: /node1_vip/124.17.100.104/255.255.255.0/en9
GSD exists.
ONS daemon exists.
Listener exists.
$ srvctl config nodeapps -n node2 -a -g -s -l
VIP exists.: /node2_vip/124.17.100.105/255.255.255.0/en9
GSD exists.
ONS daemon exists.
Listener exists.
顯示ASM 例項的配置
$ srvctl config asm -n node1
+ASM1 /home/oracle/product/10.2.0/db
$ srvctl config asm -n node2
+ASM2 /home/oracle/product/10.2.0/db
叢集中所有正在執行的例項
SQL>SELECT inst_id, instance_number inst_no, instance_name inst_name , parallel , status
, database_status db_status, active_state state, host_name host
FROM gv$instance
ORDER BY inst_id;
INST_ID INST_NO INST_NAME PAR STATUS DB_STATUS STATE HOST
---------- ---------- ---------------- --- ------------ ----------------- --------- ----------------------------------------------------------------
1 1 keyan1 YES OPEN ACTIVE NORMAL node1
2 2 keyan2 YES OPEN ACTIVE NORMAL node2
位於磁碟組中的所有資料檔案
SQL> select name from v$datafile
union
select member from v$logfile
union
select name from v$controlfile
union
select name from v$tempfile;
NAME
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
+DATAVG/keyan/controlfile/current.260.682350775
+DATAVG/keyan/datafile/sysaux.257.682350719
+DATAVG/keyan/datafile/system.256.682350719
+DATAVG/keyan/datafile/undotbs1.258.682350719
+DATAVG/keyan/datafile/undotbs2.264.682350799
+DATAVG/keyan/datafile/users.259.682350719
+DATAVG/keyan/onlinelog/group_1.261.682350777
+DATAVG/keyan/onlinelog/group_2.262.682350777
+DATAVG/keyan/onlinelog/group_3.265.682350821
+DATAVG/keyan/onlinelog/group_4.266.682350821
+DATAVG/keyan/tempfile/temp.263.682350779
11 rows selected.