AIX6.1+HAcmp5.4+ORACLE10G RAC 安裝參考手冊

AIX6.1+HAcmp5.4+ORACLE10G RAC 安裝參考手冊

一、系統軟硬體組成及安裝環境規劃

硬體環境：IBM P6 570兩臺

HP磁碟陣列2TB

交換機;

軟體環境：AIX6.1+HAcmp5.4

 Oracle Database 10g for AIX5L(64-BIT)

二、系統規劃

專案

說明

備註

作業系統

AIX6.1

AIX6.1

 

主機名

node1

node2

 

記憶體

16GB

16GB

 

本地磁碟

146GB *2

146GB*2

 

儲存（HP）

2TB

2TB

雙光纖通道

專用IP

124.17.100.102

124.17.100.103

 

虛擬IP

192.168.1.1

192.168.1.2

 

公共IP

124.17.100.104

124.17.100.105

 

Oracle RAC SID

keyan1

keyan2

 

資料庫名稱

keyan

 

SERVERICE_NAME

keyandb

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

三、安裝準備
1、 調整AIX檔案系統

使用smit fs 兩臺機器調整成相同調整後的檔案系統情況如下：

$ hostname

node1

$ df -g

Filesystem GB blocks Free %Used Iused %Iused Mounted on

/dev/hd4 20.00 19.84 1% 10156 1% /

/dev/hd2 10.00 8.19 19% 40056 3% /usr

/dev/hd9var 10.00 9.88 2% 988 1% /var

/dev/hd3 4.00 3.75 7% 368 1% /tmp

/dev/hd1 25.00 8.48 67% 36487 2% /home

/dev/hd11admin 0.25 0.25 1% 5 1% /admin

/proc - - - - - /proc

/dev/hd10opt 30.00 29.87 1% 4645 1% /opt

 

 # hostname

node2

# df -g

Filesystem GB blocks Free %Used Iused %Iused Mounted on

/dev/hd4 20.00 19.85 1% 10211 1% /

/dev/hd2 10.00 7.88 22% 42813 3% /usr

/dev/hd9var 10.00 9.87 2% 921 1% /var

/dev/hd3 4.00 3.56 11% 1246 1% /tmp

/dev/fwdump 1.00 1.00 1% 4 1% /var/adm/ras/platform.

/dev/hd1 25.00 10.23 60% 32743 2% /home

/dev/hd11admin 0.25 0.25 1% 5 1% /admin

/proc - - - - - /proc

/dev/hd10opt 30.00 29.81 1% 5566 1% /opt

2、 檢查系統記憶體（兩個節點相同）

# lsattr -E -l sys0 -a realmem

realmem 15466496 Amount of usable physical memory in Kbytes False

3、 檢查CPU（兩個節點相同）

# lsdev -C | grep proc

proc0 Available 00-00 Processor

proc2 Available 00-02 Processor

proc4 Available 00-04 Processor

proc6 Available 00-06 Processor

4、 配置HACMP叢集

$ hostname

node1

 

 

$ ifconfig -a

en8:flags=1e080863,c0

 inet 192.168.1.1 netmask 0xffffff00 broadcast 192.168.1.255

en9:flags=5e080863,c0

 inet 124.17.100.102 netmask 0xffffff00 broadcast 124.17.100.255

 inet 124.17.100.104 netmask 0xffffff00 broadcast 124.17.100.255

 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

lo0: flags=e08084b

 inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

 inet6 ::1/0

 tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

$ netstat -in

Name Mtu Network Address ZoneID Ipkts Ierrs Opkts Oerrs Coll

en8 1500 link#2 0.21.5e.2.65.91 803100 0 620942 0 0

en8 1500 192.168.1 192.168.1.1 803100 0 620942 0 0

en9 1500 link#3 0.14.5e.74.bc.b0 272543 0 185511 4 0

en9 1500 124.17.100 124.17.100.102 272543 0 185511 4 0

en9 1500 124.17.100 124.17.100.104 272543 0 185511 4 0

lo0 16896 link#1 868306 0 868485 0 0

lo0 16896 127 127.0.0.1 868306 0 868485 0 0

lo0 16896 ::1 1 868306 0 868485 0 0

$

 

# hostname

node2

# ifconfig -a

en8:flags=1e080863,c0

 inet 192.168.1.2 netmask 0xffffff00 broadcast 192.168.1.255

en9:flags=5e080863,c0

 inet 124.17.100.103 netmask 0xffffff00 broadcast 124.17.100.255

 inet 124.17.100.105 netmask 0xffffff00 broadcast 124.17.100.255

 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0

lo0: flags=e08084b

 inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255

 inet6 ::1/0

 tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1

# netstat -in

Name Mtu Network Address ZoneID Ipkts Ierrs Opkts Oerrs Coll

en8 1500 link#2 0.21.5e.2.40.31 714111 0 679573 0 0

en8 1500 192.168.1 192.168.1.2 714111 0 679573 0 0

en9 1500 link#3 0.14.5e.74.fc.e4 259675 0 187897 4 0

en9 1500 124.17.100 124.17.100.103 259675 0 187897 4 0

en9 1500 124.17.100 124.17.100.105 259675 0 187897 4 0

lo0 16896 link#1 865854 0 866047 0 0

lo0 16896 127 127.0.0.1 865854 0 866047 0 0

lo0 16896 ::1 1 865854 0 866047 0 0

#

 （1）、建立cluster

 smit hacmp

 

 

 

 

 

 回車，完成建立cluster。

 （2）、新增節點

 # smitty hacmp

Initialization and Standard Configuration

Add Nodes to an HACMP Cluster

 

Configure Nodes to an HACMP Cluster (standard)

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

 

[Entry Fields]

* Cluster Name [ibm_cls]

New Nodes (via selected communication paths) [node1 node2] +

Currently Configured Node(s)

 （3）、新增資源組

# smitty hacmp

Initialization and Standard Configuration

Configure HACMP Resource Groups

Add a Resource Group

Add a Resource Group

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

[Entry Fields]

* Resource Group Name [racdbrg]

* Participating Nodes (Default Node Priority) [node1 node2] +

Startup Policy Online On All Available Nodes +

Fallover Policy Bring Offline (On Error Node Only) +

Fallback Policy Never Fallback

 （4）、配置串列埠通訊

 

# smitty hacmp

Extended Configuration

Extended Topology Configuration

Configure HACMP Communication Interfaces/Devices

Add Communication Interfaces/Devices

Select a category

Move cursor to desired item and press Enter.

> Add Discovered Communication Interface and Devices

Add Pre-defined Communication Interfaces and Devices

Select a category

Move cursor to desired item and press Enter.

Discovery last performed: (Dec 08 20:10)

Communication Interfaces

> Communication Devices

Select Point-to-Point Pair of Discovered Communication Devices to Add

Move cursor to desired item and press F7. Use arrow keys to scroll.

ONE OR MORE items can be selected.

Press Enter AFTER making all selections.

Node Device Device Path Pvid

node1 hdisk2 /dev/hdisk2 0002ee503cc

node2 hdisk2 /dev/hdisk2 0002ee503cc

> node1 tty0 /dev/tty0

> node2 tty0 /dev/tty0

 

5、修改/etc/hosts檔案（兩節點分別完成），新增以下內容：

 192.168.2.1 node1_boot2

192.168.2.2 node2_boot2

 

192.168.1.1 node1_boot1

192.168.1.2 node2_boot1

 

124.17.100.102 node1 node1_pre

124.17.100.103 node2 node2_pre

 

124.17.100.104 node1_vip

124.17.100.105 node2_vip

6、修改/etc/rc.net，新增如下的內容（雙節點）

 #for oracle rac

if [ -f /usr/sbin/no ] ; then

/usr/sbin/no -o extendednetstats=0 >>/dev/null 2>&1

/usr/sbin/no -p -o udp_sendspace=65536

/usr/sbin/no -p -o udp_recvspace=262144

/usr/sbin/no -p -o tcp_sendspace=262144

/usr/sbin/no -p -o tcp_recvspace=262144

/usr/sbin/no -p -o rfc1323=1

/usr/sbin/no -p -o sb_max=1310720

/usr/sbin/no -r -o ipqmaxlen=512

fi

#for oracle rac end

 7、在雙節點上分別建立Oracle使用者，dba、oinstall、hagsuser組，並保持組ID和使用者ID相同。

 使用smitty group和smitty user新增組和使用者新增後的情況如下：

 

# hostname

node1

# id oracle

uid=301(oracle) gid=220(oinstall) groups=221(dba),222(hagsuser)

 

 # hostname

node2

# id oracle

uid=301(oracle) gid=220(oinstall) groups=221(dba),222(hagsuser)

 8、配置磁碟陣列,建立共享卷

# smitty mkvg

Add a Big Volume Group

Type or select values in entry fields.

Press Enter AFTER making all desired changes.

[Entry Fields]

VOLUME GROUP name [datavg] +

Physical partition SIZE in megabytes 128

* PHYSICAL VOLUME names [hdisk4,hdisk5] +

Force the creation of a volume group yes +

Activate volume group AUTOMATICALLY no +

at system restart?

Volume Group MAJOR NUMBER [60]

Create VG Concurrent Capable? enhanced concurrent +

啟用卷組

# varyonvg -c datavg

建立LV

mklv -y'rac_crs' -w'n' -s'n' -r'n' datavg 2

mklv -y'rac_voting' -w'n' -s'n' -r'n' datavg 2

mklv -y'rac_data01' -w'n' -s'n' -r'n' datavg 128

修改許可權

#chown oracle:dba /dev/rrac_*

在另外一個節點上匯入並行卷組#importvg -y data_vg hdisk4

為根分割槽做映象

1）、將rootvg擴充套件到hdisk1上（預設是hdisk0）

chdev -l hdisk1 -a pv=yes

extendvg rootvg hdisk1

2）、映象

mirrorvg -S -c 2 rootvg hdisk1

3）、重新生成boot image

bosboot -ad /dev/hdisk0

bosboot -ad /dev/hdisk1

4）、更新bootlist

bootlist -m normal hdisk0 hdisk1 cd0

檢視更改結果

bootlist -o -m normal

5）、重啟系統

shutdown -Fr

 

9、確保每個節點上的hacmp叢集已經正常啟動，如果沒有啟動使用smitty clsstart啟動叢集

10、設定環境變數（兩個節點分別配置）

節點1

su – oracle

vi .profile新增以下內容：

export ORACLE_HOME=/home/oracle/product/10.2.0/db

export ORACLE_BASE=/home/oracle

export ORACLE_SID=keyan1

unset USERNAME

umask 022

export PATH=$HOME/bin:$ORACLE_HOME/bin:$PATH

 

節點2

su – oracle

vi .profile新增以下內容：

export ORACLE_HOME=/home/oracle/product/10.2.0/db

export ORACLE_BASE=/home/oracle

export ORACLE_SID=keyan2

unset USERNAME

umask 022

export PATH=$HOME/bin:$ORACLE_HOME/bin:$PATH

 

四、安裝Oracle CRS

先打補丁p6718715_10203_AIX64-5L.zip，然後以root使用者執行補丁6718715裡面的rootpre.sh檔案；

再用oracle使用者執行CRS安裝程式

./runInstaller

介面如下：

 

點選Next

 

點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\crs\crs4.jpg

選擇CRS安裝的目錄/home/oracle/product/10.2.0/crs，點選Next

 

oracle進行系統引數檢查無問題，點選Next

 

新增Cluster中兩個節點及相關的公網、私網、VIP網路名稱，點選Next

 

選擇ocr檔案的位置為/dev/rac_crs，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\crs\crs8.jpg

選擇voting disk的位置為/dev/rac_crs，點選Next

 

執行安裝至完成。

完成後安裝提示用root使用者分別在每個節點執行root.sh.

CRS配置完成。

 

五、安裝oracle資料庫軟體

先以root使用者執行安裝盤中rootpre目錄中的rootpre.sh指令碼；

然後用oracle使用者執行資料庫安裝軟體

./runInstaller

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\db\db1.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\db\db2.jpg
介面如下：

 

點選Next

 

選擇Enterprise Edition，，點選Next

 

選擇資料庫安裝目錄為/home/oracle/product/10.2.0/db，點選Next

 

點選“Select All”選擇所有節點，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\db\db5.jpg

Oracle軟體進行系統引數檢查，檢查通過後點選Next

 

選擇Install Database Software only ，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca1.jpg

點選Next完成安裝。安裝完成後按照提示分別在每個節點用root使用者執行root.sh指令碼。

至此資料庫軟體安裝完成

 

六、netca進行網路配置

用oracle使用者執行netca命令，如圖所示：

 

選擇Cluster Configuration，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca3.jpg

點選“Select all nodes”選擇所有節點，點選“Next”

 

選擇Listener configuration，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca4.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca5.jpg

選擇Add，點選Next

 

配置監聽器的名稱，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca6.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca7.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca8.jpg

選擇TCP協議支援，點選Next

 

使用1521埠作為監聽埠，點選Next

 

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\netca\netca9.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm1.jpg
不進行其他配置，點選Next

 

完成監聽器配置

 

 

七、配置ASM

使用dbca新建ASM儲存卷，用oracle使用者執行dbca命令，如圖所示：

 

選擇Oracle Real Application Clusters database，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm2.jpg

選擇Configure Austomatic Storage Management，點選Next

 

點選“select all”選擇所有節點，點選“next”

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm4.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm5.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm6.jpg

給出ASM SYS的密碼為keyan，選擇使用Pfile作為ASM的引數檔案，點選Next

 

點選OK

 

ASM 例項開始啟動

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm7.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm8.jpg

出現ASM磁碟組的介面，點選Create New

 

出現選擇磁碟新建磁碟組介面，點選Change Disk Discovery Path按鈕

 

 

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\asm\asm11.jpg
輸入Discovery Path為/dev/rrac_data*，點選OK

 

選擇/dev/rrac_data01磁碟，選擇Redundancy為Extenal，給出Disk Group Name為DATAVG，點選OK

 

完成新建ASM工作

 

八、DBCA建立資料庫

 使用oracle使用者，執行dbca，出現如下介面：

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca1.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca2.jpg

選擇Oracle Real Application Clusters database，點選Next

 

選擇Create Database，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca4.jpg

點選“select all”選擇所有節點，點選“next”

 

選擇General purpose，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca6.jpg

輸入Global Database Name和SID prefix為keyan，點選Next

 

去掉Configure the Database with Enterprose Manager，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca7.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca8.jpg

輸入SYS和SYSTEM的密碼，點選Next

 

儲存選擇Automatic Storage Management (ASM) ，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca10.jpg

選擇第四步建立的DATAVG作為儲存，點選Next

 

點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca11.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca12.jpg

點選Next

 

點選Next

 

 

出現Service配置介面，點選Add新增Service

 

Enter Service name 處填寫keyandb，點選OK

 

TAF Policy 選擇Basic，keyan1和keyan2都使用Perferred，點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca16.jpg

記憶體配置使用系統記憶體的65%，點選Sizing Tab頁

 

更改Processes 為1024，選擇Character Sets Tab頁

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca18.jpg
E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca19.jpg

選擇Choose from the list of character sets中的ZHS16GBK，

Defatult Language為Simplified Chinese，Default Date Format為China，點選Next

 

點選Next

E:\work\Dc\Doc\2009春季學期\公司\新財\pic\dbca20.jpg

點選Finish建立資料庫。

 

九、升級Oracle10g RAC（10.2.0.10升級到10.2.0.4.0）

1、下載Oracle10.2.0.4.0 for AIX 64-bit升級包 p6810189_10204_AIX5L.zip並解壓

2、關閉資料庫:分別在每個節點執行

 sqlplus /nolog

 conn sys/sys密碼 as sysdba

 shutdown

3、停止所有RAC上所有服務

 1）、chmod -R +w /home/oracle/product/10.2.0/crs/inventory/Templates/*

 2）、isqlplusctl stop

 3）、emctl stop dbconsole

 4）、lsnrctl stop

 5）、srvctl stop service –d keyan

 6）、srvctl stop instance –d keyan –I keyan1

 srvctl stop instance –d keyan –I keyan2

 7）、srvctl stop asm –n node1

 srvctl stop asm –n node2

 8）、srvctl stop nodeapps –n node1

 srvctl stop nodeapps –n node2

 9）、以root使用者執行（每個節點分別執行）

 /home/oracle/product/10.2.0/crs/bin/crsctl stop crs

 ps –ef|grep ons 將找到的程式使用kill -9 pid殺死

 /home/oracle/product/10.2.0/crs/install/root102.sh

 10）、對系統進行冷備份

 11）、安裝升級補丁

 安裝結束後需要分別在每個節點用root使用者執行root.sh

 12）、SQL> STARTUP UPGRADE

 SQL> SPOOL upgrade_info.log

 SQL> @?/rdbms/admin/utlu102i.sql

 SQL> SPOOL OFF

 完成後檢查upgrade_info.log

13） 、SQL> STARTUP NOMOUNT

SQL> ALTER SYSTEM SET CLUSTER_DATABASE=FALSE SCOPE=spfile;

 SQL> SHUTDOWN

 14）、SQL> STARTUP UPGRADE

SQL> SPOOL patch.log

SQL> @?/rdbms/admin/catupgrd.sql

SQL> SPOOL OFF

15）、重新啟動資料庫

SQL> SHUTDOWN IMMEDIATE

SQL> STARTUP

16）、SQL> @?/rdbms/admin/utlrp.sql

17）、SQL> ALTER SYSTEM SET CLUSTER_DATABASE=TRUE SCOPE=spfile;

18）、重新啟動資料庫；啟動所有的資料庫服務。

 

十、驗證RAC 叢集和資料庫配置

所有例項和服務的狀態

 $ srvctl status database -d keyan

Instance keyan1 is running on node node1

Instance keyan2 is running on node node2

單個例項的狀態

$ srvctl status instance -d keyan -i keyan1

Instance keyan1 is running on node node1

$ srvctl status instance -d keyan -i keyan2

Instance keyan2 is running on node node2

在資料庫全域性命名服務的狀態

$ srvctl status service -d keyan

Service keyandb is running on instance(s) keyan2, keyan1

特定節點上節點應用程式的狀態

$ srvctl status nodeapps -n node1

VIP is running on node: node1

GSD is running on node: node1

Listener is running on node: node1

ONS daemon is running on node: node1

$ srvctl status nodeapps -n node2

VIP is running on node: node2

GSD is running on node: node2

Listener is running on node: node2

ONS daemon is running on node: node2

ASM 例項的狀態

$ srvctl status asm -n node1

ASM instance +ASM1 is running on node node1.

$ srvctl status asm -n node2

ASM instance +ASM2 is running on node node2.

列出配置的所有資料庫

$ srvctl config database

Keyan

顯示 RAC 資料庫的配置

$ srvctl config database -d keyan

node1 keyan1 /home/oracle/product/10.2.0/db

node2 keyan2 /home/oracle/product/10.2.0/db

顯示指定叢集資料庫

$ srvctl config service -d keyan

keyandb PREF: keyan2 keyan1 AVAIL:

顯示節點應用程式的配置 -（VIP、GSD、ONS、監聽器）

$ srvctl config nodeapps -n node1 -a -g -s -l

VIP exists.: /node1_vip/124.17.100.104/255.255.255.0/en9

GSD exists.

ONS daemon exists.

Listener exists.

$ srvctl config nodeapps -n node2 -a -g -s -l

VIP exists.: /node2_vip/124.17.100.105/255.255.255.0/en9

GSD exists.

ONS daemon exists.

Listener exists.

顯示 ASM 例項的配置

$ srvctl config asm -n node1

+ASM1 /home/oracle/product/10.2.0/db

$ srvctl config asm -n node2

+ASM2 /home/oracle/product/10.2.0/db

叢集中所有正在執行的例項

SQL>SELECT inst_id, instance_number inst_no, instance_name inst_name , parallel , status

 , database_status db_status, active_state state, host_name host

 FROM gv$instance

 ORDER BY inst_id;

 INST_ID INST_NO INST_NAME PAR STATUS DB_STATUS STATE HOST

---------- ---------- ---------------- --- ------------ ----------------- --------- ----------------------------------------------------------------

 1 1 keyan1 YES OPEN ACTIVE NORMAL node1

 2 2 keyan2 YES OPEN ACTIVE NORMAL node2

位於磁碟組中的所有資料檔案

SQL> select name from v$datafile

 union

 select member from v$logfile

 union

 select name from v$controlfile

 union

 select name from v$tempfile;

 

NAME

-----------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------

+DATAVG/keyan/controlfile/current.260.682350775

+DATAVG/keyan/datafile/sysaux.257.682350719

+DATAVG/keyan/datafile/system.256.682350719

+DATAVG/keyan/datafile/undotbs1.258.682350719

+DATAVG/keyan/datafile/undotbs2.264.682350799

+DATAVG/keyan/datafile/users.259.682350719

+DATAVG/keyan/onlinelog/group_1.261.682350777

+DATAVG/keyan/onlinelog/group_2.262.682350777

+DATAVG/keyan/onlinelog/group_3.265.682350821

+DATAVG/keyan/onlinelog/group_4.266.682350821

+DATAVG/keyan/tempfile/temp.263.682350779

 

11 rows selected.

 

 

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/14661773/viewspace-703687/，如需轉載，請註明出處，否則將追究法律責任。