這次實驗是 RAW+ASM 來實現的，在生產環境中還是raw + ASM 比較多。也可以用OCFS2+ASM 來做，ocfs2的安裝方法參考我的Blog：

實驗平臺：Oracle 10gR2 RAC + RHEL 4.0 +VMWare GSX 3.2.0

安裝步驟：

1.安裝前準備及OS安裝配置

2.安裝Oracle 10gR2 clusterware

3.安裝Oracle 10gR2 database

4.配置netca

5.建立ASM 例項

6.配置dbca建立資料庫

7.檢查RAC狀態

8.RAC 解除安裝

一．安裝前準備及OS安裝配置

Host OS 準備

1. 從Oracle OTN下載 oracle 10gR2 for x86 linux,下2個zip, 一個是clusterware zip,一個是database zip, comp CD 可選.

2. 準備的RHEL 4(x86)

3. 搞清楚你的linux的kernel version

4. 從Oracle OTN下載 ASMLib, ASMLib support ，記住這些都是針對你的kernel的，不要下錯

該頁面有下載地址，注意選擇CPU 型別。裡面有asmlib 和 support。在同一個頁面。

5. VMWare GSX 3.2.0 for linux

虛擬機器 Workstation,GSX Server 和ESX之間的區別

http://blog.itpub.net/23490154/viewspace-1062327/

OS安裝

1. 在vmware console 中建立redhat 4 例項，取名raw1. 記憶體700M, 硬碟12GB。

2. 建立好後vmware OS之後,加上一塊NIC網路卡

3. 在gsx裡用vdiskmanager 建立Share Disk。

raw for OCR and voting disk, ASM for Oracle DATA.

Dos 下進入vmware 的安裝目錄，執行一下命令

vmware-vdiskmanager 建立 pre-allocated並且是lsi contoller的硬碟 300m一個 for raw for OCR + CRS voting

vmware-vdiskmanager.exe -c -s 300Mb -a lsilogic -t 2 E:/VM/rawShare/raw_ocr_crs.vmdk

vmware-vdiskmanager 建立 pre-allocated並且是lsi contoller的硬碟 for Oracle data & flash recovery area

vmware-vdiskmanager.exe -c -s 4096Mb -a lsilogic -t 2 E:/VM/rawShare/asm_data.vmdk

vmware-vdiskmanager.exe -c -s 2048Mb -a lsilogic -t 2 E:/VM/rawShare/asm_recovery.vmdk

做好後，share目錄就會產生你剛才建立的這些vmdk了.

4. 到 raw1的目錄，開啟raw1.vmx , 在最後空白處新增這幾段內容(一定要最後)

scsi1.present = "TRUE"

scsi1.virtualDev = "lsilogic"

scsi1.sharedBus = "virtual"

這段是開啟 scsi1上的使用，並且設定成virtual, controller設定成lsilogic

然後依次新增

scsi1:1.present = "TRUE"

scsi1:1.mode = "independent-persistent"

scsi1:1.filename = "E:/VM/rawShare/raw_ocr_crs.vmdk"

scsi1:1.deviceType = "plainDisk"

scsi1:2.present = "TRUE"

scsi1:2.mode = "independent-persistent"

scsi1:2.filename = "E:/VM/rawShare/asm_data.vmdk"

scsi1:2.deviceType = "plainDisk"

scsi1:3.present = "TRUE"

scsi1:3.mode = "independent-persistent"

scsi1:3.filename = "E:/VM/rawShare/asm_recovery.vmdk"

scsi1:3.deviceType = "plainDisk"

最後新增這個

disk.locking = "false"

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.DataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize = "4096"

diskLib.maxUnsyncedWrites = "0"

這段是對vmware使用共享硬碟的方式進行定義

儲存退出之後，重新開啟你的vmware-console,你就可以看到2個vmware guest OS的配置中，都有這些硬碟出現了.

5. 然後就安裝你的vmware OS, 安裝的時候，為了方便，把包全部裝上，省得以後麻煩。

將raw1結點複製到raw2，在虛擬機器中用新ID開啟，修改IP地址，hostname，節點2建立完成。採用複製就省的安裝2次系統，比較方便。

6. 配置你的2個網路卡的固定IP，hostname, DNS, gateway, time server (NTP)

/etc/sysconfig/network-script/ifcfg-eth0

/etc/sysconfig/network-script/ifcfg-eth1

修改機器名，IP和閘道器 -- 預設閘道器必須設定，不然 vipca 報錯

[root@raw1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=10.85.10.119

NETMASK=255.255.255.0

GATEWAY=10.85.10.253

修改主機名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=raw1

修改完之後重啟生效：
/etc/rc.d/init.d/network restart 重新啟動

檢視DNS：
cat /etc/resolv.conf

同步時間：

1. 在raw1上用root使用者執行

#chkconfig time on #在系統引導的時候自動啟動

2. 在raw2 上新增任務，每一分鐘和raw1進行一次時間同步。

[root@raw2 ~]# crontab -l

*/1 * * * * rdate -s 10.85.10.119

rac 對節點間時間較敏感，如果不同步在安裝clusterware 時後會報錯，而且在安裝vipca 的時候也會報錯。具體時間同步參考我的blog：

Linux 時間同步配置

http://blog.itpub.net/23490154/viewspace-1062328/

linux 下修改日期和時間

http://blog.itpub.net/23490154/viewspace-1062331/

7. 安裝結束後，進入 OS，修改解析檔案： /etc/hosts

如下

注：機器名和public名要一樣

127.0.0.1 localhost (必須要這樣)

10.85.10.119 raw1

10.85.10.121 raw2

192.168.1.119 raw1-priv

192.168.1.121 raw2-priv

10.85.10.122 raw1-vip

10.85.10.123 raw2-vip

兩個node都要一樣.

修改後要確認這個hosts 都正確 (ping)

8. 建立使用者等效性

建立等效使用者之後，2個結點直接Oracle 使用者互相訪問就不在需要密碼了，這樣就為RAC管理提供了可能性，如果等效性沒有配好， RAC 肯定是裝不起來的。

group add dba oinstall 組在兩個node上, 建立oracle 使用者, 主組oinstall, 附加組是dba和disk

#groupadd oinstall

#groupadd dba

#useradd -g oinstall -G dba oracle

#passwd oracle

建立等效使用者

在raw1:

[root@raw1 opt]# su - oracle

[oracle@raw1 ~]$ mkdir ~/.ssh

[oracle@raw1 ~]$ chmod 700 ~/.ssh

[oracle@raw1 ~]$ ssh-keygen -t rsa

[oracle@raw1 ~]$ ssh-keygen -t dsa

在raw2：

[root@raw2 opt]# su - oracle

[oracle@raw2 ~]$ mkdir ~/.ssh

[oracle@raw2 ~]$ chmod 700 ~/.ssh

[oracle@raw2 ~]$ ssh-keygen -t rsa

[oracle@raw2 ~]$ ssh-keygen -t dsa

切換回raw1，接著執行：

[oracle@raw1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[oracle@raw1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

提示：下列命令會提示你輸入raw2 的oracle 密碼，按照提示輸入即可，如果失敗可重新嘗試執行命

令。

Raw1 節點：

[oracle@raw1 ~]$ scp ~/.ssh/authorized_keys raw2:~/.ssh/authorized_keys

Raw2節點：

[oracle@raw2 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[oracle@raw2 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[oracle@raw2 ~]$ scp ~/.ssh/authorized_keys raw1:~/.ssh/authorized_keys

確保2個node都有相互的結點資訊。

兩機相互執行，看看是否還需要輸入密碼

[oracle@raw1 ~]$ ssh raw1 date

[oracle@raraw1]$ ssh raw2 date

[oracle@raraw1]$ ssh raraw1riv date

[oracle@raraw1]$ ssh raw2-priv date

切換至raw2 執行

[oracle@raw2 ~]$ ssh raraw1ate

[oracle@raw2 ~]$ ssh raw2 date

[oracle@raw2 ~]$ ssh raraw1riv date

[oracle@raw2 ~]$ ssh raw2-priv date

9. 在每個結點上建立目錄

[root@raw2 ~]# mkdir -p /u01/app/oracle

[root@raw2 ~]# chown -R oracle:oinstall /u01

[root@raw2 ~]# chmod -R 777 /u01

這個目錄給oracle和clusterware系統的

10. 修改你的 /etc/sysctl.conf ，新增這些kernel 引數

net.core.rmem_default=262144

net.core.wmem_default=262144

net.core.rmem_max=262144

net.core.wmem_max=262144

kernel.shmall = 78643200

kernel.shmmax = 314572800

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 65536

net.ipv4.ip_local_port_range = 1024 65000

# sysctl -p 立刻生效

kernel.shmall為實體記憶體除以pagesize;

kernel.shmmax為實體記憶體的一半;

fs.file-max為512 乘以 processes (如128個process則為 65536);

net.ipv4.ip_local_port_range/net.core.rmem_default/net.core.rmem_max三個引數設定和官方文件不一樣, 這是根據metalink 343431.1 最新要求更改的;

net.ipv4.tcp_rmem/net.ipv4.tcp_wmem兩個引數一般情況下無需設定, 除非是在Dataguard/Streams等需很多網路傳輸情況下;

其它引數根據官方文件要求設定即可.

具體內容參考我的blog：

Linux 核心引數及Oracle相關引數調整

http://blog.itpub.net/23490154/viewspace-1062348/

11. 設定使用者資源限制

因為所有的程式都是以Oracle 身份來執行的，因此需要定義Oracle 使用者能夠使用的系統資源數量。

vi /etc/sysconfig/limits.conf

--使用HugePage 記憶體技術，新增下面2行

Oracle soft memlock 5242880

Oracle hard memlock 524280

--程式控制程式碼數量

oracle soft nproc 2047

oracle hard nproc 16384

-- 檔案控制程式碼

oracle soft nofile 65536

oracle hard nofile 65536

將下面一行新增到/etc/pam.d/login檔案中:
session required /lib/security/pam_limits.so

12. 配置 hangcheck-timer 模組

Hangcheck-timer 是Linux 提供的一個核心級的IO-Fencing 模組，這個模組會監控Linux 核心執行狀態，如果長時間掛起，這個模組會自動重啟系統。這個模組在Linux 核心空間執行，不會受系統負載的影響。這個模組會使用CPU的Time Stamp Counter（TSC）暫存器,這個暫存器的值會在每個時鐘週期自動增加，因此使用的是硬體時間，所以精度更高。

配置這個模組需要2個引數: hangcheck_tick 和 hangcheck_margin。

hangcheck_tick用於定義多長時間檢查一次，預設值是30秒。有可能核心本身很忙，導致這個檢查被推遲，該模組還允許定義一個延遲上限，就是hangcheck_margin，它的預設值是180秒。

Hangcheck-timer 模組會根據hangcheck_tick 的設定，定時檢查核心。只要2次檢查的時間間隔小於 hangcheck_tick + hangchec_margin, 都會認為核心執行正常，否則就意味著執行異常，這個模組會自動重啟系統。

CRS本身還有一個MissCount 引數，可以透過crsctl get css miscount 命令檢視。

當RAC結點間的心跳資訊丟失時， Clusterware 必須確保在進行重構時，故障結點確實是Dead 狀態，否則結點僅是臨時負載過高導致心跳丟失，然後其他結點開始重構，但是結點沒有重啟，這樣會損壞資料庫。因此MissCount 必須大於 hangcheck_tick+hangcheck_margin的和。

12.1 檢視模組位置：

[root@raraw1]# find /lib/modules -name "hangcheck-timer.ko"

/lib/modules/2.6.9-78.EL/kernel/drivers/char/hangcheck-timer.ko

/lib/modules/2.6.9-78.ELsmp/kernel/drivers/char/hangcheck-timer.ko

12.2 配置系統啟動時自動載入模組，在/etc/rc.d/rc.local 中新增如下內容

[root@raraw1]# modprobe hangcheck-timer

[root@raraw1]# vi /etc/rc.d/rc.local

modprobe hangcheck-timer

12.3 配置hangcheck-timer引數, 在/etc/modprobe.conf 中新增如下內容：

[root@raraw1]# vi /etc/modprobe.conf

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

12.4 確認模組載入成功：

[root@raraw1]# grep Hangcheck /var/log/messages | tail -2

Feb 23 22:08:44 raraw1ernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin is 180 seconds).

13. 格式化分割槽 fdisk /dev/sdb,/dev/sdc,/dev/sdd.

在一個結點執行格式化就可以了，因為他們是共享的。

[root@raw1 ~]# fdisk /dev/sdb

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command action

e extended

p primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-300, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-300, default 300): +150M

Command (m for help): n

Command action

e extended

p primary partition (1-4)

p

Partition number (1-4): 2

First cylinder (145-300, default 145):

Using default value 145

Last cylinder or +size or +sizeM or +sizeK (145-300, default 300): +150M

Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table.

Syncing disks.

[root@raw1 ~]# fdisk /dev/sdc

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command action

e extended

p primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-522, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-522, default 522):

Using default value 522

Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table.

Syncing disks.

[root@raw1 ~]# fdisk -l

/dev/sda1 * 1 1402 11261533+ 83 Linux

/dev/sda2 1403 1566 1317330 82 Linux swap

/dev/sdb1 1 144 147440 83 Linux

/dev/sdb2 145 288 147456 83 Linux

/dev/sdc1 1 522 4192933+ 83 Linux

/dev/sdd1 1 261 2096451 83 Linux

注：格式化時候，在另一個節點要重啟一下系統，不然識別不了。

14. 配置raw 裝置

所謂raw 裝置，就是透過字元方式訪問的裝置，也就是讀寫裝置不需要緩衝區。在Linux 下，對磁碟值提供了塊方式的訪問。要想透過字元方式訪問，必須配置raw 裝置服務，並且Oracle 使用者對這些raw 裝置必須有訪問的許可權。

在2個節點上做如下操作：

14.1 修改裸裝置服務的配置檔案: /etc/sysconfig/rawdevices. 新增下面2行。

格式：裸裝置名塊裝置名

/dev/raw/raw1 /dev/sdb1

/dev/raw/raw2 /dev/sdb2

14.2 設定Oracle 使用者對裸裝置的訪問許可權。

編輯UDEV的許可權檔案：/etc/udev/permissions.d/50-udev.permissions

找到raw device部分，修改成如下格式：

# raw devices

raw*:oracle:dba:0660

raw/*:oracle:dba:0660

14.3 確認裸裝置服務自啟動，2個節點都要執行

[root@raw1 /]# chkconfig --list rawdevices

rawdevices 0:off 1:off 2:off 3:on 4:on 5:on 6:off

14.4. 啟動raw devices 服務，確認裸裝置建立成功，許可權正確：

[root@raw1 /]# service rawdevices restart

Assigning devices:

/dev/raw/raw1 --&gt /dev/sdb1

/dev/raw/raw1: bound to major 8, minor 17

/dev/raw/raw1 --&gt /dev/sdb2

/dev/raw/raw1: bound to major 8, minor 18

done

[oracle@raw2 ~]$ cd /dev/raw

[oracle@raw2 raw]$ ls -lrt

total 0

crw-rw---- 1 oracle dba 162, 1 Feb 28 03:08 raw1

crw-rw---- 1 oracle dba 162, 2 Feb 28 03:08 raw2

15. 在每個node上安裝 ASMLibs, tools, support 三個rpm檔案

# rpm -ivh *.rpm --nodeps --force

然後執行 /etc/init.d/oracleasm configure

回答 oracle , dba, y, y 就可以了

linux 掛在windows 共享的盤

1. 啟動nfs服務: service nfs start

2. mount -o username=share,password=share //10.85.10.80/RAC /mnt

16. 建立ASM 磁碟

在一個node上:

透過以 root 使用者身份執行以下命令來標記由 ASMLib 使用的磁碟：/etc/init.d/oracleasm createdisk DISK_NAME device_name

（提示：DISK_NAME 應由大寫字母組成。當前版本有一個錯誤，即假如使用小寫字母，ASM 例項將無法識別磁碟。）

記住，ASM在linux下面處理的物件是 partition,不是disk, 所以你那些vmdk要linux 下面partition好才能用，所以先fdisk一下在建立.

/etc/init.d/oracleasm createdisk VOL1 /dev/sdc1

/etc/init.d/oracleasm createdisk VOL2 /dev/sdd1

建立好後, 在這個node 上執行 /etc/init.d/oracleasm listdisks 檢視

17. 在另外一個node 上

/etc/init.d/oracleasm scandisks

/etc/init.d/oracleasm listdisks 檢視

18. 在每個node上

Su -oracle

Cd /home/oracle

修改 oracle使用者家目錄下的 .bash_profile

注意ORACLE_SID，和後面建庫要一致。

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/crs

export ORACLE_SID=raw1

export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin

export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin

export ORA_NLS10=$ORACLE_HOME/nls/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export CLASSPATH=$ORACLE_HOME/JRE

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export THREADS_FLAG=native

export TEMP=/tmp

export TMPDIR=/tmp

第二個節點的 ORACLE_SID=raw2 其他都一樣

二．安裝Oracle 10gR2 clusterware

1. 用Xmanager 軟體連上虛擬機器之後執行clusterware 的安裝軟體， Xmanager 支援圖形介面，所以能省很多事。

2.確認你的安裝目錄是/u01/app/oracle/product/crs

3. 增加相關結點資訊

raw1 raw1-priv rar1-vip

raw2 raw2-priv raw2-vip

4.指定 eth0 的型別時public

5. 指定OCR 和 Voting Disk

一般而言，如果採用儲存來存放OCR和Voting Disk. 儲存本身就提供了redundancy策略，此時我們可以選擇External Redundancy 選項，此時Oracle 就不在考慮軟體冗餘了。如果沒有使用儲存裝置或者儲存為RAID0，那麼就可以使用Oracle 自己提供的軟體冗餘機制 Normal Redundancy 選項，此時就會啟用Mirror Location 選項. 用來指定映象檔案位置， Oracle 的Clusterware在執行時會維護這個Mirror檔案的內容同步。

OCR 最多隻有一份冗餘：

/dev/raw/raw1

Voting Disk 最多可以定義2份冗餘：

/dev/raw/raw2

6.後就開始安裝了，結束時會提示用root在每個節點上執行orainstRoot.Sh 和 root.Sh指令碼，在第二個結點上執行root.Sh 後自動呼叫vipca 這個命令，在第二個結點執行root.Sh 之前要修改一下vipca命令，不然可能會報錯。

RAC安裝時需要執行4個指令碼及意義

http://blog.itpub.net/23490154/viewspace-1062337/

注意： VIPCA 命令也是用ROOT 使用者來執行的，只需要在一個結點執行就可以了。

進入$CRS_HOME/bin/目錄，用vi來修改vipca 和 srvctl 2個命令。

問題1： vipca報錯，是redhat的bug

Running vipca(silent) for configuring nodeapps

/home/oracle/crs/oracle/product/10/crs/jdk/jre//bin/java: error while loading

shared libraries: libpthread.so.0: cannot open shared object file:

No such file or directory

解決方法：

Remember to re-edit these files on all nodes:

/bin/vipca

/bin/srvctl

after applying the 10.2.0.2 or 10.2.0.3 patchsets, as these patchset will still include those settings unnecessary for OEL5 or RHEL5 or SLES10. This issue was raised with development and is fixed in the 10.2.0.4 patchsets.

Note that we are explicitly unsetting LD_ASSUME_KERNEL and not merely commenting out its setting to handle a case where the user has it set in their environment (login shell).

$ vi vipca

... ...

Linux) LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:$ORACLE_HOME/srvm/lib:$LD_LIBRARY_PATH

export LD_LIBRARY_PATH

echo $LD_LIBRARY_PATH

echo $CLASSPATH

#Remove this workaround when the bug 3937317 is fixed

arch=`uname -m`

if [ "$arch" = "i686" -o "$arch" = "ia64" ]

then

# LD_ASSUME_KERNEL=2.4.19

# export LD_ASSUME_KERNEL

echo

fi

#End workaround

問題2：如果遇到這個錯誤：

# vipca
Error 0(Native: listNetInterfaces:[3])
[Error 0(Native: listNetInterfaces:[3])]

解決方法：

在CRS_HOME下執行 oifcfg 命令：

raw1# ./oifcfg setif -global eth0/10.85.10.119:public
# ./oifcfg setif -global eth1/192.168.1.119:cluster_interconnect
# ./oifcfg getif
eth0 10.85.10.119 global public
eth1 192.168.1.119 global cluster_interconnect

在raw2：

/bin # ./oifcfg setif -global eth0/10.85.10.121:public
/bin # ./oifcfg setif -global eth1/192.168.1.121:cluster_interconnect
/bin # ./oifcfg getif
eth0 10.85.10.121 global public
eth1 192.168.1.121 global cluster_interconnect

然後在手工執行vipca新增nodeapps resource即可。

問題3：An unexpected exception has been detected in native code outside the VM.
Unexpected Signal : 11 occurred at PC=0xB7503E29
Function=__libc_free+0x49
Library=/lib/tls/libc.so.6

修改主機名不正確導致的。
RHEL
/etc/sysconfig/network 主機名，如果在/etc/hosts中解析不了。就報這個錯誤！

7. clusterware 就安裝好了.

確認一下.

$ /u01/app/oracle/product/crs/bin/olsnodes -n

raraw1b 1

raw2pub 2

$ ls -l /etc/init.d/init.*

-r-xr-xr-x 1 root root 1951 Oct 4 14:21 /etc/init.d/init.crs*

-r-xr-xr-x 1 root root 4714 Oct 4 14:21 /etc/init.d/init.crsd*

-r-xr-xr-x 1 root root 35394 Oct 4 14:21 /etc/init.d/init.cssd*

-r-xr-xr-x 1 root root 3190 Oct 4 14:21 /etc/init.d/init.evmd*

檢查CRS 安裝啟動情況：用Root使用者執行：

$CRS_HOME/bin/crsctl check crs

CSS appears healthy

CRS appears healthy

EVM appears healthy

表明CRS 安裝完成，並且啟動成功

#./crs_stat -t -v

注：如果clusterware 安裝失敗，再次執行安裝程式，裡面可以把之前的安裝刪除掉，刪除之後在進行安裝。

三．安裝Oracle 10gR2 database

1. 檢查Oracle 的相關包。Oracle 10g 需要如下包

binutils-2.15.92.0.2-10.EL4

compat-db-4.1.25-9

control-center-2.8.0-12

gcc-3.4.3-9.EL4

gcc-c++-3.4.3-9.EL4

glibc-2.3.4-2

glibc-common-2.3.4-2

gnome-libs-1.4.1.2.90-44.1

libstdc++-3.4.3-9.EL4

libstdc++-devel-3.4.3-9.EL4

make-3.80-5

pdksh-5.2.14-30

sysstat-5.0.5-1

xscreensaver-4.18-5.rhel4.2

libaio-0.3.96

To see which versions of these packages are installed on your system, run the following command:

rpm -q binutils compat-db control-center gcc gcc-c++ glibc glibc-common /
gnome-libs libstdc++ libstdc++-devel make pdksh sysstat xscreensaver libaio openmotif21

2. 在Xmanager 中用oracle使用者，執行database的runInstaller

3. ORACLE安裝目錄指定到 /u01/app/oracle/product/10.2.0/db_1

4. 把2個node選擇上

5. 選擇 Install database Software only

6. 會要求你用完全的root許可權執行 root.sh ,分別在2個node上一一執行

7. 安裝完畢

四． netca 建立監聽

注：建立資料庫過程應該遵循這個順序：先配置監聽，再配置ASM 例項，最後建立資料庫例項，這樣可以減少出錯的機率。

1. oracle 使用者在一個node上執行 netca

2. 選擇所有node

3. 選擇 Listener configuration

4.新增一個LISTEN, 1521 port

然後結束配置

監聽配置成功後， 2個結點上的Listener 都會坐位Application Resource 註冊到CRS中，這樣CRS 就可以監控Listener 的執行狀態。我們可以透過 crs_stat -t -v 檢視Listener 狀態。

五．建立ASM 例項

1. 執行DBCA 命令

2. 選擇 configure Automatic Storage Management，來建立ASM 例項

3. 選擇所有結點

4. 輸入密碼。RAC 的spfile 必須放在共享目錄下。引數檔案我們選擇第一個initialization parameter。也可以放在我們建的裸裝置上。

5. 修改asm 引數： asm_diskstring = ORCL:VOL*, 這樣能讓Oracle自動發現這些硬碟

6. ASM 例項建立完後，用Create New 來建立ASM 磁碟組。我們用VOL1來建立一個DATA 組， VOL2 建立FLASH_RECOVERY_AREA組。

注： Redundancy 一般選external 就是也就是不考慮冗餘，假如選normal 則是mirror, 至少要一個FailGroup選High 就是triple mirror,3倍映象，需要三個FailGroup

7. 建立完成後，能看到組的狀態是Mount, ASM 組必須mount之後才能使用。

ASM 的相關資訊參考blog：

Oracle ASM 詳解

http://blog.itpub.net/23490154/viewspace-1062338/

六. 配置dbca建立資料庫

1. 用oracle使用者執行 dbca

2. 選擇custom database

3. 輸入資料庫的全域性名，比如raw

4. 輸入系統的角色建立密碼

5. 選擇ASM 來儲存，分別選擇我們剛建立的DATA 和FLASH_RECOVERY_AREA 組

6. Database Services 這裡，你選擇Add你一個新的service, 隨便叫名字，比如oltp

然後選擇 TAF Policy,是Basic。這個服務在RAC 的Failover中會用到，如果在這裡沒有配置，也可以透過dbca命令，選擇 Services Management 來進行配置。具體參考blog：

Oracle RAC Failover 詳解

http://blog.itpub.net/23490154/viewspace-1062355/

7. 開始建立資料庫

七．檢查RAC 執行狀態

1.用oracle使用者login, 執行

[oracle@raraw1in]$ ./srvctl status database -d raw

Instance raw1 is running on node raw1

Instance raw2 is running on node raw2

2. [root@raw1 bin]# ./crs_stat -t

Name Type Target State Host

------------------------------------------------------------

ora.raw.db application ONLINE ONLINE raw1

ora.raw.raw.cs application ONLINE ONLINE raw1

ora....aw1.srv application ONLINE ONLINE raw1

ora....aw2.srv application ONLINE ONLINE raw2

ora....w1.inst application ONLINE ONLINE raw1

ora....w2.inst application ONLINE ONLINE raw2

ora....SM1.asm application ONLINE ONLINE raw1

ora....W1.lsnr application ONLINE ONLINE raw1

ora.raw1.gsd application ONLINE ONLINE raw1

ora.raw1.ons application ONLINE ONLINE raw1

ora.raw1.vip application ONLINE ONLINE raw1

ora....SM2.asm application ONLINE ONLINE raw2

ora....W2.lsnr application ONLINE ONLINE raw2

ora.raw2.gsd application ONLINE ONLINE raw2

ora.raw2.ons application ONLINE ONLINE raw2

ora.raw2.vip application ONLINE ONLINE raw2

3.客戶端Failover測試

3.1 修改C:/windows/system32/drivers/etc/hosts 檔案，新增如下內容

10.85.10.119 raraw10.85.10.121 raw2

10.85.10.122 raraw1ip

10.85.10.123 raw2-vip

3.2 修改tnsnames.Ora 檔案，增加一下內容：

RAC =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = TCP)(HOST = raraw1ip)(PORT = 1521))

(ADDRESS = (PROTOCOL = TCP)(HOST = raw2-vip)(PORT = 1521))

(LOAD_BALANCE=YES)

(

CONNECT_DATA=

(SERVER=DEDICATED)

(SERVICE_NAME=RAC)

(

FAILOVER_MODE=

(TYPE=session)

(METHOD=basic)

(RETRIES=180)

(DELAY=5)

)

3.3 客戶端用sqlplus 連線資料庫

C:/Documents and Settings/Administrator>sqlplus system/admin@rac

SQL*Plus: Release 10.2.0.1.0 - Production on 星期六 2月 27 02:06:40 2010

連線到:

Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production

With the Partitioning, Real Application Clusters, OLAP and Data Mining options

SQL> select instance_name from V$instance;

INSTANCE_NAME

--------------------------------

raw2

3.4 關閉raw2 資料庫

[oracle@raw2 ~]$ export ORACLE_SID=raw2

[oracle@raw2 ~]$ sqlplus / as sysdba

SQL*Plus: Release 10.2.0.1.0 - Production on Sat Feb 27 02:58:48 2010

Connected to:

Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production

With the Partitioning, Real Application Clusters, OLAP and Data Mining options

SQL> select instance_name from v$instance;

INSTANCE_NAME

----------------

raw2

SQL> shutdown immediate

Database closed.

Database dismounted.

ORACLE instance shut down.

3.5 在客戶段再次查詢，自動切換到了raw1

SQL> select instance_name from V$instance;

INSTANCE_NAME

--------------------------------

raw1

八. RAC 的解除安裝

解除安裝分為幾個部分：database的解除安裝和clusterware(10.2版本說法)的解除安裝（10.1 版本稱為CRS：cluster ready service）。

oracle database的解除安裝可以利用很多方法-粗野的和溫柔的，我這裡利用dbca去解除安裝即可。

database的解除安裝會把所有節點的instance刪除掉，並把唯一的database刪除。

解除安裝database的第二步驟是把所有節點的listener解除安裝，可以利用netca解除安裝即可。

最後解除安裝clusterware，可以用Clusterware 的安裝程式來解除安裝，也可以利用指令碼進行：

$ORA_CRS_HOME/install/rootdelete.sh -help

對本地節點和遠端節點使用不用的命令，詳細參考幫助。

[root@raraw1nstall]# ./rootdelete.sh --help

Usage: rootdelete [-help] [local|remote] [nosharedvar|sharedvar] [sharedhome|nosharedhome] [-downgrade [-version ]]

/-help: print this message

local: if this node is the node where OUI is to be run to deinstall, otherwise use 'remote'

sharedvar: OCR is on a shared path, otherwise use 'nosharedvar'

sharedhome: CRS home is on a shared path, otherwuse use 'nosharedhome'

/-downgrade: Oracle clusterware and OCR will be reset for downgrade

/-version : OCR location file will reset for downgrade to specified version, default: 10.1

[root@raraw1nstall]# ./rootdelete.sh local sharedvar sharedhome -downgrade

[root@raraw1nstall]# ./rootdelete.sh remote sharedvar sharedhome -downgrade

最後在本地節點執行

$ORA_CRS_HOME/install/rootdeinstall.sh

即可。

指令碼執行是比較安全的方式，完成之後把相關目錄刪除即可完成clusterware的解除安裝。

補充：RAC 安裝的相關問題解決方法：

問題一：

安裝好RAC後，在用DBCA建庫時選擇ASM做為儲存方案時，有時候會報錯說ASM是單例項環境，不是RAC環境，這樣就無法繼續建庫下來，出錯資訊如下：

The ASM instance configured on the local node is a single-instance ASM.To create a single-instance database using this ASM instance ,restart DBCA and select the single-instance database option ,to create a RAC database using this ASM instance,convert it to RAC ASM first.

這個錯誤一般是發生在重灌clusterware和database後，這樣無論怎麼樣重啟DBCA執行都會報同樣的錯。具體的解決辦法便是在/etc/oratab裡面的關於ASM的記錄：+ASM1:/u01/app/oracle/product/10.2.0/db_1:N這麼一行刪除掉，再接著建庫就可以了。

問題二：

建立ASM時報：ORA-12547:TNS:lost contact

解決方法：

$ cd $ORACLE_HOME/rdbms/lib

$ make -f ins_rdbms.mk ioracle

問題三：在CRS安裝時,最後執行root.sh時,後執行的節點上無法成功,提示:
# ./root.sh
WARNING: directory '/u01/app/oracle/product/10.2.0' is not owned by root
WARNING: directory '/u01/app/oracle/product' is not owned by root
WARNING: directory '/u01/app/oracle' is not owned by root
WARNING: directory '/u01/app' is not owned by root
WARNING: directory '/u01' is not owned by root
Checking to see if Oracle CRS stack is already configured
Setting the permissions on OCR backup directory
Setting up NS directories
Failed to upgrade Oracle Cluster Registry configuration
另外有一種提示為:PRIF-10: failed to initialize the cluster registry
解決方法:關閉共享磁碟的鎖定屬性
SSA或者FASTT系列盤陣關閉磁碟鎖定用：/usr/sbin/chdev -l hdiskn -a reserve_lock=no
ESS,EMC,HDS,CLARIION系列盤陣關閉磁碟鎖定用：/usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve

在虛擬機器上就是新增引數. disk.locking = "false"

RAW+ASM 的RAC 安裝文件

相關文章