RAC 學習記錄

crsctl query crs activeversion 檢視版本
ocrconfig -showbackup auto 檢視自動備份的目錄
ocrconfig -export /home/oracle/ocr.backup 邏輯ocr備份
ocrconfig –import /shared/export/ocrback.dmp  邏輯恢復
/oracle/app/grid/product/11.2.0/bin/ocrconfig -manualbackup root許可權進行備份ocr
恢復 ocrconfig -restore backup00.ocr 物理恢復
ocrconfig -showbackup manual檢視手動備份的位置
cluvfy comp ocr -n all 可以檢查OCR的可用性同時包含OCR配置的檔案/etc/oracle/ocr.loc
ocrcheck -local 檢視olr root許可權
oifcfg getif 檢視配置的介面
srvctl config nodeapps -a 檢視虛擬IP資訊
cluvfy comp nodecon -n all -verbose 檢查節點的連通性
crsctl status serverpool -f 檢視server pool屬性
crsctl status server -f 檢視當前節點有效的server pool
srvctl modify srvpool -g SP2 –l 4 –u 8 –i 7

節點2 crsctl disable crs
重啟
使用ps -ef | grep d.bin
確定CRS服務沒啟動

crsctl disable has
crsctl check has

一、改變VIP
1、STOP SERVICE
srvctl stop service -d grid -s sales,oltp -n mynode
2、檢視VIP設定
[grid@rac1 ~]$ srvctl config vip -n rac1
VIP exists: /rac1vip/172.16.14.56/172.16.14.0/255.255.255.0/eth0, hosting node rac1
3、停止VIP，並且需要關閉LISTENER（因為虛擬IP註冊到了LISTENER）
 srvctl stop vip -n rac2 -f
4、確定VIP已經關閉
ifconfig -a 發現已經沒有相關虛擬IP的地址
5、修改其在HOSTS中的配置
6、
srvctl modify network -S subnet/netmask/interface
7、使用新的VIP roo許可權
srvctl modify nodeapps -n node_name -A new_vip_address
srvctl modify nodeapps -n mynode -A 192.168.2.125/255.255.255.0/eth0
8、啟動VIP
srvctl start vip -n mynode
9、
在所有節點完成 這個步驟
10、測試聯通性
cluvfy comp nodecon -n all -verbose

二、改變私有網路介面
1、olsnodes -s 確定哪些節點是有效的。
[grid@rac2 ~]$ olsnodes -s
rac1    Active
rac2    Active
2、oifcfg getif 檢視IP配置資訊
3、確定網路卡配置資訊生效ifconfig
4、配置新的網路卡資訊修改OCR裡面的資訊
oifcfg setif -global "eth*/192.168.0.0:cluster_interconnect
5、刪除原有的私有網口
oifcfg delif -global eth1/10.10.0.0
6、確定新的私有網口已經生效
oifcfg getif
7、關閉整個crs堆疊
crsctl stop crs
8、down掉已經刪除的網路結構
ifconfig down
9、重新啟動crs
crsctl start crs
三、線上移動ocr（可以使NFS ASM RAW）
/oracle/app/grid/product/11.2.0/bin/ocrconfig -add +css
/oracle/app/grid/product/11.2.0/bin/ocrconfig -delete +css2

Note: The operations in this section affect OCR clusterwide: they
change the OCR configuration information in the ocr.loc file on
Linux and UNIX systems and the Registry keys on Windows systems.
However, the ocrconfig command cannot modify OCR
configuration information for nodes that are shut down or for nodes
on which Oracle Clusterware is not running.

四、移動votedisk（離線,當votedisk 在ASM上的時候）
/oracle/app/grid/product/11.2.0/bin/crsctl stop cluster -all
各個節點執行
/oracle/app/grid/product/11.2.0/bin/crsctl stop crs -f
在一個節點執行
 /oracle/app/grid/product/11.2.0/bin/crsctl start crs -excl -nocrs
然後在此節點執行
[root@rac2 ~]#  /oracle/app/grid/product/11.2.0/bin/crsctl replace votedisk +css
Successful addition of voting disk 17ade0f84fed4f89bfbee52bb621586c.
Successful deletion of voting disk 358983bb663b4f6cbf54882b372f30ff.
Successfully replaced voting disk group with +css.
CRS-4266: Voting file(s) successfully replaced
最後關閉
/oracle/app/grid/product/11.2.0/bin/crsctl stop crs -f
（也可以從ASM移動到裸裝置
[root@rac2 ~]# /oracle/app/grid/product/11.2.0/bin/crsctl replace votedisk /dev/raw/raw1
Now formatting voting disk: /dev/raw/raw1.
CRS-4256: Updating the profile
Successful addition of voting disk 1114f903fd5b4f4abfe732fdde5df413.
Successful deletion of voting disk 17ade0f84fed4f89bfbee52bb621586c.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
）
重新啟動即可
五、線上移動votedisk，當VOTEDISK在NFS或者RAW上的時候
[root@rac2 ~]# /oracle/app/grid/product/11.2.0/bin/crsctl add css votedisk /dev/raw/raw5
Now formatting voting disk: /dev/raw/raw5.
CRS-4603: Successful addition of voting disk /dev/raw/raw5.
[root@rac2 ~]# /oracle/app/grid/product/11.2.0/bin/crsctl delete css votedisk /dev/raw/raw1
CRS-4611: Successful deletion of voting disk /dev/raw/raw1.

六、lcr在哪裡
Grid_home/cdata/host_name.olr
由oahs使用這些資訊
/oracle/app/grid/product/11.2.0/bin/ocrcheck -local 檢視位置
ocrconfig -local -showbackup  檢視lcr備份

七、備份和恢復OCR
ocrconfig -showbackup 檢視自動備份位置
ocrconfig -manualbackup  檢視手動備份記錄
ocrconfig -manualbackup auto/manual 也可以檢視手動和自動備份
/oracle/app/grid/product/11.2.0/bin/ocrdump -backupfile /oracle/app/grid/product/11.2.0/cdata/rac-cluster/backup00.ocr
能把備份的OCR檔案DUMP出來。檢視其中的資訊。
預設的備份位置就在cdata/cluster_name下面 ocrconfig -backuploc 可以修改備份的位置，沒什麼必要
1、檢視節點
[grid@rac1 ~]$ olsnodes
rac1
rac2
2、關閉CRS及OAHS堆載
/oracle/app/grid/product/11.2.0/bin/crsctl stop cluster -all
然後分別在各個節點關閉
crsctl stop crs -f
（如果是使用的NFS 或者RAW 或者叢集檔案系統
此時ocrconfig -restore 即可）
一個啟動到獨佔並且不是叢集狀態下
crsctl start crs -excl -nocrs
檢查一下CRSD是否啟動如果啟動使用
crsctl stop resource ora.crsd -init 關閉
透過 select GROUP_NUMBER ,PATH from v$asm_disk; 來判斷ASM磁碟
然後透過
[grid@rac1 ~]$ /etc/init.d/oracleasm querydisk -d DATA6
Disk "DATA6" is a valid ASM disk on device /dev/sdc1[8,33]
來確定使用的那個LV或者LUN，或者NFS盤
在ASM中刪除CRSD的磁碟組
drop diskgroup CSS force including contents; （注意使用SYSASM許可權）
建立ASM DISKGROUP
create diskgroup CSS external redundancy disk 'ORCL:DATA6' attribute 'COMPATIBLE.ASM' = '11.2';
SQL> create diskgroup CSS external redundancy disk 'ORCL:DATA6' attribute 'COMPATIBLE.ASM' = '11.2';

Diskgroup created.
最後
 /oracle/app/grid/product/11.2.0/bin/ocrconfig -restore /oracle/app/grid/product/11.2.0/cdata/rac-cluster/backup00.ocr
ocrcheck
------------
同時可以使用
ocrconfig -export file_name
ocrconfig -import file_name
進行備份恢復，但是又這樣一句話
Backups are created when the system is online. You must shut down Oracle
Clusterware on all nodes in the cluster to get a consistent snapshot using the
ocrconfig -export command.
-----------------
/oracle/app/grid/product/11.2.0/bin/ocrdump -backupfile   backup00.ocr 可以生成一個名字為OCRDUMPFILE的檔案方便檢視OCR資訊
八、恢復VOTE disk
11gR2中不需要對VOTE disk進行單獨的備份，任何DD備份也是無效的。
crsctl start crs -excl 啟動到獨佔模式（可能同時需要先恢復OCR，在OCR損壞的情況下）
crsctl replace votedisk +asm_disk_group（用於ASM下的VOTE）
$ crsctl delete css votedisk FUID
$ crsctl add css votedisk path_to_voting_disk（用於非ASM下的VOTE）
我這裡是使用的RAW下的所以
[root@rac1 oracle]# /oracle/app/grid/product/11.2.0/bin/crsctl add css votedisk /dev/raw/raw1
Now formatting voting disk: /dev/raw/raw1.
clsscfgVFFormatted: corrupt volume info block(3)
CRS-4603: Successful addition of voting disk /dev/raw/raw1.
就可以了，重啟即可
九、手動備份OCR/LCR，及恢復lcr
ocrconfig [-local] -manualbackup
恢復：
# crsctl stop crs
# ocrconfig -local -restore file_name
# ocrcheck -local
# crsctl start crs
$ cluvfy comp olr
十、例項修改PUBLIC IP 和VIP

注意最好先備份OCR和VOTEDISK

公有IP rac3 172.16.14.63
私有IP rac3prv 10.10.10.5
虛擬IP rac3vip 172.16.14.64
scan ip racscan 172.16.14.58

修改為
公有IP rac3 172.16.1.95
私有IP rac3prv 10.10.10.5
虛擬IP rac3vip 172.16.1.96
scan ip racscan 172.16.14.58

  How to Modify Public Network Information including VIP in Oracle Clusterware [ID 276434.1]
1、在CRS 啟動階段執行
/oracle/app/grid/product/11.2.0/bin/oifcfg delif -global eth0/172.16.14.0
/oracle/app/grid/product/11.2.0/bin/oifcfg setif -global eth0/172.16.1.0
[root@rac3 ~]# /oracle/app/grid/product/11.2.0/bin/oifcfg getif
eth1  10.0.0.0  global  cluster_interconnect
eth0  172.16.1.0  global  public
2、修改OS ip
3、修改HOSTS 檔案
172.16.14.29            rac1
172.16.14.55            rac2
172.16.1.95             rac3   ---修改
10.10.10.1              rac1prv
10.10.10.2              rac2prv
10.10.10.5              rac3prv
172.16.14.56            rac1vip
172.16.14.57            rac2vip
172.16.1.96            rac3vip  ---修改
172.16.14.58            racscan
4、重啟CLUSTER
啟動過後發現RAC3 VIP已經漂移到了RAC2
5、檢視VIP 資訊
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/srvctl config nodeapps -a
Network exists: 1/172.16.14.0/255.255.255.0/eth0, type static
VIP exists: /rac1vip/172.16.14.56/172.16.14.0/255.255.255.0/eth0, hosting node rac1
VIP exists: /rac2vip/172.16.14.57/172.16.14.0/255.255.255.0/eth0, hosting node rac2
VIP exists: /rac3vip/172.16.1.96/172.16.14.0/255.255.255.0/eth0, hosting node rac3

並且資源狀態如下：
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.CSS.dg     ora....up.type ONLINE    OFFLINE              
ora.CSS2.dg    ora....up.type ONLINE    ONLINE    rac1       
ora.DATA1.dg   ora....up.type ONLINE    ONLINE    rac1       
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1       
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1       
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1       
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1       
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1       
ora....SM1.asm application    ONLINE    ONLINE    rac1       
ora....C1.lsnr application    ONLINE    ONLINE    rac1       
ora.rac1.gsd   application    OFFLINE   OFFLINE              
ora.rac1.ons   application    ONLINE    ONLINE    rac1       
ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1       
ora....SM2.asm application    ONLINE    ONLINE    rac2       
ora....C2.lsnr application    ONLINE    ONLINE    rac2       
ora.rac2.gsd   application    OFFLINE   OFFLINE              
ora.rac2.ons   application    ONLINE    ONLINE    rac2       
ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2       
ora....SM3.asm application    ONLINE    ONLINE    rac3       
ora....C3.lsnr application    ONLINE    OFFLINE              
ora.rac3.gsd   application    OFFLINE   OFFLINE              
ora.rac3.ons   application    ONLINE    OFFLINE              
ora.rac3.vip   ora....t1.type ONLINE    ONLINE    rac2   ---漂移     
ora....rac.svc ora....ce.type ONLINE    ONLINE    rac1       
ora.racdb.db   ora....se.type ONLINE    ONLINE    rac1       
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1       
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1       
6、關閉INSTANCE 和VIP（10g需要關閉ASM，11G因為OCR一般在ASM下面所以不能關閉ASM）
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/srvctl stop instance -d RACDB -n rac3
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/srvctl stop vip -n rac3 -f
PRCC-1017 : rac3vip was already stopped on rac3
PRCR-1005 : Resource ora.rac3.vip is already stopped
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/srvctl stop vip -i rac3 -f
發生漂移需要指定名字才能關閉
[grid@rac2 ~]$ crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.CSS.dg     ora....up.type ONLINE    OFFLINE              
ora.CSS2.dg    ora....up.type ONLINE    ONLINE    rac1       
ora.DATA1.dg   ora....up.type ONLINE    ONLINE    rac1       
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1       
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1       
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1       
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1       
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1       
ora....SM1.asm application    ONLINE    ONLINE    rac1       
ora....C1.lsnr application    ONLINE    ONLINE    rac1       
ora.rac1.gsd   application    OFFLINE   OFFLINE              
ora.rac1.ons   application    ONLINE    ONLINE    rac1       
ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1       
ora....SM2.asm application    ONLINE    ONLINE    rac2       
ora....C2.lsnr application    ONLINE    ONLINE    rac2       
ora.rac2.gsd   application    OFFLINE   OFFLINE              
ora.rac2.ons   application    ONLINE    ONLINE    rac2       
ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2       
ora....SM3.asm application    ONLINE    ONLINE    rac3       
ora....C3.lsnr application    ONLINE    OFFLINE              
ora.rac3.gsd   application    OFFLINE   OFFLINE              
ora.rac3.ons   application    ONLINE    OFFLINE              
ora.rac3.vip   ora....t1.type OFFLINE   OFFLINE         ---已經關閉     
ora....rac.svc ora....ce.type ONLINE    ONLINE    rac1       
ora.racdb.db   ora....se.type ONLINE    ONLINE    rac1       
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1       
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1    
7、
修改VIP 資源
[root@rac3 etc]# /oracle/app/grid/product/11.2.0/bin/srvctl modify nodeapps -n rac3 -A rac3vip/255.255.255.0/eth0 
8、啟動VIP資源和例項
srvctl start vip -n rac3
srvctl start instance -d racdb -n rac3
9、驗證
檢視crs_stat 看到VIP 資源已經在RAC3啟動
[grid@rac3 ~]$ crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.CSS.dg     ora....up.type ONLINE    OFFLINE              
ora.CSS2.dg    ora....up.type ONLINE    ONLINE    rac1       
ora.DATA1.dg   ora....up.type ONLINE    ONLINE    rac1       
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1       
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1       
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1       
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1       
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1       
ora....SM1.asm application    ONLINE    ONLINE    rac1       
ora....C1.lsnr application    ONLINE    ONLINE    rac1       
ora.rac1.gsd   application    OFFLINE   OFFLINE              
ora.rac1.ons   application    ONLINE    ONLINE    rac1       
ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1       
ora....SM2.asm application    ONLINE    ONLINE    rac2       
ora....C2.lsnr application    ONLINE    ONLINE    rac2       
ora.rac2.gsd   application    OFFLINE   OFFLINE              
ora.rac2.ons   application    ONLINE    ONLINE    rac2       
ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2       
ora....SM3.asm application    ONLINE    ONLINE    rac3       
ora....C3.lsnr application    ONLINE    ONLINE    rac3       
ora.rac3.gsd   application    OFFLINE   OFFLINE              
ora.rac3.ons   application    ONLINE    ONLINE    rac3       
ora.rac3.vip   ora....t1.type ONLINE    ONLINE    rac3  ----已經在RAC3啟動     
ora....rac.svc ora....ce.type ONLINE    ONLINE    rac1       
ora.racdb.db   ora....se.type ONLINE    ONLINE    rac1       
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1       
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1     
檢視IP地址
eth0:1    Link encap:Ethernet  HWaddr 00:50:56:B0:00:1C 
          inet addr:172.16.1.96  Bcast:172.16.1.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          Base address:0x2800 Memory:d8920000-d8940000
但是進一步發現VIP啟動出現錯誤，而且VIP是PING不通的。
ping 172.16.1.96 是不通的。
CRS-5017: The resource action "ora.rac1.vip start" encountered the following error:
CRS-5009: The VIP address 172.16.14.56 does not belong to the subnet 172.16.1.0
文件如下：
RAC and Oracle Clusterware Best Practices and Starter Kit (Platform. Independent) [ID 810394.1]

表明VIP必須在同一網段。
然後測試PUB是否可以和VIP在不同網段
關閉CRS
修改HOSTS
啟動CRS--啟動NODEAPPS不能啟動
修改NODEAPPS
最後啟動VIP發現雖然可以啟動但是啟動後VIP漂移到RAC2
[grid@rac3 crsd]$ crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.CSS.dg     ora....up.type ONLINE    OFFLINE              
ora.CSS2.dg    ora....up.type ONLINE    ONLINE    rac1       
ora.DATA1.dg   ora....up.type ONLINE    ONLINE    rac1       
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1       
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1       
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1       
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1       
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1       
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1       
ora....SM1.asm application    ONLINE    ONLINE    rac1       
ora....C1.lsnr application    ONLINE    ONLINE    rac1       
ora.rac1.gsd   application    OFFLINE   OFFLINE              
ora.rac1.ons   application    ONLINE    ONLINE    rac1       
ora.rac1.vip   ora....t1.type ONLINE    ONLINE    rac1       
ora....SM2.asm application    ONLINE    ONLINE    rac2       
ora....C2.lsnr application    ONLINE    ONLINE    rac2       
ora.rac2.gsd   application    OFFLINE   OFFLINE              
ora.rac2.ons   application    ONLINE    ONLINE    rac2       
ora.rac2.vip   ora....t1.type ONLINE    ONLINE    rac2       
ora....SM3.asm application    ONLINE    ONLINE    rac3       
ora....C3.lsnr application    ONLINE    OFFLINE              
ora.rac3.gsd   application    OFFLINE   OFFLINE              
ora.rac3.ons   application    ONLINE    OFFLINE              
ora.rac3.vip   ora....t1.type ONLINE    ONLINE    rac2 ---漂移      
ora....rac.svc ora....ce.type ONLINE    ONLINE    rac1       
ora.racdb.db   ora....se.type ONLINE    ONLINE    rac1       
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1       
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1   
啟動LISTENER
[grid@rac3 crsd]$ /oracle/app/grid/product/11.2.0/bin/srvctl start listener -n rac3
PRCR-1013 : Failed to start resource ora.LISTENER.lsnr
PRCR-1064 : Failed to start resource ora.LISTENER.lsnr on node rac3
CRS-2674: Start of 'ora.net1.network' on 'rac3' failed
不能啟動