OCR/Vote disk 維護操作: (新增/刪除/替換/移動) (文件 ID 1674859.1)

文件內容

適用於:

目標

提供在 Oracle Clusterware 10gR2, 11gR1 和 11gR2 環境中新增，刪除，替換，移動 Oracle Cluster Repository (OCR) 和/或 Voting Disk 的步驟。並且包括了把OCR/voting 從裸裝置移動到塊裝置和ASM 裝置的步驟。對於 Oracle Clusterware 12c，請參考 Document 1558920.1 Software Patch Level and 12c Grid Infrastructure OCR Backup/Restore。

本文適用於需要修改，移動 OCR,voting disk 的 DBA 和技術支援工程師，客戶已經在一套儲存上部署了叢集環境，可能需要在最短的停機時間內遷移到新的儲存。

通常來說，一旦儲存已經存在，那麼可以透過 cp 或者 dd 檔案，但是對於叢集來說是有一些困難的，這是因為：

1. Oracle Clusterware 的 OCR 和 voting disks 是聯機使用的。（包括primary和映象）
2. 與 cp 和 dd 命令相比，Oracle提供的 API（ocrconfig and crsctl）更適合用來實現這些功能。

執行操作之前，請備份 OC R和 voting disk。

解決方案

準備磁碟

為了新增或者替換 OCR 或 voting disk，請提前準備新的磁碟。請參考各個平臺 Clusteware/Gird Infrastructure 安裝文件中關於磁碟的要求。

1. 磁碟大小

版本 10.1:
OCR device minimum size (each): 100M
Voting disk minimum size (each): 20M

版本 10.2:
OCR device 最小值 (每個): 256M
Voting disk最小值 (每個): 256M

版本 11.1:
OCR device 最小值 (每個): 280M
Voting disk 最小值 (每個): 280M

版本 11.2:
OCR device 最小值 (每個): 300M
Voting disk 最小值 (每個): 300M

2. 裸裝置或者塊裝置 (pre 11.2)

請參考各個平臺 Clusteware/Gird Infrastructure 安裝文件。
對於windows平臺，請使用命令$CRS_HOME\bin\GUIOracleOBJManager.exe建立新的裸裝置連結，例如：
\\.\VOTEDSK2
\\.\OCR2

3. ASM disks (11.2+)

在windows平臺，請參考 Document 331796.1 How to setup ASM on Windows 
在Linux平臺，請參考 Document 580153.1 How To Setup ASM on Linux Using ASMLIB Disks, Raw Devices or Block Devices? 
其他平臺，請參考 Clusterware/Gird Infrastructure安裝手冊  (Chapter: Oracle Automatic Storage Management Storage Configuration)。

4. 叢集檔案系統

如果 OCR 在叢集檔案系統上，在新增/替換之前，新的 OCR 或者 OCRMIRROR 檔案必需提前建立，否則會出現PROT-21: Invalid parameter (10.2/11.) or PROT-30 The Oracle Cluster Registry location to be added is not accessible (針對版本11.2)錯誤。

不需要提前在叢集檔案系統上建立 voting disk 檔案。

執行刪除命令後，需要手動在叢集檔案系統上刪除 ocr/voting 檔案。

5. 許可權

對於 OCR 裝置:
chown root:oinstall <OCR device>
chmod 640 <OCR device>

對於 Voting 裝置:
chown <crs/grid>:oinstall <Voting device>
chmod 644 <Voting device>

如果 OCR/Voting disk 使用 ASM 磁碟:
chown griduser:asmadmin <asm disks>
chmod 660 <asm disks>

6. 冗餘

Voting 磁碟(不要使用偶數個)：
External 需要最少1個 Voting 磁碟（或者1個 failure group）
Normal 需要最少3個 Voting 磁碟（或者3個 failure group）
High 需要最少5個 Voting 磁碟（或者5個 failure group）

缺少 failure group 會引起 voting disk 建立失敗。例如 ORA-15274: Not enough failgroups (3) to create voting files

OCR: 
10.2 和 11.1，最多2個 OCR 裝置：OCR 和 OCRMIRROR
11.2+，最多5個 OCR。

請參考各個平臺對應文件 Oracle? Grid Infrastructure Installation Guide 獲得更多資訊

新增/刪除/替換/移動 OCR device

在做任何改變前確保有一個近期的 OCR 檔案備份：

ocrconfig -showbackup

如果沒有近期的 OCR 檔案備份，可以 export 當前的 OCR 檔案。使用下面的命令生成一個線上 OCR 檔案的匯出檔案：

版本 10.2

# ocrconfig -export <OCR export_filename> -s online

版本 11.1 和 11.2

# ocrconfig -manualbackup
node1 2008/08/06 06:11:58 /crs/cdata/crs/backup_20080807_003158.ocr

使用匯出檔案來恢復 OCR，執行下面命令：

從 11.2 開始，請參考 How to restore ASM based OCR after complete loss of the CRS diskgroup on Linux/Unix systems Document 1062983.1

檢查 OCR 是否健康，執行 ocrcheck 命令，應該返回下面的資訊：

# ocrcheck
Status of Oracle Cluster Registry is as follows :
Version : 2
Total space (kbytes) : 497928
Used space (kbytes) : 312
Available space (kbytes) : 497616
ID : 576761409
Device/File Name : /dev/raw/raw1
Device/File integrity check succeeded
Device/File Name : /dev/raw/raw2
Device/File integrity check succeeded

Cluster registry integrity check succeeded

對於11.1及以上版本, ocrcheck 命令還應該返回:
Logical corruption check succeeded

1. 當只有一個 OCR 裝置時，新增一個 OCRMIRROR 裝置：

新增一個 OCR mirror 裝置，提供全路徑包括檔名。
10.2 和 11.1:

# ocrconfig -replace ocrmirror <filename>
eg:
# ocrconfig -replace ocrmirror /dev/raw/raw2
# ocrconfig -replace ocrmirror /dev/sdc1
# ocrconfig -replace ocrmirror /cluster_fs/ocrdisk.dat
> ocrconfig -replace ocrmirror \\.\OCRMIRROR2  - for Windows

11.2+: 版本 11.2 之後，最多可新增4個 ocrmirrors

# ocrconfig -add <filename>
eg:
# ocrconfig -add +OCRVOTE2
# ocrconfig -add /cluster_fs/ocrdisk.dat

2. 刪除一個 OCR 裝置

刪除一個 OCR 裝置: 
10.2 和 11.1:

# ocrconfig -replace ocr

11.2+:

# ocrconfig -delete <filename>
eg:
# ocrconfig -delete +OCRVOTE1

* 一旦 OCR 裝置被刪除，ocrmirror 裝置自動轉換為 OCR。
* 如果只有一個 OCR 裝置，那麼不允許刪除 OCR ，命令將會返回錯誤 PROT-16。

刪除 OCR mirror 裝置: 
10.2 和 11.1:

# ocrconfig -replace ocrmirror

11.2+:

# ocrconfig -delete <ocrmirror filename>
eg:
# ocrconfig -delete +OCRVOTE2

如果是叢集檔案系統，那麼刪除之後，舊的 OCR/OCRMIRROR 檔案可以被刪除。

3. 替換或者移動 OCR 裝置位置

10.2 和 11.1:
替換 OCR 裝置，提供全路徑包括檔名：

# ocrconfig -replace ocr <filename>
eg:
# ocrconfig -replace ocr /dev/sdd1
$ ocrconfig -replace ocr \\.\OCR2 - for Windows

替換 OCR mirror 裝置，提供全路徑包括檔名：

# ocrconfig -replace ocrmirror <filename>
eg:
# ocrconfig -replace ocrmirrow /dev/raw/raw4
# ocrconfig -replace ocrmirrow \\.\OCRMIRROR2  - for Windows

11.2:
替換 OCR 或者 OCRMIRRORs 的命令和之前版本是相同的（至少2個 OCR 存在）:

4. 當叢集停止時如何恢復 OCR

如果 OCR 不可訪問，CRSD 程式將不會啟動，因此叢集將不能完全啟動。恢復 OCR 需要訪問好的 OCR 備份，檢視自動 OCR 備份：

從OCR 備份恢復:

對於 11.2: 如果 OCR 位於 ASM 磁碟，但是 ASM DISK 也丟失了，請參考：
How to restore ASM based OCR after complete loss of the CRS diskgroup on Linux/Unix systems Document 1062983.1
How to Restore OCR After the 1st ASM Diskgroup is Lost on Windows Document 1294915.1

如果沒有有效的 OCR 備份，那麼需要重新初始化 OCR 和 voting。
對於10.2 和 11.1:
請參考 How to Recreate OCR/Voting Disk Accidentally Deleted Document 399482.1

對於 11.2:
需要在叢集的所有節點deconfig 叢集軟體並且重新執行roo.sh 指令碼。

新增/刪除/移動 voting disk

對於 11.2 之前，備份 voting disk:

$ dd if=voting_disk_name of=backup_file_name

對於 Windows:

ocopy \\.\votedsk1 o:\backup\votedsk1.bak

對於 11.2+，不需要備份 voting disk，在發生任何配置變化是voting disk 會被自動備份到 OCR 上。如果 voting disk 中的內容發生了以下變化之一， Oracle Clusterware 會自動備份 voting disk：

• 配置引數，比如 misscount 被新增或者修改

• 執行 voting disk 新增或者刪除操作

當新增或者替換 voting disk後，voting disk 內容會從VF備份中自動恢復到新的VF中。

對應於 10gR2 版本

修改任何 voting disk 前，停止 oracle 叢集（使用 root 使用者執行 crsctl stop crs）。檢視當前 voting disk 位置：
crsctl query css votedisk

1. 新增一個 Voting Disk，提供全路徑包括檔名:

# crsctl add css votedisk <VOTEDISK_LOCATION> -force
eg:
# crsctl add css votedisk /dev/raw/raw1 -force
# crsctl add css votedisk /cluster_fs/votedisk.dat -force
> crsctl add css votedisk \\.\VOTEDSK2 -force   - for windows

2. 刪除一個 Voting Disk，提供全路徑包括檔名:

# crsctl delete css votedisk <VOTEDISK_LOCATION> -force
eg:
# crsctl delete css votedisk /dev/raw/raw1 -force
# crsctl delete css votedisk /cluster_fs/votedisk.dat -force
> crsctl delete css votedisk \\.\VOTEDSK1 -force   - for windows

3. 移動一個 Voting Disk，提供全路徑包括檔名，先新增一個裝置，然後刪除舊的:

# crsctl add css votedisk <NEW_LOCATION> -force
# crsctl delete css votedisk <OLD_LOCATION> -force
eg:
# crsctl add css votedisk /dev/raw/raw4 -force
# crsctl delete css votedisk /dev/raw/raw1 -force

修改 Voting Disk 後，在所有節點啟動 oracle 叢集

# crsctl start crs

確認 Voting Disk 位置：

# crsctl query css votedisk

對於 11gR1 版本

從 11.1.0.6 開始，下面的命令可以線上執行（CRS 正在執行）

1. 新增一個 Voting Disk，提供全路徑包括檔名：

2. 刪除一個 Voting Disk，提供全路徑包括檔名：

3. 移動一個Voting Disk, 提供全路徑包括檔名

確認 Voting Disk 位置：

對於 11gR2 版本

從 11.2開始，Voting Disk 可以存放於 ASM 磁碟組或者叢集檔案系統，當 Grid Infrastructure 執行是，執行下面的命令，以 grid 使用者：

1. 新增一個 Voting Disk
a. 當 votedisk 位於叢集檔案系統:

b. 當 votedisk 位於 ASM 磁碟組，沒有新增選項。
Votedisk 數量是由磁碟組冗餘度決定。如果希望更多 votedisk 副本，可以移動 votedisk 到更高冗餘度的磁碟組。見步驟4。
如果 votedisk 從一個正常或者高冗餘度的磁碟組被刪除，可以使用下面的命令新增回來：

 
2. 刪除一個Voting Disk
a. 當 Voting Disk 位於叢集檔案系統時：

b. 當 Voting Disk 位於 ASM時，沒有刪除選項，只能從一個 asm 磁碟組替換為另外一個 asm 磁碟組。

3. 在叢集檔案系統上移動一個 Voting Disk 

4. ASM 磁碟組冗餘度或者位置變化

例子：從外部冗餘磁碟組 +OCRVOTE 移動到正常冗餘磁碟組 +CRS

5. 在 ASM 磁碟組和叢集檔案系統之間移動 voting disk 
a. ASM 磁碟組移動到叢集檔案系統:

b. 從叢集檔案系統移動到 ASM 磁碟組

6. 確認:

對於 修改線上的OCR或者Vote file 的操作：

對於儲存的遷移，如果使用的是asm的磁碟組而且保持原來的大小、磁碟組、冗餘方式都不改變的話，我們可以直接採取新增新的faiure group （磁碟）的方式，然後drop掉舊的failure group（磁碟），來達到更換磁碟的目的。

更多操作資訊，請參考How to Swap Voting Disks Across Storage in a Diskgroup (Doc ID 1558007.1)和Exact Steps To Migrate ASM Diskgroups To Another SAN/Disk-Array/DAS/etc Without Downtime. (Doc ID 837308.1)

對於 Extended Cluster 上 Voting disk 維護

請參考 oracle 白皮書: 

如果使用 asmca 工具有任何問題，請參考 How to Manually Add NFS voting disk to an Extended Cluster using ASM in 11.2 Note 1421588.1 。