【ASM】Oracle RAC css啟動報錯"Duplicate voting file found"

在Oracle rac平臺，11.2之後，有時候會出現“Duplicate voting file found”相關錯誤。我們可以檢查相關資訊進行分析

問題1：

ocssd.log:
-----------
2010-12-13 17:13:08.855: [ CLSF][1112013120]Opened hdl:0x2aaab0148ee0 for dev:/dev/raw/raw1:
2010-12-13 17:13:08.855: [ CSSD][1112013120]clssnmvStatusBlkInit: myinfo nodename enode1, uniqueness 1292256281
2010-12-13 17:13:08.855: [ CSSD][1112013120]clssnmvDiskAvailabilityChange: voting file /dev/raw/raw1 now online
2010-12-13 17:13:08.856: [ CSSD][1099827520]clssnmvDiskKillCheck: Aborting, killed by install operation
2010-12-13 17:13:08.856: [ CSSD][1099827520]###################################
2010-12-13 17:13:08.856: [ CSSD][1099827520]clssscExit: CSSD aborting from thread clssnmvKillBlockThread
2010-12-13 17:13:08.856: [ CSSD][1099827520]###################################

問題2：

2013-02-24 17:21:41.776: [    CSSD][17]clssnmvDiskVerify: Successful discovery of 3 disks
2013-02-24 17:21:41.776: [    CSSD][17]clssnmCompleteInitVFDiscovery: Completing initial voting file discovery
2013-02-24 17:21:41.776: [    CSSD][17]clssnmCompleteVFDiscovery: Completing voting file discovery
2013-02-24 17:21:41.777: [    CSSD][17]clssnmvDiskStateChange: state from discovered to deconfigured disk /dev/rdsk/emcpower15
2013-02-24 17:21:41.777: [    CSSD][17]clssnmvDiskStateChange: state from discovered to deconfigured disk /dev/rdsk/emcpower14
2013-02-24 17:21:41.777: [    CSSD][17]clssnmvDiskStateChange: state from discovered to deconfigured disk /dev/rdsk/emcpower13
2013-02-24 17:21:41.777: [    CSSD][17]clssnmvVerifyCommittedConfigVFs: Insufficient voting files found, found 0 of 3 configured, needed 2 voting files
2013-02-24 17:21:41.778: [    CSSD][17](:CSSNM00020:)clssnmvVerifyCommittedConfigVFs: voting file 0, id ae6026ad-91804f21-bfdc9227-aced3ee1 not found
2013-02-24 17:21:41.778: [    CSSD][17](:CSSNM00020:)clssnmvVerifyCommittedConfigVFs: voting file 1, id b848bcd9-24684fa7-bfadc40b-506de4ab not found
2013-02-24 17:21:41.778: [    CSSD][17](:CSSNM00020:)clssnmvVerifyCommittedConfigVFs: voting file 2, id 2694f601-b61d4fbb-bfee0a0c-9a32246e not found
2013-02-24 17:21:41.779: [    CSSD][17]ASSERT clssnm1.c 3375
2013-02-24 17:21:41.779: [    CSSD][17](:CSSNM00021:)clssnmCompleteVFDiscovery: Found 0 voting files, but 2 are required.  Terminating due to insufficient configured voting files
2013-02-24 17:21:41.779: [    CSSD][17]###################################
2013-02-24 17:21:41.779: [    CSSD][17]clssscExit: CSSD aborting from thread clssnmvDDiscThread
2013-02-24 17:21:41.779: [    CSSD][17]###################################

主要可能是因 某些儲存裝置對映更改或新增新LUN。

該問題是由於發現了用於投票磁碟的重複裝置造成的。這通常發生在具有多路徑磁碟的環境中。從11gR2開始，當發現投票磁碟存在重複裝置時，兩個磁碟都將被丟棄，這將導致CSSD無法啟動投票磁碟。

日誌顯示如下：

2010-12-13 17:04:44.039: [   SKGFD][1085995328]Discovery with str::
2010-12-13 17:04:44.039: [   SKGFD][1085995328]UFS discovery with ::
2010-12-13 17:04:44.040: [   SKGFD][1085995328]Fetching UFS disk :/dev/raw/raw1:
2010-12-13 17:04:44.040: [   SKGFD][1085995328]Fetching UFS disk :/dev/raw/raw2:
......
2010-12-13 17:04:44.040: [   SKGFD][1085995328]Discovery with asmlib :ASM:/opt/oracle/extapi/64/asm/orcl/1/libasm.so: str ::
2010-12-13 17:04:44.041: [   SKGFD][1085995328]Fetching asmlib disk :ORCL:OCR_VOTE01:
...
2010-12-13 17:04:44.058: [    CSSD][1085995328]clssnmvDiskVerify: Successful discovery for disk /dev/raw/raw1, UID 846056ee-71db4f64-bf0206ce-cb441c4f, Pending CIN 0:1292254381:0, Committed CIN 0:1292254381:0
2010-12-13 17:04:44.058: [    CSSD][1085995328]clssnmvDiskVerify: discovered a potential voting file
2010-12-13 17:04:44.058: [   SKGFD][1085995328]Handle 0x94e3a00 from lib :ASM:/opt/oracle/extapi/64/asm/orcl/1/libasm.so: for disk :ORCL:OCR_VOTE01:
2010-12-13 17:04:44.058: [    CLSF][1085995328]Opened hdl:0x94e4660 for dev:ORCL:OCR_VOTE01:
2010-12-13 17:04:44.059: [    CSSD][1085995328]clssnmFindVF: found VF by vdin in the discovered queue
2010-12-13 17:04:44.059: [    CSSD][1085995328]clssnmFindVF: Duplicate voting file found in the queue of previously discovered disks queued(/dev/raw/raw1|[846056ee-71db4f64-bf0206ce-cb441c4f]), found(|[846056ee-71db4f64-bf0206ce-cb441c4f])
2010-12-13 17:04:44.059: [    CSSD][1085995328]clssnmvDiskDestroy: removing the voting disk

建立並對映到ASM使用的底層裝置的原始裝置存在配置錯誤，它們歸網格使用者所有。當CSSD啟動時，它發現了原始裝置和ASMlib磁碟。/dev/raw/raw1和OCR_VOTE01都指向同一個磁碟。在發現過程中，首先會發現/dev/raw/raw1，因此OCR_VOTE01將作為副本刪除。但投票盤在ASM盤上，它沒有使用原始裝置格式。當使用/dev/raw/raw1作為投票盤時，它無法獲得正確的內容，因此報告了“clssnmvDiskKillCheck:中止，被安裝操作終止”，CSSD無法繼續執行。

第二段日誌

2013-02-24 17:21:41.464: [    CSSD][17]clssnmFindVF: found VF by vdin in the discovered queue
2013-02-24 17:21:41.464: [    CSSD][17]clssnmFindVF: Duplicate voting file found in the queue of previously discovered disks queued(/dev/rdsk/emcpower13|[ae6026ad-91804f21-bfdc9227-aced3ee1]), found(/dev/rdsk/c0d13s0|[ae6026ad-91804f21-bfdc9227-aced3ee1]), is not corrupted
2013-02-24 17:21:41.465: [    CSSD][17]clssnmvDiskCreate: Found a duplicate voting file /dev/rdsk/emcpower13 in the discovery queue which appears to be the same physical device as the newly discovered disk /dev/rdsk/c0d13s0. Rejecting both these files
2013-02-24 17:21:41.465: [    CSSD][17]clssnmvDiskDestroy: removing the voting disk /dev/rdsk/c0d13s0
2013-02-24 17:21:41.465: [   SKGFD][17]Lib :UFS:: closing handle 10124a910 for disk :/dev/rdsk/c0d13s0:
> ls -ltr /dev/rdsk/c0d13s0
lrwxrwxrwx   1 root     root          66 Dec 19 16:31 /dev/rdsk/c0d13s0 -> ../../devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
> ls -l /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
crw-rw-r--   1 grid     dba      150, 112 Dec 19 22:27 /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw

這與多路徑設定有關，/dev/rdsk/emcpower13和/dev/rdsk/c0d13s0都指向同一裝置。/dev/rdsk/c013ds0的底層裝置的所有權和許可權設定不正確，導致發現並丟棄這兩個裝置。

解決辦法：

針對第一段日誌，刪除原始裝置對映或更改所有節點上1組多路徑裝置的所有權/許可權，以便網格使用者看不到這些裝置

# chown root:root /dev/raw/raw[1-2]
# chmod 600 /dev/raw/raw[1-2]

 針對第二段日誌

# chown root:sys /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
# chmod 600 /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
after the change, it looks like:
> ls -l /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
crw-------   1 root     sys      150, 112 Dec 19 22:27 /devices/virtual-devices@100/channel-devices@200/disk@d:a,raw
perform the same changes for other voting disks if using normal or high redundancy.

重啟叢集

#注意root使用者，進入grid 安裝目錄下執行
crsctl stop has -f
crsctl start has

翻譯參考mos文件： Clusterware Fails to Start due to CSSD Fails to start with "Duplicate voting file found" (Doc ID 1274309.1)