19c RAC因profile.xml檔案丟失節點1啟動失敗

基礎環境： Redhat Enterprise 7.8,Oracle 19.3 2節點RAC。

問題回顧 ：客戶一套業務系2022-08-26 09:50主機硬體故障，主機重啟後，1節點叢集無法啟動，gicp程式無法啟動。 GIPCXCPT:3426985728:  gipcmodTlsGetWalletObjFromCred: invalid certificate count[! = 1]in credSet:0, ret gipcretBadArg (37)

節點1叢集profile.xml檔案丟失導致叢集啟動時2個節點無法建立通訊。profile.xml檔案為叢集啟動時所必須的檔案，每個節點上都會儲存一個本地的 GPnP Profile，並且由 GPnP 守護程式（GPnPD）維護。在Oracle叢集中，CSS、GPnP等服務的啟動都需要依賴於GPnP profile檔案。GPnP profile還指定了整個叢集的特性。如果該檔案被破壞或丟失，Clusterware將無法正常啟動。節點1啟動時啟動了GPnP agent， GPnP agent無法讀取到GPnP profile（profile.xml）。

分析過程：

1、檢查主機重啟後叢集狀態

使用grid用執行  crsctl stat res  -t  -init 

$crsctl stat res  -t -init 
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details      
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
      1        ONLINE  ONLINE                                STABLE
ora.cluster_interconnect.haip
      1        ONLINE  ONLINE                                STABLE
ora.crf
      1        ONLINE  ONLINE                                STABLE
ora.crsd
      1        ONLINE  ONLINE                                STABLE
ora.cssd
      1        ONLINE  ONLINE                                STABLE
ora.cssdmonitor
      1        ONLINE  ONLINE                                STABLE
ora.ctssd
      1        ONLINE  ONLINE                                STABLE
ora.diskmon
      1        OFFLINE OFFLINE                               STABLE
ora.evmd
      1        ONLINE  INTERMEDIATE              rac19c1       STABLE          
ora.gipcd
      1        ONLINE  OFFLINE             rac19c1       STARTING
ora.gpnpd
      1        ONLINE  INTERMEDIATE              rac19c1      STABLE
ora.mdnsd
      1        ONLINE  ONLINE             rac19c1       STABLE
ora.storage
      1        ONLINE  OFFLINE             rac19c1                  STABLE

ora.gipcd資源狀態 OFFLINE處於starting狀態，ora.gpnpd資源狀態為 INTERMEDIATE，這也異常狀態。

2 、 ohasd_oraagent_grid.trc 日誌 09:50:06gipcInternalConnectSync 失敗

3 、 osysmond.trc 日誌 09:53:25 獲取 profile.xml 異常 (:GPNP00108:)Failed to get offline GPnP service profile.

4 、 gpnpd.trc 日誌顯示 09 ： 50 分 gpnpd 程式丟失 profile 檔案，導致叢集無法啟動：

解決辦法

重新生成 profile.xml 檔案後，可以正常啟動crs和資料庫。

gpnptool get -o / tmp /p.xml

cp / tmp /p.xml / picclife /app/grid/ gpnp /node1/profiles/peer/

[root@node1 peer]# ls -l

total 8

- rw - rw -r-- 1 grid oinstall 1928 Aug 27 15:32 profile.xml

-the end-