【問題處理】因誤修改inittab檔案導致Oracle 10gR2 CRS無法啟動
1.問題現象
1）RAC環境的第一個節點手工啟動CRS後沒有反應，CRS無法啟動。
[root@rac1 ~]# crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly
長時間等待……
[root@rac1 ~]# crs_stat -t
CRS-0184: Cannot communicate with the CRS daemon.
CRS沒啟動成功。
檢視後臺與CRS相關的程式
[root@rac1 ~]# ps -ef | grep d.bin | grep -v grep
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
此處顯示，沒有與CRS相關的程式資訊。
長時間等待沒能等來CRS的成功啟動。crsd日誌和ocssd日誌沒有任何資訊輸出。
[root@rac1 ~]# tail -30f /u01/crs1020/log/rac1/crsd/crsd.log
註釋：此處無新資訊輸出。
[root@rac1 ~]# tail -30f /u01/crs1020/log/rac1/cssd/ocssd.log
註釋：此處無新資訊輸出。
2）RAC第二節點手工啟動正常
[root@rac2 ~]# crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly
[root@rac2 ~]# crs_stat -t -v
Name Type R/RA F/FT Target State Host
----------------------------------------------------------------------
ora....B1.inst application 0/5 0/0 ONLINE OFFLINE
ora....B2.inst application 0/5 0/0 ONLINE OFFLINE
ora.RACDB.db application 0/1 0/1 ONLINE ONLINE rac2
ora....DB1.srv application 0/1 0/0 ONLINE OFFLINE
ora....DB2.srv application 0/1 0/0 ONLINE ONLINE rac2
ora.....taf.cs application 0/1 0/1 ONLINE ONLINE rac2
ora....SM1.asm application 0/5 0/0 ONLINE OFFLINE
ora....C1.lsnr application 0/5 0/0 ONLINE OFFLINE
ora.rac1.gsd application 0/5 0/0 ONLINE OFFLINE
ora.rac1.ons application 0/3 0/0 ONLINE OFFLINE
ora.rac1.vip application 0/0 0/0 ONLINE ONLINE rac2
ora....SM2.asm application 0/5 0/0 ONLINE ONLINE rac2
ora....C2.lsnr application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.gsd application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.ons application 0/3 0/0 ONLINE ONLINE rac2
ora.rac2.vip application 0/0 0/0 ONLINE ONLINE rac2
[root@rac2 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:16 ? 00:00:01 init [5]
root 3081 1 0 14:18 ? 00:00:05 /bin/sh /etc/init.d/init.cssd fatal
root 4767 3081 0 14:21 ? 00:00:00 /bin/sh /etc/init.d/init.cssd daemon
[root@rac2 ~]# ps -ef | grep d.bin | grep -v grep
root 3082 1 1 14:18 ? 00:00:23 /u01/crs1020/bin/crsd.bin reboot
oracle 4764 3080 0 14:21 ? 00:00:01 /u01/crs1020/bin/evmd.bin
oracle 4989 4942 0 14:21 ? 00:00:04 /u01/crs1020/bin/ocssd.bin
2.問題原因
如果細心觀察上面的輸出資訊，便會找到問題的根源。問題節點上有關“init.*”的程式沒有啟動。
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
啟動這些程式使用作業系統/etc/inittab檔案來實現的。
3.問題處理
1）修復/etc/inittab檔案
[root@rac1 ~]# vi /etc/inittab
……省略部分資訊……
# Run xdm in runlevel 5
x:5:respawn:/etc/X11/prefdm -nodaemon
#h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1
#h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1
#h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1
將最後三行前面的註釋符號“#”去掉，修改後如下：
# Run xdm in runlevel 5
x:5:respawn:/etc/X11/prefdm -nodaemon
h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1
h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1
h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1
2）重新載入/etc/inittab
[root@rac1 ~]# init q
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3419 1 5 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.evmd run
root 3420 1 8 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd fatal
root 3421 1 5 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.crsd run
root 3450 3419 4 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3451 3420 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3471 3451 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
root 3473 3450 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
root 3477 3473 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3419 1 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.evmd run
root 3420 1 1 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd fatal
root 3421 1 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.crsd run
root 3450 3419 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3451 3420 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3679 3421 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
注意，這裡有一個現象。即便這裡不使用crsctl start crs命令手工去啟動CRS，CRS同樣會自動啟動。
3）確認啟動成功後的CRS狀態
[root@rac1 ~]# crs_stat -t -v
Name Type R/RA F/FT Target State Host
----------------------------------------------------------------------
ora....B1.inst application 0/5 0/0 ONLINE ONLINE rac1
ora....B2.inst application 0/5 0/0 ONLINE ONLINE rac2
ora.RACDB.db application 0/1 0/1 ONLINE ONLINE rac1
ora....DB1.srv application 0/1 0/0 ONLINE ONLINE rac1
ora....DB2.srv application 0/1 0/0 ONLINE ONLINE rac2
ora.....taf.cs application 0/1 0/1 ONLINE ONLINE rac1
ora....SM1.asm application 0/5 0/0 ONLINE ONLINE rac1
ora....C1.lsnr application 0/5 0/0 ONLINE ONLINE rac1
ora.rac1.gsd application 0/5 0/0 ONLINE ONLINE rac1
ora.rac1.ons application 0/3 0/0 ONLINE ONLINE rac1
ora.rac1.vip application 0/0 0/0 ONLINE ONLINE rac1
ora....SM2.asm application 0/5 0/0 ONLINE ONLINE rac2
ora....C2.lsnr application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.gsd application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.ons application 0/3 0/0 ONLINE ONLINE rac2
ora.rac2.vip application 0/0 0/0 ONLINE ONLINE rac2
4）確認成功啟動後的與CRS相關的後臺程式資訊
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3420 1 0 14:51 ? 00:00:01 /bin/sh /etc/init.d/init.cssd fatal
root 3810 3420 0 14:52 ? 00:00:00 /bin/sh /etc/init.d/init.cssd daemon
[root@rac1 ~]# ps -ef | grep d.bin | grep -v grep
root 3421 1 2 14:51 ? 00:00:08 /u01/crs1020/bin/crsd.bin reboot
oracle 3796 3419 1 14:52 ? 00:00:03 /u01/crs1020/bin/evmd.bin
oracle 3972 3924 0 14:52 ? 00:00:02 /u01/crs1020/bin/ocssd.bin
4.小結
這是一個人為誤調整inittab檔案導致的問題。從問題現象和處理過程中我們應該總結出：在任何實際調整之前，請充分評估和測試修改的影響範圍。
Good luck.
secooler
11.01.05
-- The End --
1）RAC環境的第一個節點手工啟動CRS後沒有反應，CRS無法啟動。
[root@rac1 ~]# crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly
長時間等待……
[root@rac1 ~]# crs_stat -t
CRS-0184: Cannot communicate with the CRS daemon.
CRS沒啟動成功。
檢視後臺與CRS相關的程式
[root@rac1 ~]# ps -ef | grep d.bin | grep -v grep
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
此處顯示，沒有與CRS相關的程式資訊。
長時間等待沒能等來CRS的成功啟動。crsd日誌和ocssd日誌沒有任何資訊輸出。
[root@rac1 ~]# tail -30f /u01/crs1020/log/rac1/crsd/crsd.log
註釋：此處無新資訊輸出。
[root@rac1 ~]# tail -30f /u01/crs1020/log/rac1/cssd/ocssd.log
註釋：此處無新資訊輸出。
2）RAC第二節點手工啟動正常
[root@rac2 ~]# crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly
[root@rac2 ~]# crs_stat -t -v
Name Type R/RA F/FT Target State Host
----------------------------------------------------------------------
ora....B1.inst application 0/5 0/0 ONLINE OFFLINE
ora....B2.inst application 0/5 0/0 ONLINE OFFLINE
ora.RACDB.db application 0/1 0/1 ONLINE ONLINE rac2
ora....DB1.srv application 0/1 0/0 ONLINE OFFLINE
ora....DB2.srv application 0/1 0/0 ONLINE ONLINE rac2
ora.....taf.cs application 0/1 0/1 ONLINE ONLINE rac2
ora....SM1.asm application 0/5 0/0 ONLINE OFFLINE
ora....C1.lsnr application 0/5 0/0 ONLINE OFFLINE
ora.rac1.gsd application 0/5 0/0 ONLINE OFFLINE
ora.rac1.ons application 0/3 0/0 ONLINE OFFLINE
ora.rac1.vip application 0/0 0/0 ONLINE ONLINE rac2
ora....SM2.asm application 0/5 0/0 ONLINE ONLINE rac2
ora....C2.lsnr application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.gsd application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.ons application 0/3 0/0 ONLINE ONLINE rac2
ora.rac2.vip application 0/0 0/0 ONLINE ONLINE rac2
[root@rac2 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:16 ? 00:00:01 init [5]
root 3081 1 0 14:18 ? 00:00:05 /bin/sh /etc/init.d/init.cssd fatal
root 4767 3081 0 14:21 ? 00:00:00 /bin/sh /etc/init.d/init.cssd daemon
[root@rac2 ~]# ps -ef | grep d.bin | grep -v grep
root 3082 1 1 14:18 ? 00:00:23 /u01/crs1020/bin/crsd.bin reboot
oracle 4764 3080 0 14:21 ? 00:00:01 /u01/crs1020/bin/evmd.bin
oracle 4989 4942 0 14:21 ? 00:00:04 /u01/crs1020/bin/ocssd.bin
2.問題原因
如果細心觀察上面的輸出資訊，便會找到問題的根源。問題節點上有關“init.*”的程式沒有啟動。
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
啟動這些程式使用作業系統/etc/inittab檔案來實現的。
3.問題處理
1）修復/etc/inittab檔案
[root@rac1 ~]# vi /etc/inittab
……省略部分資訊……
# Run xdm in runlevel 5
x:5:respawn:/etc/X11/prefdm -nodaemon
#h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1
#h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1
#h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1
將最後三行前面的註釋符號“#”去掉，修改後如下：
# Run xdm in runlevel 5
x:5:respawn:/etc/X11/prefdm -nodaemon
h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1
h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1
h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1
2）重新載入/etc/inittab
[root@rac1 ~]# init q
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3419 1 5 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.evmd run
root 3420 1 8 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd fatal
root 3421 1 5 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.crsd run
root 3450 3419 4 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3451 3420 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3471 3451 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
root 3473 3450 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
root 3477 3473 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd runcheck
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3419 1 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.evmd run
root 3420 1 1 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd fatal
root 3421 1 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.crsd run
root 3450 3419 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3451 3420 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
root 3679 3421 0 14:51 ? 00:00:00 /bin/sh /etc/init.d/init.cssd startcheck
注意，這裡有一個現象。即便這裡不使用crsctl start crs命令手工去啟動CRS，CRS同樣會自動啟動。
3）確認啟動成功後的CRS狀態
[root@rac1 ~]# crs_stat -t -v
Name Type R/RA F/FT Target State Host
----------------------------------------------------------------------
ora....B1.inst application 0/5 0/0 ONLINE ONLINE rac1
ora....B2.inst application 0/5 0/0 ONLINE ONLINE rac2
ora.RACDB.db application 0/1 0/1 ONLINE ONLINE rac1
ora....DB1.srv application 0/1 0/0 ONLINE ONLINE rac1
ora....DB2.srv application 0/1 0/0 ONLINE ONLINE rac2
ora.....taf.cs application 0/1 0/1 ONLINE ONLINE rac1
ora....SM1.asm application 0/5 0/0 ONLINE ONLINE rac1
ora....C1.lsnr application 0/5 0/0 ONLINE ONLINE rac1
ora.rac1.gsd application 0/5 0/0 ONLINE ONLINE rac1
ora.rac1.ons application 0/3 0/0 ONLINE ONLINE rac1
ora.rac1.vip application 0/0 0/0 ONLINE ONLINE rac1
ora....SM2.asm application 0/5 0/0 ONLINE ONLINE rac2
ora....C2.lsnr application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.gsd application 0/5 0/0 ONLINE ONLINE rac2
ora.rac2.ons application 0/3 0/0 ONLINE ONLINE rac2
ora.rac2.vip application 0/0 0/0 ONLINE ONLINE rac2
4）確認成功啟動後的與CRS相關的後臺程式資訊
[root@rac1 ~]# ps -ef | grep init | grep -v grep
root 1 0 0 14:22 ? 00:00:01 init [5]
root 3420 1 0 14:51 ? 00:00:01 /bin/sh /etc/init.d/init.cssd fatal
root 3810 3420 0 14:52 ? 00:00:00 /bin/sh /etc/init.d/init.cssd daemon
[root@rac1 ~]# ps -ef | grep d.bin | grep -v grep
root 3421 1 2 14:51 ? 00:00:08 /u01/crs1020/bin/crsd.bin reboot
oracle 3796 3419 1 14:52 ? 00:00:03 /u01/crs1020/bin/evmd.bin
oracle 3972 3924 0 14:52 ? 00:00:02 /u01/crs1020/bin/ocssd.bin
4.小結
這是一個人為誤調整inittab檔案導致的問題。從問題現象和處理過程中我們應該總結出：在任何實際調整之前，請充分評估和測試修改的影響範圍。
Good luck.
secooler
11.01.05
-- The End --
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/519536/viewspace-683382/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- oracle兩節點RAC，由於gipc導致某節點crs無法啟動問題分析Oracle
- 懷疑私網網路卡多播問題導致crs無法正常啟動
- ORACLE OGG引數修改引起佇列檔案異常導致抽取程式無法啟動Oracle佇列
- Oracle日常問題處理-資料庫無法啟動Oracle資料庫
- 應用使用JNDI，資料庫無法連線，導致的程序無法啟動問題處理資料庫
- Oracle 12c因bug導致ORA-04031問題處理過程Oracle
- 因為修改windows管理員密碼導致sql server 2005不能啟動處理Windows密碼SQLServer
- Oracle歸檔檔案丟失導致OGG不用啟動Oracle
- Oracle RAC啟動因CTSS導致的異常Oracle
- 神奇的DEBUG：因為異常導致MongoDB容器無法啟動MongoDB
- 因為跨域問題導致的無法讀取 response header跨域Header
- Oracle Haip無法啟動問題學習OracleAI
- linux的啟動配置檔案inittab檔案詳解Linux
- Centos7 開機時遇到initramfs-xxx.img not found錯誤導致虛擬機器無法開啟問題處理CentOS虛擬機
- 異常處理：IDEA Git 修改後的檔案無法CommitIdeaGitMIT
- DevExpress 的LayoutControl控制元件導致資源無法釋放的問題處理devExpress控制元件
- mysql因為事務日誌問題無法啟動MySql
- SQL Server 因設定最大記憶體過小導致無法啟動SQLServer記憶體
- Docker容器無法啟動,裡面的配置檔案如何修改Docker
- Linux下修改fstab檔案造成系統無法啟動Linux
- ORACLE RAC 11.2.0.4 FOR RHEL6叢集無法啟動的處理Oracle
- Oracle日常問題-資料庫無法啟動(案例二)Oracle資料庫
- mstar因裝置讀不到導致，待機重啟問題
- docker容器無法啟動的情況下，如果修改配置檔案Docker
- Day03:檔案開啟；錯誤處理
- 【epoll問題】EPOLLRDHUP使用導致無法接受資料
- sqlldr標準輸出未處理導致批處理掛起問題SQL
- 關於XAMPP中Apache和Mysql因埠占用無法啟動的問題ApacheMySql
- Ubuntu boot分割槽檔案誤刪,系統無法啟動_恢復Ubuntuboot
- 解決ASM無法啟動問題ASM
- sock鎖檔案導致的MySQL啟動失敗MySql
- ORACLE for windows 審計檔案xml檔案過多導致資料庫啟動報錯ORA-09925OracleWindowsXML資料庫
- vue-cli構建的專案，.vue檔案修改無法熱更新的問題Vue
- 使用資料庫處理併發可能導致的問題資料庫
- LightDB/Postgresql 記錄客戶端啟動版本問題導致啟動失敗問題SQL客戶端
- Oracle資料傾斜導致的問題-無繫結變數Oracle變數
- 修改daemon.json重新載入後docker無法啟動問題記錄JSONDocker
- Ubuntu無法解析域名DNS指向127.0.0.53問題處理UbuntuDNS
- RAC節點hang住, oracle bug導致了cpu過高，無法啟動叢集隔離Oracle