資料庫主機重啟卡住問題處理分享

sjw1933發表於2022-10-09

硬體平臺 & 作業系統 

Linux x86 64-bit

作業系統版本

6.10

記憶體

16G

Oracle 產品及版本

Oracle 11.2.0.4

下午收到使用者通知資料庫由於歸檔佔用空間滿,增加了硬碟需要做lvm 擴容,工程師登入作業系統檢查發現,新增的硬碟並沒有載入到伺服器中,建議重啟伺服器重新認盤。下午5 點對伺服器重啟,發現一直卡住不能正常進入到作業系統中。

 

排查處理過程

5 12 日下午5 點重啟資料庫伺服器,一直卡住 modprobe 載入模組上,如下圖:

透過該啟動圖片,但看不出來載入什麼模組,初步決定進入單使用者模式去檢查,發現單使用者模式不能進入,後續透過作業系統安裝光碟使用營救模式進入,透過檢查發現載入的模組有400 多個,如果要排查需要花費比較長的時間,透過內部交流,並與使用者商量,工程師給出相對較快的恢復方式,透過安裝新作業系統,直接把原來的作業系統的資料盤直接掛載過來,透過新作業系統來啟動資料庫。

下午6 點半,工程師開始安裝新作業系統,並於7 點安裝完成,開始掛載源資料盤。

[root@nursing ~]# vgscan

[root@nursing ~]# vgchange -ay vg_mcsdb

[root@nursing ~]# mount /dev/mapper/vg_mcsdb-lv_home /home

[root@nursing ~]# ls -l /home/

total 32

drwxr-xr-x.  7 1101     1101  4096 Oct 15  2020 app

drwx------. 24    500      500  4096 Mar 22  2021 ewell

drwx------.  2 1101    1101  16384 Oct 13  2020 lost+found

drwx------   4   1101     1102  4096 Nov 26  2020 mockbuild

drwx------. 34 1101     1101   4096 May 11 20:10 oracle

根據資料盤的許可權,建立oracle 使用者及相關屬主:

[root@nursing ~]# gropadd -g 1100 oinstall

[root@nursing ~]#  groupadd -g 1100 oinstall

[root@nursing ~]#  groupdel oinstall

[root@nursing ~]#  groupadd -g 1100 oinstall

[root@nursing ~]#  groupadd dba

[root@nursing ~]#  useradd -u 1100 -g oinstall -G dba oracle

作業系統相關配置修改

[root@nursing ~]# service iptable stop

[root@nursing ~]# chkconfig iptables off

[root@nursing ~]#  service NetworkManager stop

[root@nursing ~]# chkconfig NetworkManager off

[root@nursing ~]# vi /etc/selinux/config

修改:SELINUX=disabled

[root@nursing ~]# yum install  binutils compat-libstdc++-33 compat-libstdc++-296 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers libaio libaio-devel libgcc libstdc++ libstdc++-devel make openmotif sysstat unixODBC unixODBC-devel compat-libcap1

[root@nursing ~]# vi/etc/hosts

增加:172.20.1.14 nursing

配置完成,啟動資料庫正常,重啟伺服器驗證正常。
歸檔定時清理配置:
[root@nursing ~]# crontab -l
10 20 * * * su - oracle -c "/home/oracle/del_arch.sh"
[root@nursing ~]# cat /home/oracle/del_arch.sh
#!/bin/bash
source /home/oracle/.bash_profile
rman target / >/home/oracle/bak.log <<EOF
crosscheck archivelog all;
delete noprompt expired archivelog all;
delete noprompt archivelog all completed before 'sysdate-3';
exit;
EOF
 

 

、重啟卡住問題,從啟動介面上看,是載入modprobe 模組出現了問題,應該是在使用過程中,有人修改了不正確的模組配置導致,建議後續如果要修改作業系統核心引數及相關模組配置先做評估。

2 、建議對該庫做容災,這樣後續如果發生問題,可以快速切換過去。

3 、資料庫伺服器不建議dba 以外的人員登陸伺服器修改引數和安裝其他軟體。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23825935/viewspace-2917423/,如需轉載,請註明出處,否則將追究法律責任。

相關文章