硬體平臺 & 作業系統	Linux x86 64-bit
作業系統版本	6.10
記憶體	16G
Oracle 產品及版本	Oracle 11.2.0.4

下午收到使用者通知資料庫由於歸檔佔用空間滿，增加了硬碟需要做lvm 擴容，工程師登入作業系統檢查發現，新增的硬碟並沒有載入到伺服器中，建議重啟伺服器重新認盤。下午5 點對伺服器重啟，發現一直卡住不能正常進入到作業系統中。

排查處理過程

5 月12 日下午5 點重啟資料庫伺服器，一直卡住 modprobe 載入模組上，如下圖：

透過該啟動圖片，但看不出來載入什麼模組，初步決定進入單使用者模式去檢查，發現單使用者模式不能進入，後續透過作業系統安裝光碟使用營救模式進入，透過檢查發現載入的模組有400 多個，如果要排查需要花費比較長的時間，透過內部交流，並與使用者商量，工程師給出相對較快的恢復方式，透過安裝新作業系統，直接把原來的作業系統的資料盤直接掛載過來，透過新作業系統來啟動資料庫。

下午6 點半，工程師開始安裝新作業系統，並於7 點安裝完成，開始掛載源資料盤。

[root@nursing ~]# vgscan

[root@nursing ~]# vgchange -ay vg_mcsdb

[root@nursing ~]# mount /dev/mapper/vg_mcsdb-lv_home /home

[root@nursing ~]# ls -l /home/

total 32

drwxr-xr-x. 7 1101 1101 4096 Oct 15 2020 app

drwx------. 24 500 500 4096 Mar 22 2021 ewell

drwx------. 2 1101 1101 16384 Oct 13 2020 lost+found

drwx------ 4 1101 1102 4096 Nov 26 2020 mockbuild

drwx------. 34 1101 1101 4096 May 11 20:10 oracle

根據資料盤的許可權，建立oracle 使用者及相關屬主：

[root@nursing ~]# gropadd -g 1100 oinstall

[root@nursing ~]# groupadd -g 1100 oinstall

[root@nursing ~]# groupdel oinstall

[root@nursing ~]# groupadd -g 1100 oinstall

[root@nursing ~]# groupadd dba

[root@nursing ~]# useradd -u 1100 -g oinstall -G dba oracle

作業系統相關配置修改

[root@nursing ~]# service iptable stop

[root@nursing ~]# chkconfig iptables off

[root@nursing ~]# service NetworkManager stop

[root@nursing ~]# chkconfig NetworkManager off

[root@nursing ~]# vi /etc/selinux/config

修改：SELINUX=disabled

[root@nursing ~]# yum install binutils compat-libstdc++-33 compat-libstdc++-296 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers libaio libaio-devel libgcc libstdc++ libstdc++-devel make openmotif sysstat unixODBC unixODBC-devel compat-libcap1

[root@nursing ~]# vi/etc/hosts

增加：172.20.1.14 nursing

配置完成，啟動資料庫正常，重啟伺服器驗證正常。

歸檔定時清理配置：

[root@nursing ~]# crontab -l

10 20 * * * su - oracle -c "/home/oracle/del_arch.sh"

[root@nursing ~]# cat /home/oracle/del_arch.sh

#!/bin/bash

source /home/oracle/.bash_profile

rman target / >/home/oracle/bak.log <<EOF

crosscheck archivelog all;

delete noprompt expired archivelog all;

delete noprompt archivelog all completed before 'sysdate-3';

exit;

EOF

1 、重啟卡住問題，從啟動介面上看，是載入modprobe 模組出現了問題，應該是在使用過程中，有人修改了不正確的模組配置導致，建議後續如果要修改作業系統核心引數及相關模組配置先做評估。

2 、建議對該庫做容災，這樣後續如果發生問題，可以快速切換過去。

3 、資料庫伺服器不建議dba 以外的人員登陸伺服器修改引數和安裝其他軟體。

資料庫主機重啟卡住問題處理分享

排查處理過程

相關文章