# CentOS 7.6 安裝11.2.0.4 RAC

## 1. 安裝操作系

> 由於本次安裝系統盤大於了2T，所以需要進行如下操作

### 1.1 說明

硬碟分割槽常見型別：

msdos（mbr分割槽）

gpt（gpt分割槽）

系統安裝預設採用mbr分割槽。

MBR 分割槽表(即主開機記錄) 最大隻支援2TB的分割槽，最多隻支援4個主分割槽或3個主分割槽加一個擴充套件分割槽，資訊只儲存在一個區域；

GPT（即GUID分割槽表），是源自EFI標準的一種較新的磁碟分割槽表結構的標準，是未來磁碟分割槽的主要形式，與MBR分割槽方式相比，突破4個主分割槽限制，每個磁碟最多支援128個分割槽，支援大於2T的分割槽，最大卷可達 18EB，資訊儲存在多個區域，當一部分受損後可修復。

設定GPT方式有UEFI和BIOS兩種方式，UEFI啟動是一種新的主機板引導項，與傳統的Bios方式相比可以提高開機後作業系統的啟動速度。如今很多主機板已經直接支援UEFI，這種場景下可以直接透過UEFI的方式設定GPT方式，如若主機板不支援，那麼還得透過傳統的Bios方式強制設定GPT方式。

### 1.2 UEFI啟動

如果採用UEFI啟動採用gpt分割槽，需要單獨劃分一個uefi分割槽。

```
掛載點位/boot/efi,大小几百兆即可，File System需要選擇EFI System Partition
```

### 1.3 bios啟動

- 在選擇安裝以及測試安裝介質介面，選在Install CentOS 7，按Tab鍵盤，Tab不管用，可以按E，然後在quiet後增加inst.gpt，然後儲存繼續安裝。
- 當然也可以不採用上述辦法，可以在自定義分割槽磁碟介面，需要配置一個Device Type為Standard Partition，File System為BIOS boot的1024 KiB大小的分割槽。

### 1.4 本次安裝解決辦法

我們環境中，透過上述方法進行嘗試，都無法成功安裝，最後發現為RAID卡配置殘留之前硬碟資訊，導致，重新清理RAID卡配置，重新配置RAID，問題解決。

## 2. 設定作業系統

> 透過下面指令碼配置作業系統，使用下面指令碼需要提前配置好yum源即可，執行完指令碼，無異常，建議逐項檢查一遍，然後重啟作業系統

### 2.1 配置作業系統基礎配置

```shell
#!/bin/bash
# Created at 2021/07/28
# Author CZH
# This Script used to set oracle environment.
#
#   Scripts Summary
#   func_check_root
#   func_set_hostname
#   func_inst_pack
#   func_disable_selinux
#   func_disable_firewalld
#   func_set_sysctl
#   func_set_limits
#   func_set_pam
#   func_os_other
#   func_set_userenv
#   func_mk_dir

# Exit this shell when any error occur.
set -e

# Configure Global variables.
v_curdate=`date +%Y%m%d_%H%M%S`
v_memtotal=`cat /proc/meminfo |grep MemTotal|awk '{print $2}'`

# check current user is root or not.
function func_check_root()
{
if [ ${UID} -ne 0 ]
    then
        echo -e "\nPlease use root run this scripts!\n"
        exit 0
    else
        echo -e "\n>>>>>>>> This script will run as root ! <<<<<<<> /etc/sysctl.conf <<eof kernel.shmall="${v_shmall}" kernel.shmmax="${v_shmmax}" kernel.shmmni="4096" vm.overcommit_memory="2" same="" as="" close="" oom.="" vm.overcommit_ratio="80" only="" take="" effect="" when="" overcommit_memory="" set="" to="" vm.swappiness="0" net.ipv4.ip_local_port_range="9000" kernel.sem="250" the="" maximum="" receive="" socket="" buffer="" size="" in="" bytes="" net.core.rmem_max="4194303" net.core.rmem_default="262144" send="" bytes.="" net.core.wmem_max="4194303" net.core.wmem_default="262144" fs.aio-max-nr="1048576" fs.file-max="6815744" eof="" configure="" min="" reserved="" memory="" percent="" of="" total="" memory.="" awk="" .03="">> /etc/sysctl.conf
        echo -e "\nfunc func_set_sysctl execute Successful!\n"
}

# Configure limits.conf
function func_set_limits()
{
cat >> /etc/security/limits.d/20-nproc.conf <<eof oracle="" soft="" nproc="" hard="" nofile="" stack="" grid="" eof="" echo="" func_set_limits="" execute="" successful="" set="" user="" pam="" and="" shell="" limits="" function="" func_set_pam="" cat="">> /etc/pam.d/login <<eof session="" required="" pam_limits.so="" eof="" echo="" func_set_pam="" execute="" successful="" adjust="" disk="" i="" scheduler="" thp="" ssh="" user="" function="" func_os_other="" set="" scheduler.="" redhat="" and="" centos="" grubby="" disable="" transparent="" hugepage="" on="" rhel="" cat="" display="" grub="" modify="" maxsessions.="" sed="" maxs="" add="" greenplum="" administration="" group="" user.="" groupadd="" oinstall="" dba="" oper="" asmdba="" asmoper="" asmadmin="" useradd="" grid="" oracle="" userenv="" .bash_profile="" settings="" func_set_userenv="">> /home/oracle/.bash_profile <<eof export="" oracle_base="/u01/app/oracle" oracle_home="\$ORACLE_BASE/product/11.2.0.4/db_1" oracle_sid="export" path="$PATH:\$ORACLE_HOME/bin" ld_library_path="\$LD_LIBRARY_PATH:$ORACLE_HOME/lib" classpath="\$ORACLE_HOME/JRE:\$ORACLE_HOME/jlib:\$ORACLE_HOME/rdbms/jlib" eof="" set="" grid="" userenv="" cat="">> /home/grid/.bash_profile <<eof export="" oracle_sid="export" oracle_base="/u01/app/grid" oracle_home="/u01/app/11.2.0.4/grid" path="\$PATH:\$ORACLE_HOME/bin" ld_library_path="\$LD_LIBRARY_PATH:\$ORACLE_HOME/lib:/lib:/usr/lib" classpath="\$ORACLE_HOME/JRE:\$ORACLE_HOME/jlib:\$ORACLE_HOME/rdbms/jlib" eof="" function="" func_mk_dir="" mkdir="" chown="" grid:oinstall="" oracle:oinstall="" chmod="" echo="" execute="" successful="" func_check_root="" func_set_hostname="" func_inst_pack="" func_disable_selinux="" func_disable_firewalld="" func_set_sysctl="" func_set_limits="" func_set_pam="" func_os_other="" func_set_userenv="">>>>>>>> The operating system setup is finished, please reboot! <<<<<<< 可以透過ssh-keygen或grid安裝包提供的sshUserSetup.sh配置互信即可。
>
> 配置完互信，可以使用ssh <hostname> date測試public以及private互信是否需要密碼或需要輸入yes，確保雙向互信配置正確無誤。

## 3. 華為儲存配置UDEV

> 下面參考來自文章https://www.modb.pro/db/23211

### 3.1 透過ultrapath命令配置udev

```shell
1. 檢視虛擬磁碟
UltraPath提供了upadmin客戶端工具，查詢方法如下：
[root@test ~]# upadmin
UltraPath CLI #0 >show vlun
        
2. 配置磁碟或分割槽別名
繼續查閱資料，發現可以為vlun配置別名，本質上還是透過UDEV的方式實現
原文連結：https://support.huawei.com/enterprise/zh/doc/EDOC1100026705/7316c49d
命令格式：
upLinux setGlobalDiskAlias alias_prefix=name [owner=user group=group method={SYMLINK|NAME}]
# 生成的磁碟或分割槽別名儲存在“/dev/ultrapath”目錄

3. 測試
# 嘗試配置/dev/sdd來驗證
[root@test ~]# upLinux setDiskAlias src_name=sdd dest_alias=test_mgmt001 owner=grid group=asmadmin method=SYMLINK
Succeeded in executing the command.

4. 檢視配置udev別名
[root@test ~]# upLinux showDiskAlias

5. 檢視udev裝置以及規則檔案
[root@test ~]# cd /dev/ultrapath
[root@test ultrapath]# ls
asm-test_mgmt001

[root@test ultrapath]# cd /etc/udev/rules.d/
[root@test rules.d]# ls -lrt
total 16
-rw-r--r--. 1 root root 628 Feb  6  2019 70-persistent-ipoib.rules
-rw-------  1 root root 211 Mar  2 20:14 56-nxup.rules
-rw-------  1 root root 571 Mar  2 20:14 99-ultrapath.rules
-rw-------  1 root root 299 Mar 27 11:40 99-ultrapath-alias.rules

[root@test rules.d]# cat 99-ultrapath-alias.rules
# Do not modify this rule configuration file; otherwise, the usage of UltraPath may be affected.
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="36c8a7761009835632299e0ac000000ce", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-test_mgmt001", OWNER="grid", GROUP="asmadmin", MODE="0660"

6. 其他命令
檢視所有磁碟和分割槽別名：
upLinux showDiskAlias

刪除指定磁碟或分割槽別名：
upLinux unsetDiskAlias alias=name

命令用於清除未正常生效的別名配置：
upLinux unsetDiskAlias
```

### 3.2 透過手工編寫規則檔案生成

```
1.生產規則檔案

for i in b c d;
do
echo "KERNEL==\"sd*\",ENV{DEVTYPE}==\"disk\",SUBSYSTEM==\"block\",PROGRAM==\"/usr/lib/udev/scsi_id -g -u -d \$devnode\",RESULT==\"`/usr/lib/udev/scsi_id -g -u  /dev/sd$i`\",SYMLINK+=\"asm$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"">>/etc/udev/rules.d/99-oracle-asmdevices.rules
done
 
2.啟動udev
# /sbin/udevadm trigger --type=devices --action=change

3.檢視udev裝置是否正確設定
# ls -l /dev/sd*
```

## 4. 安裝遇到問題

>  上述配置完udev之後，即可開始正常安裝，安裝Grid以及安裝Oracle會遇到下面問題，如果遇到其他問題，則需要單獨解決，下面問題為通用問題。

### 4.1 安裝grid遇到問題

```shell
1.issue 
報錯資訊：
[root@zjdb1 ~]# /u01/app/11.2.0/grid/root.sh 
Performing root user operation for Oracle 11g 
...

ohasd failed to start
Failed to start the Clusterware. Last 20 lines of the alert log follow: 
2015-05-23 23:37:45.460: 
[client(13782)]CRS-2101:The OLR was formatted using version 3.

2. Cause
報錯原因：
因為RHEL 7使用systemd而不是initd執行程式和重啟程式，而root.sh透過傳統的initd執行ohasd程式。

3. Solution：
解決方法：
在RHEL 7中ohasd需要被設定為一個服務，在執行指令碼root.sh之前。

步驟如下：
1. 以root使用者建立服務檔案
# touch /usr/lib/systemd/system/ohas.service
# chmod 777 /usr/lib/systemd/system/ohas.service

2. 將以下內容新增到新建立的ohas.service檔案中
# cat /usr/lib/systemd/system/ohas.service
[Unit]
Description=Oracle High Availability Services
After=syslog.target

[Service]
ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple
Restart=always

[Install]
WantedBy=multi-user.target

3. 以root使用者執行下面的命令
# systemctl daemon-reload
# systemctl enable ohas.service
# systemctl start ohas.service

4. 檢視執行狀態
# systemctl status ohas.service
...
   Active: failed (Result: start-limit) since Fri 2015-09-11 16:07:32 CST; 1s ago
...
此時狀態為失敗，原因是現在還沒有/etc/init.d/init.ohasd檔案。

5. 下面可以執行指令碼root.sh 不會再報ohasd failed to start錯誤了。
如果還是報ohasd failed to start錯誤，可能是root.sh指令碼建立了init.ohasd之後，ohas.service沒有馬上啟動，解決方法參考以下：
# 也可以不啟動，使用watch -n 1 ls -l /etc/init.d/init.ohasd，一旦出現，立即執行啟動。則root.sh指令碼即可順利執行，避免報錯。
# systemctl status ohas.service
```

### 4.2 安裝Oracle遇到問題

```shell
# 安裝Oracle到86%遇到ins_emagent.mk編譯報錯問題
$ cd $ORACLE_HOME/sysman/lib
$ cp ins_emagent.mk ins_emagent.mk.bak
$ vi ins_emagent.mk
進入vi編輯器後  命令模式輸入/NMECTL 進行查詢，快速定位要修改的行
在後面追加引數-lnnz11，第一個是字母l，後面兩個是數字1
```</hostname></eof></eof></eof></eof></eof>

CentOS 7.6 安裝11.2.0.4 RAC

相關文章