華為多路徑配置RAC

hellohf123發表於2022-01-04

環境

oracle rac19c

centos 7.9 

華為儲存多路徑軟體  OceanStor_UltraPath_31.0.2_CentOS.zip


1、用了華為的多路徑軟體就不需要用multipath了,很方便。

首先是安裝,解壓 OceanStor_UltraPath_31.0.2_CentOS.zip,解壓出來是CentOS資料夾

[root@bms-9 CentOS]# bash install.sh

預設安裝就可以,預設會建議重啟,我這裡重啟了。



2、系統檢視識別到的硬碟

[root@bms-9 CentOS]# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda               8:0    0 446.6G  0 disk
├─sda1            8:1    0   200M  0 part /boot/efi
├─sda2            8:2    0     1G  0 part /boot
└─sda3            8:3    0 445.4G  0 part
  ├─centos-root 253:0    0 441.4G  0 lvm  /
  └─centos-swap 253:1    0     4G  0 lvm  [SWAP]
sdga            131:96   0    50G  0 disk
sdgb            131:112  0    20G  0 disk
sdgc            131:128  0   1.5T  0 disk
sdgd            131:144  0   1.5T  0 disk
sdge            131:160  0   1.5T  0 disk
sdgf            131:176  0   1.5T  0 disk
sdgg            131:192  0   1.5T  0 disk
sdgh            131:208  0   1.5T  0 disk
sdgi            131:224  0     1T  0 disk
sdgj            131:240  0    20G  0 disk
sdfz            131:80   0    20G  0 disk


3、透過華為多路徑軟體的命令檢視

[root@bms-9 CentOS]# upadmin
UltraPath CLI #0 >show vlun
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Vlun ID  Disk          Name                       Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)
    0     sdfz  RAC_BMS10_BMS9_OCR02   644227c10028c030171ef7e60000001c  Normal  20.00GB       --/--       HW-Stor-1       28                  24/24
    1     sdga  RAC_BMS10_BMS9_MGMT01  644227c10028c030171f17e20000001e  Normal  50.00GB       --/--       HW-Stor-1       30                  24/24
    2     sdgb  RAC_BMS10_BMS9_OCR03   644227c10028c030171f02360000001d  Normal  20.00GB       --/--       HW-Stor-1       29                  24/24
    3     sdgc  RAC_BMS10_BMS9_DATA01  644227c10028c030171f3fa10000001f  Normal   1.50TB       --/--       HW-Stor-1       31                  24/24
    4     sdgd  RAC_BMS10_BMS9_DATA02  644227c10028c030171f503b00000020  Normal   1.50TB       --/--       HW-Stor-1       32                  24/24
    5     sdge  RAC_BMS10_BMS9_DATA03  644227c10028c030171f5f4100000021  Normal   1.50TB       --/--       HW-Stor-1       33                  24/24
    6     sdgf  RAC_BMS10_BMS9_DATA04  644227c10028c030171f7ffe00000022  Normal   1.50TB       --/--       HW-Stor-1       34                  24/24
    7     sdgg  RAC_BMS10_BMS9_DATA05  644227c10028c030171f9dd400000023  Normal   1.50TB       --/--       HW-Stor-1       35                  24/24
    8     sdgh  RAC_BMS10_BMS9_DATA06  644227c10028c030171faaec00000024  Normal   1.50TB       --/--       HW-Stor-1       36                  24/24
    9     sdgi  RAC_BMS10_BMS9_FRA01   644227c10028c030171fb9ab00000025  Normal   1.00TB       --/--       HW-Stor-1       37                  24/24
   10     sdgj  RAC_BMS10_BMS9_OCR01   644227c10028c030171eeb4b0000001b  Normal  20.00GB       --/--       HW-Stor-1       27                  24/24
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
UltraPath CLI #1 >


RAC_BMS10_BMS9_DATA01

這個好的一點在於,這個vlun名字為儲存劃分時候起的名字,非常清晰。



4、根據自己的規劃,設定別名, (根據自己系統的磁碟機代號更改)  倆節點磁碟機代號可能不一樣,所以別名對應磁碟機代號可能也不一樣

upLinux setDiskAlias src_name=sdgl dest_alias=asm-dgocr01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgm dest_alias=asm-dgocr02 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgn dest_alias=asm-dgocr03 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdge dest_alias=asm-dgmgmt01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgg dest_alias=asm-dgdata01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgd dest_alias=asm-dgdata02 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgf dest_alias=asm-dgdata03 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgh dest_alias=asm-dgdata04 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgi dest_alias=asm-dgdata05 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgj dest_alias=asm-dgdata06 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgk dest_alias=asm-dgfra01 owner=grid group=asmadmin method=SYMLINK


注意,雖然這邊

upLinux setDiskAlias src_name=sdgl dest_alias=asm-dgocr01 owner=grid group=asmadmin method=SYMLINK

是透過磁碟機代號來設定別名,但實際上是將別名繫結到磁碟機代號對應的lun WWN上了,重啟系統後,磁碟機代號會變,

但是alias和Lun WWN的對應關係還是一樣的。


5、多路徑軟體檢視別名設定

[root@bms-9 CentOS]# upLinux showDiskAlias
----------------------------------------------------------------------------------------------------------------------------------------
    ID                     Alias                              Lun WWN                               Disk                     Type
    0                   asm-dgdata01              644227c10028c030171f3fa10000001f                  sdgc                   SYMLINK
    1                   asm-dgdata02              644227c10028c030171f503b00000020                  sdgd                   SYMLINK
    2                   asm-dgdata03              644227c10028c030171f5f4100000021                  sdge                   SYMLINK
    3                   asm-dgdata04              644227c10028c030171f7ffe00000022                  sdgf                   SYMLINK
    4                   asm-dgdata05              644227c10028c030171f9dd400000023                  sdgg                   SYMLINK
    5                   asm-dgdata06              644227c10028c030171faaec00000024                  sdgh                   SYMLINK
    6                   asm-dgfra01               644227c10028c030171fb9ab00000025                  sdgi                   SYMLINK
    7                   asm-dgmgmt01              644227c10028c030171f17e20000001e                  sdga                   SYMLINK
    8                   asm-dgocr01               644227c10028c030171eeb4b0000001b                  sdgj                   SYMLINK
    9                   asm-dgocr02               644227c10028c030171ef7e60000001c                  sdfz                   SYMLINK
    10                  asm-dgocr03               644227c10028c030171f02360000001d                  sdgb                   SYMLINK
----------------------------------------------------------------------------------------------------------------------------------------
[root@bms-9 CentOS]#


6、檢視udev下面透過華為多路徑軟體自動生成的檔案。

[root@bms-9 CentOS]# cd /etc/udev/rules.d/
[root@bms-9 rules.d]# ls
56-nxup.rules  69-vdo-start-by-dev.rules  70-persistent-ipoib.rules  99-ultrapath-alias.rules  99-ultrapath.rules  backup
[root@bms-9 rules.d]# cat 99-ultrapath-alias.rules
# Do not modify this rule configuration file; otherwise, the usage of UltraPath may be affected.
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171eeb4b0000001b", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171ef7e60000001c", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f02360000001d", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr03", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f17e20000001e", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgmgmt01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f3fa10000001f", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f503b00000020", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f5f4100000021", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata03", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f7ffe00000022", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata04", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171fb9ab00000025", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgfra01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f9dd400000023", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata05", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171faaec00000024", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata06", OWNER="grid", GROUP="asmadmin", MODE="0660"
[root@bms-9 rules.d]#

所以知道,設定別名的命令裡已經將磁碟機代號屬性設定了,是不是很方便。


7、 確認asm磁碟狀態

[root@bms-9 rules.d]# ll /dev/sd*
brw-rw---- 1 root disk       8,   0 Dec 31 17:30 /dev/sda
brw-rw---- 1 root disk       8,   1 Dec 31 17:30 /dev/sda1
brw-rw---- 1 root disk       8,   2 Dec 31 17:30 /dev/sda2
brw-rw---- 1 root disk       8,   3 Dec 31 17:30 /dev/sda3
brw-rw---- 1 grid asmadmin 131,  80 Jan  4 11:58 /dev/sdfz
brw-rw---- 1 grid asmadmin 131,  96 Jan  4 11:58 /dev/sdga
brw-rw---- 1 grid asmadmin 131, 112 Jan  4 11:58 /dev/sdgb
brw-rw---- 1 grid asmadmin 131, 128 Jan  4 11:29 /dev/sdgc
brw-rw---- 1 grid asmadmin 131, 144 Jan  4 11:29 /dev/sdgd
brw-rw---- 1 grid asmadmin 131, 160 Jan  4 11:29 /dev/sdge
brw-rw---- 1 grid asmadmin 131, 176 Jan  4 11:29 /dev/sdgf
brw-rw---- 1 grid asmadmin 131, 192 Jan  4 11:29 /dev/sdgg
brw-rw---- 1 grid asmadmin 131, 208 Jan  4 11:57 /dev/sdgh
brw-rw---- 1 grid asmadmin 131, 224 Jan  4 11:57 /dev/sdgi
brw-rw---- 1 grid asmadmin 131, 240 Jan  4 11:58 /dev/sdgj
[root@bms-9 rules.d]# ll /dev/ultrapath/asm-dg*
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata01 -> ../sdgc
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata02 -> ../sdgd
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata03 -> ../sdge
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata04 -> ../sdgf
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata05 -> ../sdgg
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgdata06 -> ../sdgh
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgfra01 -> ../sdgi
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgmgmt01 -> ../sdga
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgocr01 -> ../sdgj
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgocr02 -> ../sdfz
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgocr03 -> ../sdgb
[root@bms-9 rules.d]#


8、注意點:

最後所有新增到asm使用的路徑都需要使用如下路徑,重啟後磁碟機代號會變,但是asm-dgdata01這些別名是繫結lun的wwn的,重啟不會改變。

/dev/ultrapath/asm-dg*


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70004783/viewspace-2850530/,如需轉載,請註明出處,否則將追究法律責任。

相關文章