一：客戶端安裝iscsi包。

二：zai共享儲存上為伺服器劃分磁碟空間。

三：啟用iscsi裝置。

四：安裝dm-multipath包。

五：配置引數修改和測試。

一;客戶端新增iscsi 安裝包。

1、伺服器安裝iscsi initiator包。安裝包從安裝光碟中找到

~>rpm -qa |grep iscsi

iscsi-initiator-utils-6.2.0.868-0.7.el5

2、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi

檢視此檔案可發現主機端的iqn號碼。在EVA command view管理軟體中新增HOST時需用到。

二:為伺服器劃分磁碟陣列的磁碟空間（即Virtual disk）

具體詳見儲存配置。

三:啟用ISCSI裝置

1、在伺服器端，啟動ISCSI服務：

~>service iscsi start

2、查詢ISCSI裝置（HP storageworks mpx100）target的iqn號碼：（必須）

~>iscsiadm -m discovery -t sendtargets -p 192.168.14.1

192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38

3、登陸到ISCSI儲存裝置

[root@localhost~]#Iscsiadm –m node –T iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p 192.168.14.1:3260 – l

上面命令是連續的，其中iqn號碼為上面查詢得到的號碼，ip為iscsi儲存中iscsi口對外對映的地址。

4、檢視磁碟:

[root@localhost ~]# fdisk -l

Disk /dev/sda: 8795 MB, 8795105280 bytes

255 heads, 63 sectors/track, 1069 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/sda1 * 1 941 7558551 83 Linux

/dev/sda2 942 1068 1020127+ 82 Linux swap / Solaris

Disk /dev/sdb: 10.4 GB, 10487232000 bytes

255 heads, 63 sectors/track, 1275 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

得到新的磁碟機代號

5、同樣的方法新增另外一個ISCSI路徑的target 。

（說明：一個mpx100的一個ISCSI埠有一個iqn號和一個ip地址）

新增成功後fdisk –l 應該可以看到兩個磁碟機代號。他們的容量都一樣。這兩個磁碟機代號對應的是同一個磁碟陣列下的同一個LUN 。

6：對映完成之後使用下面命令檢視對映結果：

~>iscsiadm -m node

192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38

192.168.14.3:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c

五：安裝DM-multipath 軟體包

由於需要實現儲存裝置的多路徑訪問及故障切換，故需要執行multipath服務，這個在centos中已經安裝好了。如沒有執行下面的命令。

（原理為EVA4400中的一個真實的virtual disk透過與2個冗餘陣列控制器連線的2個MPX100B對外提供對映，故伺服器上可以看到兩個物理磁碟，但此磁碟對應一個真實的一個真實的virtual disk，故這兩條路徑間可以實現故障切換和負載均衡）

rpm –ivh device-mapper-1.02.13-6.9.i686.rpm

rpm –ivh multipath-tools-0.4.7-34.18.i686.rpm

安裝完成後，使用命令modprobe dm_multipath來載入相應的模組，

可以使用lsmod |grep dm_multipath來檢查安裝是否正常。

六：配置檔案的修改及建立

1： etc/multipath.conf 是多路徑軟體的配置檔案，其中大部分配置是註釋掉的，可以將他儲存為備用，然後新建一個multipath.conf 檔案，編輯新的配置檔案：

實際有用的就是下面這些引數：其餘引數都可以註釋掉：

defaults {

user_friendly_names yes

udev_dir /dev

path_grouping_policy multibus

failback immediate

no_path_retry fail

}

儲存退出

2：啟動服務：

Service multipathd restart

啟動成功後，我們會在dev目錄下看到下面的目錄：

/dev/mapper/mpathn,

/dev/mpath/mpathn,

/dev/dm-n.

說明: 其中/dev/mapper/mpathn 是軟體虛擬出來的多路徑裝置，這個可以被我們用來掛載使用。

/dev/mpath/mpathn 這個是udev裝置管理器建立的，不能用來掛載。

/dev/dm-n 這個是軟體自身使用的，不能被軟體以外使用。不可掛載。

3：用 multipath –ll 命令檢視到兩條活躍路徑，他們之間互為A/A 關係。斷掉其中一根線路，那麼系統自動切換到另外一條。

~>multipath -ll

mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:2 sdd 8:48 [active][ready]

\_ 2:0:0:2 sdf 8:80 [active][ready]

mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:1 sdb 8:16 [active][ready]

\_ 2:0:0:1 sdc 8:32 [active][ready]

mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=2][active]

\_ 1:0:0:3 sde 8:64 [active][ready]

\_ 2:0:0:3 sdg 8:96 [active][ready]

4：在多路徑裝置建立後，我們就可以像使用實際的物理裝置樣使用多路徑裝置了。前提是必須透過下面的命令將其標記為物理卷。

pvcreate /dev/mapper/mpath1

5：然後對磁碟進行分割槽和格式化

fdisk /dev/mapper/mpath1

（說明：這裡有很多種說法，我這裡是自己經驗總結出來的，和官方文件不同，如有異議歡迎討論）

分割槽之後，會在dev/mapper/目錄下建立新的塊裝置，

/dev/mapper/mpath1p1 這個表示mpath1裝置下面的分割槽1.

如果沒有看到或者不匹配，使用multipath –F 命令清除多路徑裝置快取後，再用multipath –v3 命令重新載入。

分割槽之後使用fdisk –l 命令檢視磁碟會看到dm-1 磁碟下面已經有分割槽的資訊了。

****************************************************

isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes

255 heads, 63 sectors/track, 267218 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

/dev/dm-1p1 1 121577 976567221 83 Linux

mkfs.ext3 /dev/mapper/mpath0p1

****************************************************

6：最後將磁碟mount掛載，就可以正常使用了。

7：將multipathd服務設定成開機自啟動

chkconfig multipathd on

8：注意事項：

刪除失效的iscsi 連線：

如果因為錯誤配置等原因建立了iscsi 對應，系統不會自動刪除，需手動刪除。

例如：

[root@as-h-01 ~]# iscsiadm -m node

192.168.1.51:3260,1 iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2

我們看到上面有一個iscsi對應，但實際中這個對應已經失效，系統不會自動刪除。

刪除命名：

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2 -p 192.168.1.51:3260

如果其中一條鏈路出現故障，那麼在日誌裡面我們可以看到如下類似的資訊：

~>tail /var/log/messages

Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is down

Dec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is down

Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)

Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is down

/etc>multipath -ll

sdc: checker msg is "readsector0 checker reports path is down"

sdf: checker msg is "readsector0 checker reports path is down"

sdg: checker msg is "readsector0 checker reports path is down"

mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:2 sdd 8:48 [active][ready]

\_ 2:0:0:2 sdf 8:80 [failed][faulty]

mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:1 sdb 8:16 [active][ready]

\_ 2:0:0:1 sdc 8:32 [failed][faulty]

mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300

[size=2.0T][features=0][hwhandler=0]

\_ round-robin 0 [prio=1][active]

\_ 1:0:0:3 sde 8:64 [active][ready]

\_ 2:0:0:3 sdg 8:96 [failed][faulty]

centos上iscsi+multipath多路徑儲存配置手冊

相關文章