# 1. Lustre簡介

Lustre 是一個具有高可用、高效能、可擴充套件的分散式檔案系統。主要由 Manage Server、Meta Data Server 和 Data Server 組成。詳細介紹可以參見 [Lustre 官網](http://lustre.org ) 。

# 2.  Lustre 安裝

### 2.1 Server 端安裝

安裝 `e2fsprogs` :

```shell
yum --nogpgcheck --disablerepo=* --enablerepo=e2fsprogs-wc \
install e2fsprogs
```

安裝 `epel` 源:

```shell
yum -y install epel-release
```

安裝以下軟體包：

```shell
yum install asciidoc audit-libs-devel automake bc binutils-devel bison device-mapper-devel elfutils-devel elfutils-libelf-devel expect flex gcc gcc-c++ git glib2 glib2-devel hmaccalc keyutils-libs-devel krb5-devel ksh ibattr-devel libblkid-devel libselinux-devel libtool libuuid-devel libyaml-devel lsscsi make ncurses-devel net-snmp-devel net-tools newt-devel numactl-devel parted patchutils pciutils-devel perl-ExtUtils-Embed pesign python-devel redhat-rpm-config rpm-build systemd-devel tcl tcl-devel tk tk-devel wget xmlto yum-utils zlib-devel linux-firmware -y
```

刪除以下軟體包：

```shell
yum remove kernel-tools-libs-3.10.0-693.21.1.el7.x86_64 kernel-tools-3.10.0-693.21.1.el7.x86_64 kernel-headers-3.10.0-693.21.1.el7.x86_64 kernel-debug-devel-3.10.0-693.21.1.el7.x86_64 -y
```

由於不同機器上安裝的軟體包版本可能不同，請根據自己機器上的軟體包的具體版本來刪除。

安裝 `Lustre Kernel` 相關的東西：

```shell
yum --nogpgcheck --disablerepo=base,extras,updates \
--enablerepo=lustre-server install \
kernel \
kernel-devel \
kernel-headers \
kernel-tools \
kernel-tools-libs \
kernel-tools-libs-devel
```

生成 `HostID`：

```shell
hid=`[ -f /etc/hostid ] && od -An -tx /etc/hostid|sed 's/ //g'`
[ "$hid" = `hostid` ] || genhostid
```

重啟機器：

```shell
reboot
```

安裝 `Lustre` 、`ldiskfs`、 `ZFS` 相關的核心模組：

```shell
yum --nogpgcheck --enablerepo=lustre-server install \
kmod-lustre-osd-ldiskfs \
lustre-dkms \
lustre-osd-ldiskfs-mount \
lustre-osd-zfs-mount \
lustre \
lustre-resource-agents \
zfs
```

載入相關的核心模組：

```shell
modprobe -v zfs
modprobe -v lustre
```

### 2.2 Client 端安裝

安裝  `Kernel` 包：

```shell
VER="3.10.0-693.2.2.el7"
yum install \
kernel-$VER \
kernel-devel-$VER \
kernel-headers-$VER \
kernel-abi-whitelists-$VER \
kernel-tools-$VER \
kernel-tools-libs-$VER \
kernel-tools-libs-devel-$VER
```

VER 是核心版本。

重啟機器：

```shell
reboot
```

安裝 `Lustre Client` 相關軟體包：

```shell
yum --nogpgcheck --enablerepo=lustre-client-2.10.0 install \
kmod-lustre-client \
lustre-client
```

載入核心模組：

```shell
modprobe -v lustre
```

# 3. Lustre 部署

`Lustre` 主要由 `MGS`、`MDS`、`OSS` 和 `Client` 組成，本次部署方案為：

一個 MGS，兩個 MDS，兩個 OSS 和一個 Client 。

首先設定五臺機器的 Host，每臺的設定如下：

```shell
10.254.185.204 mds1
10.254.87.204 mds2
10.254.145.145 ost1
10.254.249.208 ost2
10.254.220.11 client1
```

在 mds1 上安裝 MGS：

```shell
 mkfs.lustre --mgs --reformat /dev/vdb
```

同時在 mds1 上安裝一個 MDS：

```shell
mkfs.lustre --mdt --fsname=lustrefs --index=0 --servicenode=mds1@tcp0 --servicenode=mds2@tcp0 --reformat /dev/vdc
```

其中 `fsname` 指定了檔案系統名稱，`index` 表示 `MDT` 的序號，每個 `MDT` 或者 `OST` 的序號必須唯一。這裡我們在兩臺機器上部署 `MDS`, 使用的是 active\active 模式，需要指定 `MDS` 的 servicenode。

掛載 `MGS` 和 `MDS` :

```shell
mkdir -p /mnt/mgs
mkdir -p /mnt/mdt
mount -t lustre /dev/vdb /mnt/mgs
mount -t lustre /dev/vdc /mnt/mdt
```

在 mds2 上安裝一個 `MDS` :

```shell
mkfs.lustre --mdt --fsname=lustrefs --index=1 --servicenode=mds1@tcp0 --servicenode=mds2@tcp0 --reformat /dev/vdc
```

掛載 `MDS` :

```shell
mkdir -p /mnt/mdt
mount -t lustre /dev/vdc /mnt/mdt
```

在 ost1 和 ost2 上分別建立一個 `OSS` :

```shell
mkfs.lustre --fsname=lustrefs --ost --reformat --index=0 --servicenode=ost1@tcp0 --servicenode=ost2@tcp0 --mgsnode=mds1@tcp0 /dev/vdb
```

注意，在 ost2 上建立時需要指定 index 的值為 1。

在兩臺機器上分別掛載：

```shell
mkdir -p /mnt/ost
mount -t lustre /dev/vdb /mnt/ost
```

最後在 client1 上掛載我們建立的 Lustrefs：

```shell
mount -t lustre  mds1@tcp0:mds2@tcp0:/lustrefs /mnt/
```

檢視是否掛載成功：

```shell
[root@client1 mnt]# df -ht lustre
檔案系統                                        容量  已用  可用 已用% 掛載點
10.254.185.204@tcp:10.254.87.204@tcp:/lustrefs   20G   66M   19G    1% /mnt
```

可以看到成功掛載了 Lustrefs。

基於滴滴雲搭建 Lustre

相關文章