【流雲】Qlogic Infiniband RDS高速互聯驅動程式安裝及配置

在配置基於RDS協議的Infiniband高速內部互聯的RAC資料庫方案時，第一步必須是安裝好驅動程式並配置好內部互聯的IP地址，保證內部互聯配置完成，才能進行下一步的RAC資料庫安裝和建立。下面簡要介紹一下Infiniband安裝配置的過程：
一、首先刪除作業系統自帶的OFED模組，否則在日後的使用中，可能會和後續安裝的Infiniband驅動程式發生衝突：

#rm -rf /lib/modules/2.6.9-55.ELlargesmp/kernel/drivers/infiniband
#rm -rf /usr/src/kernels/2.6.9-55.EL-largesmp-x86_64/drivers/infiniband

這裡面的2.6.9-55.Ellargesmp是LINUX的核心版本號，根據安裝機器的OS核心而定。重啟伺服器，執行lsmod 去檢查OFED是否還在執行。

二、編譯Infiniband安裝程式：
將InfiniServ安裝檔案COPY至相應目錄，解壓並編譯：

#cd /u01
#tar –zxvf InfiniServ. 4.1.0.2.2.tgz
#cd InfiniServ. 4.1.0.2.2/ALL_HOST
#./do_build

編譯完成後，該OS上的Ininiband安裝檔案即可生成，對應安裝檔案在/u01/InfiniServ.4.1.0.2.2/ALL_HOST/release/redhat/X86_64/InfiniServ.4.1.0.2.2G裡面。
三、 安裝Infiniband安裝程式：

#cd /u01/InfiniServ.4.1.0.2.2/ALL_HOST/release/redhat/X86_64/InfiniServ.4.1.0.2.2G
#.INSTALL

螢幕顯示如下畫面：

SilverStorm Technologies Inc. InfiniBand 4.1.0.2.2 G Software

1) Install/Uninstall Software
2) Reconfigure IP over IB
3) Reconfigure Driver Autostart
4) Update HCA Firmware
5) Generate Supporting Information for Problem Report
6) Host Setup via Fast Fabric
7) Host Admin via Fast Fabric
8 ) Chassis Admin via Fast Fabric
9) Externally Managed Switch Admin via Fast Fabric

X) Exit

選擇“1”，螢幕顯示如下畫面：

SilverStorm Technologies Inc. IB Install (4.1.0.2.2G release) Menu

Please Select Install Action:

0) IB Network Stack [ Install ] [Available]
1) IB Development [ Install ] [Available]
2) IB Boot [ Install ] [Available]
3) Fast Fabric [ Install ] [Available]
4) Virtual HBA (SRP) [ Install ] [Available]
5) Virtual NIC [ Install ] [Available]
6) IP over IB [ Install ] [Available]
7) MPI Runtime [ Install ] [Available]
8 ) MPI Development [ Install ] [Available]
9) MPI Source [ Install ] [Available]
a) uDAPL [ Install ] [Available]
b) SDP [ Install ] [Available]
c) RDS [ Install ] [Available]

P) Perform. the selected actions
I) Install All
U) Uninstall All

X) Return to Previous Menu (or ESC)

上圖中顯示，P：執行選擇的項
I：全部安裝以上11項
U：全部解除安裝以上11項
選擇安裝某項的方法如下：
例如要安裝IB Network Stack項，我們可以通過在鍵盤上敲擊IB Network Stack前面的數字0，來切換到Install提示（此處提示共有Install，Do Not Install或Up To Date三種選擇）。
如果HPC應用，只需選擇0,1,3,6,7,8,9,b項進行安裝即可。
如果使用RDS for Oracle應用， 選擇全部進行安裝即可
如果使用IPOIB for Oracle應用，選擇0,1,3,6 進行安裝就可以。
選擇各項為Install提示後，
輸入”P”，執行，系統出現如下畫面：

——————————————————————————-
Installing IB Network Stack…
Adding module dependencies…
Adding memory locking limits…
Copying ibt.ko…
Copying ics_dsc.ko…
Copying 82808XA.ko…
Copying mt23108vpd.ko…
Copying mt25218vpd.ko…
Creating IB Network Stack (iba) system startup files…
Creating IB Port Monitor (iba_mon) system startup files…
——————————————————————————-
Installing IB Development…
——————————————————————————-
Installing Fast Fabric…
——————————————————————————-
Installing IP over IB Driver…
Copying ipoib.ko…
Assign IP over IB static IPV4 addresses now? [n]: y
提示是否配置IPOIB，輸入”y”,出現如下畫面：
You may configure an IP over IB interface for each IB port
Or you may select to have IP over IB only run on some IB ports
Or you may select to configure redundant IB ports with a
pair of IB ports running a single IP over IB interface
How many IP over IB interfaces would you like to configure? [1]:

提示需要配置多少個ip，預設為1個，如果我們只需設定1個IP地址，直接回車或輸入“1”回車，螢幕出現如下畫面：

Preparing to create IP over IB ifcfg files in /etc/sysconfig/network-scripts
Assign interface names sequentially starting with ib1? [y]:
Assign Internet Addresses sequentially from a base IP address? [y]:
Enter IPV4 address in dot notation for ib1: 192.168.100.145
Is IPV4 address ‘192.168.100.145′ correct? (y/n): y
Enter IPV4 netmask in dot notation for ib1 192.168.100.145 [255.255.255.0]:
Creating ifcfg-ib1 for 192.168.100.145 mask 255.255.255.0

IP over IB requires /etc/sysconfig/ipoib.cfg specify parameters
for each IP over IB device.
The default configuration file provides for a 2 port redundant configuration.
If you desire a different configuration for IP over IB, Manually edit the file.
Hit any key to continue…

根據螢幕提示輸入：
Assign interface names sequentially starting with ib1? [y]:
提示是否要將IB介面名稱設定為ib1, 直接回車或鍵入 y 回車.
Assign Internet Addresses sequentially from a base IP address? [y]:
提示是否要分配一個IP地址，直接回車或鍵入 y 回車.
在提示Enter IPV4 address in dot notation for ib1: 鍵入 IP 地址xxx.xxx.xxx.x並回車
在提示 Is IPV4 address ‘xxx.xxx.xxx.x’ correct? (y/n): 鍵入y並回車.
在提示 Enter IPV4 netmask in dot notation for ib1 xxx.xxx.xxx.x [255.255.255.0]: 回車 以設定預設值 (255.255.255.0).

敲入任何鍵，繼續：

Creating IP over IB (ipoib) system startup files…
——————————————————————————-
Installing MPI Runtime…
Make links for mpd in ///opt/iba/bin
Make links for mpd in ///usr/local/bin
——————————————————————————-
Installing MPI Development…
——————————————————————————-
Installing MPI Source…
——————————————————————————-
Installing uDAPL…
Copying udapl_module.ko…
Creating uDAPL (udapl) system startup files…
——————————————————————————-
Installing SDP Driver…
Copying ics_offload.ko…
Copying ics_sdp.ko…
Creating SDP (ics_sdp) system startup files…

Enable IB Network Stack (iba) to autostart? [y]:
Enable IB Port Monitor (iba_mon) to autostart? [y]:
Enable IP over IB (ipoib) to autostart? [y]:
Enable uDAPL (udapl) to autostart? [y]: n
Enable SDP (ics_sdp) to autostart? [y]: n
Hit any key to continue…

在提示 Enable xxx to autostart? [y]: 鍵入 Y或N 回車,螢幕顯示如下圖：

Generating module dependencies…
Updating HCA Firmware …
Select HCAs to Update:
1) HCA 1 (23108 Rev a1 psid “MT_0030000001″ Node GUID: 0×00066a0098004c15)
Selection (a for all, n for none) [a]:

提示是否更新HCA firmware 版本，輸入 n , 回車，螢幕出現最初畫面：

SilverStorm Technologies Inc. InfiniBand 4.1.0.2.2G Software

1) Install/Uninstall Software
2) Reconfigure IP over IB
3) Reconfigure Driver Autostart
4) Update HCA Firmware
5) Generate Supporting Information for Problem Report
6) Host Setup via Fast Fabric
7) Host Admin via Fast Fabric
8 ) Chassis Admin via Fast Fabric
9) Externally Managed Switch Admin via Fast Fabric

X) Exit

敲入“x”退出安裝。

5) 重新啟動系統
#reboot
6) 重新啟動系統後，檢查HCA驅動是否正常啟動
#lsmod
顯示如下圖：

o ipoib
o mt23108vpd
o ics_dsc
o ics_offload
o ibt
o scsi_mod
o ics_sdp

至此，此節點的Infiniserv軟體安裝完成。

<!--

--EOF--

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/1384/viewspace-342868/，如需轉載，請註明出處，否則將追究法律責任。