Sun Cluster 3.0 的規劃、安裝、配置及管理(轉)

Sun Cluster 3.0 的規劃、安裝、配置及管理(轉)[@more@]一、 Sun Cluster的基本概念：

1. Sun Cluster3.0支援的兩種服務模式：
Failover(失敗切換)：當故障發生時，系統自動將應用程式等資源（APP、IP、DATA）一個故障主節點上重新定位到指定的輔助節點，客戶可能會看到一個短暫的服務中斷（一般為10s）,並可能需要在失敗切換結束後重新連線，但客戶並不知道哪一個物理伺服器向他們提供應用程式和資料。做到了應用程式的冗餘。
Scalable(可伸縮)：利用叢集中的多個節點來同時執行一個應用程式，每個節點都可以提供資料和處理客戶請求，這樣既提供了高可用性，還提供了更高的效能。
Sun Cluster3.0單一叢集既可以支援失敗切換應用程式，也可以支援可伸縮應用程式,而2.2只支援失敗切換應用程式。

2．雙節點群集配置樣例：

群集節點：是同時執行Solaris 作業系統和Sun Cluster 軟體的機器，它要麼是群集的當
前成員(cluster member)，要麼是潛在成員。Sun Cluster3.0 軟體使您可在一個群集中部署兩到八個節點,而2.2只支援到4個節點。
群集名：群集中的所有節點都會歸組到一個叢集名稱下—用於訪問和管理群集。如scmail
公共網路介面卡（nafo）：客戶機透過公共網路介面與群集相連。每個網路介面卡卡可連線一個或多個公共網路，這取決於卡上是否具有多個硬體介面。可以設定節點，使之包含多個公共網路介面卡，將一個卡配置為活動卡，其他卡作為備份卡。稱為“公共網路管理”(PNM) 的Sun Cluster 軟體的子系統監視著活動卡。如果活動介面卡出現故障，則呼叫NetworkAdapter Failover (NAFO) 軟體進行失敗切換，將介面切換至一個備份介面卡。
私網（private networks）：群整合員透過物理上獨立的一個或多個網路（private networks）與群集中的其他節點通訊，知道另一節點的加入或離開
管理控制檯:可以使用專用SPARCstationTM 系統（稱為管理控制檯）來管理活動群集。通常在管理控制檯上安裝並執行的管理工具軟體有Cluster Control Panel (CCP) 和SunManagement Center 產品的Sun Cluster 模組。它的使用可以使控制檯和管理工具歸組到同一機器上，實現集中化的群集管理。
控制檯訪問裝置：Sun 只提供一種支援的終端集線器。您可選擇使用支援的Sun 終端集線器。終端集線器透過使用TCP/IP 網路實現對每一節點上ttya 的訪問。這樣就可從網路上的任一遠端工作站對每一節點進行控制檯級別的訪問。

3．裝置標識(DID)
Sun Cluster 透過一種叫做裝置標識(DID) 偽驅動程式的結構來管理全域性裝置。此驅動程式可自動給群集中的每個裝置分配唯一的標識，包括多主機磁碟、磁帶驅動器和CD-ROM。設執行對全域性裝置的訪問時使用的是DID 驅動程式分配的唯一裝置標識，而非傳統的Solaris 裝置ID（如某一磁碟的標識c0t0d0）。這一措施可保證任何使用磁碟裝置的應用程式（如卷管理器或使用原始裝置的應用程式）都可使用一致的路徑訪問裝置。例如，節點1 可能將一個多主機磁碟看作c1t2d0，而節點2 可能會完全不同， 將同一磁碟看作是c3t2d0。DID 驅動程式則會分配一個全域性名稱，如d10，供節點使用，這樣就為每個節點提供了到多主機磁碟的一致對映。

4. Quorum 裝置
Sun Cluster 配置使用quorum 裝置維護資料和資源的完整性。如果群集暫時丟失與節點的連線，則quorum 裝置阻止在群集節點試圖重新連線群集時出現健忘或使人頭疼的問題。透過使用scsetup(1M) 實用程式來指定quorum 裝置。
規劃quorum 裝置時請考慮以下幾點。
_ 最小值– 兩個節點的群集必須至少有一個分配為quorum 裝置的共享磁碟。對於其他拓撲，quorum 裝置是可選的。
_ 奇數規則– 如果在直接與quorum 裝置連線的兩個節點的群集或一對節點中配置多個quorum 裝置，則配置奇數個quorum 裝置，以便這些裝置有完全獨立的失敗通道。
_ 連線– quorum 裝置不能與兩個以上的節點連線。

二、 準備工作：

1．安裝TC（可選）
a. 兩臺節點機的串列埠A分別接到TC的2、3號埠，管理機的串列埠A連線到TC的1號埠
b. 在管理機上修改檔案如下：
#vi /etc/remote
hardware: dv=/dev/term/a:br#9600:el=^C^S^Q^U^D:ie=%$:oe=^D
c．執行#tip hardwire,按下TC皮膚上的test鍵，直到Power燈閃放開
d．在按一下TC皮膚上的test鍵（2s）
e．管理機的螢幕上顯示monitor::
用addr修改TC的 IP地址，按“~.退出”，重起TC
f．telnet到 TC,執行
annex: su
passwd: ;
annex# admin
g．配置串列埠模式：
admin: set port=1-8 type dial_in imask_7bits Y
admin: set port=2-8 mode slave ps_history_buffer 32767
admin: quit
annex#boot
2．配置管理機：（可選）
a． 用root使用者登陸管理機，修改/etc/hosts,將所有節點機的主機名和對應地址寫入
b． 新增cluster console software
#pkgadd –d . SUNWccon
c． 修改/.profile檔案
PATH=$PATH:/opt/SUNWcluster/bin
MANPATH=$MANPATH:/opt/SUNWcluster/man
Export PATH MANPATH
d. 使profile生效 # . /.profile
e. 編輯/etc/clusters
cluster-name node1-name node2-name
f. 編輯/etc/serialports
node1-name TC-address 5002(在TC上的埠號)
node2-name TC-address 5003
g. 執行#ccp cluster-name & ，使用clogin或cconsole/ctelnet工具
3．修改SCSI Initiator Id
在獨立伺服器中，伺服器節點透過將此伺服器連線到特定SCSI 匯流排的SCSI 主機介面卡線路，來控制SCSI 匯流排活動。該SCSI 主機介面卡線路稱作SCSI initiator。它啟動此SCSI 匯流排的全部匯流排活動。Sun 系統中SCSI 主機介面卡的預設SCSI 地址是7。群集配置共享多個伺服器節點間的儲存器。當群集儲存器由單端或差分SCSI 裝置組成時，這樣的配置稱作多啟動器SCSI。正如此術語的字面含義那樣，SCSI 匯流排上存在多個SCSI 啟動器。SCSI 規格需要SCSI 匯流排上的每個裝置都具有唯一的SCSI 地址。（主機介面卡也是SCSI 匯流排上的裝置。）因為所有SCSI 主機介面卡的預設SCSI 地址均為7，所以多啟動器環境中的預設硬體配置會導致衝突。要解決這一衝突，請在每個SCSI 匯流排上將一個SCSI 主機介面卡的SCSI 地址保留為7，在第二個主機介面卡的SCSI 地址改為6。
a. ok show-disks 記下控制器的路徑
b. 建立一個nvramrc指令碼設定scsi-initiator-id
ok nvedit
0: probe-all install-console banner
1: cd /pci@6,4000/scsi@3
2: 6 " scsi-initiator-id" integer-property
3: device-end
4: cd /pci@6,4000/scsi@2,1
5: 6 " scsi-initiator-id" integer-property
6: device-end
7: banner (Control C)
ok nvstore
ok setenv use-nvramrc? True
ok setenv auto-boot? true
ok reset-all
ok boot
4． 在兩個節點機上安裝作業系統solaris（至少選用終端使用者模式安裝），打上推薦補丁。
/: 最小100M
swap:最小750M,是記憶體的2倍
/globaldevices:100M
起碼保留一個100M的未用分割槽供卷管理軟體儲存卷資訊使用。
5． 確認local-mac-address值為false
#eeprom |grep mac

三、 Sun Cluster軟體安裝：

1．在每個節點機上編輯/.profile檔案
PATH=$PATH:/usr/cluster/bin
MANPATH=$MANPATH:/usr/cluster/man:/usr/share/man
Export PATH MANPATH
2．在每個節點機上編輯.rhosts
+
3．在每個節點機上編輯/etc/default/login檔案
#CONSOLE=/dev/console
4．在每個節點機上編輯/etc/hosts檔案，將對方節點，邏輯主機名的對應ip寫入
5．建立一個全新的cluster節點
a. 執行SunCluster_3.0/Tools/scinstall
b. Establish a new cluster
c. 輸入叢集名字
d. 輸入叢集中另一臺節點的機器名
e. 不使用DES認證
f. 使用預設的叢集傳輸私網地址
g. 接受預設的全域性裝置檔案系統
h. 接受裝完後自動重起
6．向叢集中新增另一個節點
a． 執行SunCluster_3.0/Tools/scinstall
b． Add this machine as a node in an established cluster
c． 輸入主節點的機器名
d． 接受預設的全域性裝置檔案系統
e． 接受裝完後自動重起
7. 打上cluster的補丁
8．配置Quorum 裝置
a. 執行scdidadm –L選擇準備作為Quorum disk的磁碟號，該磁碟必須在兩個節點都能訪問的共享磁碟
b. 執行scsetup,輸入前面選定的DID裝置號
c. 在兩個節點的叢集中不需再新增Quorum 裝置
d. 接受安裝
9．配置網路時鐘同步協議
修改每個節點機的/etc/inet/ntp.conf,將不存在的節點刪除，即將以下行刪除
peer clusternode3-priv
peer clusternode4-priv
peer clusternode5-priv
peer clusternode6-priv
peer clusternode7-priv
peer clusternode8-priv
此時，執行scstat –q,可以看到一共有3票；執行scdidadm –L，可以看到所有的DID裝置；執行scconf –p，可以看到叢集狀態、節點名、網路卡配置、quorum裝置狀態。執行scshutdown –y –g 15,以後關的機器先啟為原則測試cluster時候能正常啟動。
可以執行scheck檢查cluster安裝是否有錯

四、 卷管理：

1．使用veritas作為卷管理軟體
a．停止veritas volume manager dynamic multipathing功能，防止它和cluster功能衝突
#mkdir /dev/vx
#ln –s /dev/dsk /dev/vx/dmp
#ln –s /dev/rdsk /dev/vx/rdmp
b．安裝veritas volume manager 軟體，並打上veritas的補丁
pkgadd –d . VRTSvmdev VRTSvmman VRTSvxvm
c．修改兩臺節點機的vxio號為一致，並不與其他裝置衝突。修改時必須把cluster軟體停止
#grep vxio /etc/name_to_major
d．封裝rootdg
#vxconfigd –m disable
#vxdctl init
#vxdg init rootdg
#vxdctl add disk c0t0d0sX(未用分割槽) type=simple
#vxdisk –f init c0t0d0sX type=simple
#vxdg adddisk c0t0d0sX
#vxdctl enable
#rm /etc/vx/reconfig.d/state.d/install-db(該檔案不刪除，系統不會啟動vm軟體)
你也可以使用/usr/sbin/vxinstall對整個系統盤進行封裝，形成rootdg,但你必須事先保留兩個未用分割槽，一般為slice 3和slice 4。
e. 重起節點1，看vm是否正常啟動
VxVM starting in boot mode…
VxVM general startup…
可以使用vxprint察看已配disk group狀況
f．在另一臺節點機上安以上步驟安裝veritas軟體並配置rootdg,重起。
g. 在新建的dg上建立卷
#vxassist –g xxx make volname 200m layout=mirror
e. 註冊disk grups
#scconf –a –D type=vxvm ,name=xxxx,nodelist=node1:node2
如果再已註冊的dg上新增vol,需執行scsetup同步註冊資訊。
f. 使用已建vol
#newfs /dev/vx/rdsk/dg-name/volname
#mkdir /global/xxx(兩節點同時做)
#vi /etv/vfstab（兩節點同時做）
/dev/vx/dsk/dgname/volname /dev/vx/rdsk/dgname/bolname /global/xxx ufs 2 yes global,logging
#mount /global/xxx

五、 資源配置：

1. 配置nafo
#pnmset
輸入nafo組號及改組包含的網路卡名稱
2．配置資源組
1). Sun Cluster3.0支援兩種資源型別：
a.資料資源型別（Data service resource）：
oracle、iplanet、netscape、apache、dns、nfs
b.預註冊資源型別(Preregistered Resource )：
SUNW.HAStorage、SUNW.LogicalHostname(供failover資料資源使用)、
SUNW.SharedAddress（供scalable資料資源使用）
2). 配置failover 資料資源，以Sun Cluster HA for NFS為例：
a. 新增NFS資料資源包（兩個節點機），可用pkgadd命令，也可用scinstall互動介面
b. 建立NFS目錄
#mkdir –p /global/nfs/admin/SUNW.nfs
#mkdir –p /global/nfs/data
#chmod 777 /global/nfs/data
c. 編輯NFS引數檔案
# vi /global/nfs/admin/SUNW.nfs
share –F nfs –o –rw –d”Home Dirs” /global/nfs/data
d. 註冊資料資源(資源必須註冊後才能使用)
#scrgadm –a –t SUNW.nfs
#scrgadm –a –t SUNW.HAStorage
e. 建立failover資源組
#scrgadm –a –g nfs-rg –h node1,node2 –y Pathprefix=/global/nfs/admin
f. 往資源組中新增資源
#scrgadm –a –L –g nfs-rg –l clustername-nfs (注：clustername-nfs在兩臺節點機的/etc/hosts中有相應記錄)
#scrgadm –a –j has-res –g nfs-rg –t SUNW.Hastorage –x ServicePaths=/global/nfs –x AffinityOn=True (AffinityOn=True: 應用切換，磁碟存貯也跟隨切換)
#scrgadm –a –j nfs-res –g nfs-rg –t SUNW.nfs –y Resource_dependencies=has-res
g. 初始化資源組，是之生效
#scswitch –Z –g nfs-rg
h. 檢測cluster狀態
#scstat –g
#scswitch –z –h dest-node –g nfs-rg
3) 配置scalable資料資源組，以Sun Cluster Scalable Service for Apache為例
a. 新增Apache資料資源包（兩個節點機），可用pkgadd命令，也可用scinstall互動介面
b. 關閉apache自動啟動和關閉功能
#mv /etc/rc0.d/K16apache /etc/rc0.d/k16apache
#mv /etc/rc1.d/K16apache /etc/rc1.d/k16apache
#mv /etc/rc2.d/ K16apache /etc/rc2.d/k16apache
#mv /etc/rc3.d/S16apache /etc/rc3.d/s16apache
#mv /etc/rcS.d/ K16apache /etc/rcs.d/k16apache
c. 在兩個節點機的/etc/hosts種都加入clustername-web的相應內容
clustername-web IP_address
d. 編輯控制檔案，建立相應的服務目錄
#cp /etc/apache/httpd.conf-example /etc/apache/httpd.conf
#vi /etc/apache/httpd.conf
Server Name clustername-web (去掉原有的註釋)
DocumentRoot “/global/web/htdocs”
;
scriptAlias /cgi-bin/ “/global/web/cgi-bin”
;
e. 建立html和cgi目錄檔案
#mkdir /global/web/htdocs
#mkdir /global/web/cgi-bin
#cp –rp /var/apache/htdocs /global/web
#cp –rp /var/apache/cgi-bin /global/web
f. 註冊資料資源(資源必須註冊後才能使用)
#scrgadm –a –t SUNW.apache
g. 建立資源組
#scrgadm –a –g sa-rg –h node1,node2
h. 往資源組裡新增sclable資源
#scrgadm –a –S –g sa-rg –l clustername-web
#scrgadm –a –g web-rg –y Maximum_primaries=2 –y Desired_primaries=2 –y RG_dependencies=sa-rg
#scrgadm –a –j apache-res –g web-rg –t SUNW.apache –x
Confdir_list=/etc/apache –x Bin_dir=/usr/apache/bin
–y Scalable=TRUE –y Network_resources_used=clustername-web
i. 初始化資源組，是之生效
#scswitch –Z –g sa-rg
#scswitch –Z –g web-rg
j. 檢測cluster狀態
#scstat –g
k. 調整節點負載，預設為1：1
#scrgadm –c –j web-res –y Load_balance_weights=5@node1,2@node2

六、 Sun Cluster的日常維護和管理：

1. 顯示sun cluster 發行版本
#scinstall –pv
2. 顯示已配置的資源型別、資源組和資源
#scrgadm –p
3. 檢查叢集元件狀態及配置
#scstat –p
#scconf –p
#scrgadm –pv(v)
4. 關閉叢集
#scshutdown –g 0 –y
此命令將每個節點都關閉到OK狀態，可用boot命令啟動，然後用scstat –n狀態件則節點狀態。
5．關閉單個節點
#scswitch –s –h node2
#shutdown –g 0 –y
6．將某一節點置為維護狀態
#scconf –c –q globaldev=quorumdivice(dx),maintstate
7. 手工修改節點quoroum的投票數
a. ok>; boot –x
b. #cd /etc/cluster/ccr
c. #vi infrastructure
cluster.nodes.1.name torrey
cluster.nodes.1.properties.quorum_vote 3
d. #cd /etc/cluster/ccr
e. #/usr/cluster/lib/sc/ccradm –I /etc/cluster/ccr/infrastructure –o
f. #reboot
8. 刪資源組和disk group
a. 停資源：scswitch –n –j resourcename
b. 刪資源：scrgadm –r –j resourcename
c. 刪資源組：scrgadm –r –g resourcegroup
d. 刪dg：vxdg destroy dgname
9. 刪除 cluster軟體
g. ok>;boot –x
h. #pkgrm clusterpkgname
i. rm –r /var/cluster /usr/cluster /etc/cluster
j. vi /etc/vfstab,將原來所有的dis引數恢復，重建/global/devices
k. rm /etc/ntp.conf
l. vi /etc/nsswitch.conf,除去cluster選項
m. rm –r /dev/did
n. rm –f /devices/pseudo/did*
o. rm /etc/path_to_inst
p. reboot -- -ra

七、 Sun cluster 3.0與2.2的比較

Sun cluster 3.0
支援8個節點
支援ufs,hsfs,為實現scalable出現了global概念
cluster networking share address
支援scalable,failover模式
於系統核心繫結很緊，只有network和resource group由相關demond啟動管理
使用boot –x可以只起系統，不起cluster
支援solaris 8
支援千兆網路卡，不支援sci card
以資源組為切換單位，資源型別有app,ip,data

sun cluster2.2
支援4個節點
支援ufs,沒有global
logical host address
只支援failover模式
於系統核心繫結不緊，可以先起系統再手工起cluster
支援sci card(100M byte/s)
以邏輯機為切換單位