川大ATC實驗平臺手冊

川大ATC實驗平臺手冊

一、  刀箱管理

1、(實驗室c7000刀箱紫光華山8008102058報修S/N:6CU633XX51)

OA:  https://168.192.11.200/

U ser:Administrator

PW:XQKXKEU6

VC:

U ser:Administrator

PW:X7MJ8MW9

Bay1: (CPU E5-2620 v4)

Vsphere:168.192.11.247

User:root

PW:1234567

 

Bay4: (CPU E5-2620 v4)

Vsphere:168.192.11.246

User:root

PW:1234567

 

Bay6: (CPU E5-2620 v3)

Vsphere:168.192.11.250

User:root

PW:1234567

 

Bay9: (CPU E5-2620 v3)

Vsphere:168.192.11.249

User:root

PW:1234567

 

Bay12: (CPU E5-2620 v4)

Vsphere:168.192.11.245

User:root

PW:1234567

vSphere Web Client:

vCenter:168.192.11.248

User:    administrator@vcenter.local

PW:     !Root123

VMware vCenter Server Appliance：

User:    root

PW:     !Root123

*:該虛擬機器遷移move後，需檢查網路介面卡連線到“Net-A-VMport”，且“裝置狀態” 勾選“已連線”，否則網路不通！

瀏覽器	iLO ：Web 管理	整合遠端控制檯	遠端控制檯	vSphere Web Client
谷歌Chrome55.0	Y	N	N	Y
百度6.5	Y	N	N
IE8	N	Y	N
360 安全瀏覽器7.1	N	N	N
360 安全瀏覽器10/12	Y	Y	Y
搜狗高速瀏覽器7				Y

1) Web管理:訪問iLO Web使用者介面。

2) 整合遠端控制檯 : 從單個控制檯中訪問系統 KVM 以及控制虛擬電源 。

3) 遠端控制檯 :  從遠端控制檯中訪問系統 KVM ,  需Java 虛擬機器執行時環境(JRE)。

2、安裝 VMware-VMvisor-Installer-6.0.0-2159203.x86_64 失敗，提示nfsclient失敗、未找到網路卡。

——重新設定網路卡且保證連結網線：一個網路卡連線到N e tA（Uplink是VC1 的PORT5口，啟動UEFI識別），並配置能檢測的網線連線狀態的選項後再試。

https://168.192.11.248/applmgmt/support-bundle

das.ignoreinsufficienthbdatastore   true      

// 假如有兩個共享儲存，不需要。 否則提示：“該主機的vSphere HA 檢測訊號資料儲存數目為1 ，少於要求數目：2 ”

das.ignoreRedundantNetWarning  true             // 需要！忽略管理網路冗餘

3、升級OA/VC筆記
2017/3/24 升級OA/VC前：

2017/3/24 升級OA/VC後：

二、   vMotion 配置

ATC Cluster	vSwitch1-vmk1 （ TCP/IP堆疊： vMotion ）	vSwitch1-VMk2 （ FT ）
168.192.11.245	168.192.11.104	10.1.1 .245
168.192.11.246	168.192.11.103	10.1.1 .246
168.192.11.247	168.192.11.102	10.1.1 .101
168.192.11.249	168.192.11.101	10.1.1 .200
168.192.11.250	168.192.11.100	10.1.1 .100

三、3PAR儲存

(實驗室3PAR 7200 c 紫光華山8008103860報修S/N:7CE616P46H)

License key was generated on Mon Apr 18 18:54:03 2016

l  System is licensed for 8 disks.

License features currently enabled:

l  3PAR OS Suite

l  Adaptive Flash Cache

l  Thin Copy Reclamation

l  Thin Deduplication

規劃資訊：Controller Node的IP；Service Processor的IP（同一網段）；

參考（ ）

3PAR 的作業系統叫 InForm，最初就是面向層次化的設計。與其他儲存不同的是，3PAR 所有磁碟被分成 256MB 統一大小的小盤(Chunklet)，可以根據需要用多個 Chunklet 組成 RAIDlet(邏輯磁碟)。因為Hotspare Chunklet 以更小的單位分散在不同的磁碟上，也不再需要單獨留熱備盤。因為固定大小的 Chunklet 的存在，可以將 I/O 更為均勻的分散到多個磁碟上。

*前面2個步驟是對3PAR進行初始化：

1、 OOTB :  (Out-of-the-Box 針對3PAR Controller Node初始化 ) 設定和配置儲存系統軟體（資料會完全丟失）：在串列埠上使用針對行動式計算機的灰色介面卡  (PN 180-0055) 連線到控制器節點  M fg埠(使用直連網線)。使用 PuTTY 的串列埠模式，波特率設定為 “57600” ， 使用使用者  ID ： console ，密碼： cmp43pd 登入。選 1. Out Of The Box Procedure 進行OOTB初始，兩個 nodes 的MGMT埠IP均為168.192.11.59（236）。假如使用使用者  ID ： 3paradm 密碼： 3pardata 登入就是對應 HP 3PAR Management Console 4.7.0 ( 簡稱 IMC) 的命令列方式，可以對 3par StoreServ 進行管理和操作，關機命令：shutdownsys halt/reboot。

2、MOB：（針對Service Processor初始化，以後用來Troubleshooting和Replace 3par的管理工具）首先將 3PAR_Virt_SP_4.4_MU2_Vmware_ESX_SW_QR482-11093( 簡稱 VSP, 提供 VMware &   Hyper-V 兩種虛擬版本 ) ，透過“部署OVF模板”方式匯入到vSphere ESXi，啟動後 SP00000 login: root ，密碼為空，登陸進行 Service Processor Moment of Birth 任務。

*步驟3是初始化之後的配置：

3、登陸 HP 3PAR Management Console 4.7.0 （ ID ： 3paradm 密碼： 3pardata ）：

HP 3PAR 儲存將一臺主機看作一系列光纖卡 WWN(World Wide Names) 或是 iSCSI Name 的組合。物理上連線到儲存埠上的主機會被自動檢測到。 Fibre Channel over Ethernet (FCoE) 連線方式在   HP 3PAR StoreServ 10000 Storage systems   和 HP 3PAR StoreServ 7000 Storage systems 透過 Converged Network Adapters (CNA) 支援。
    首先配置FC Ports；對端刀箱VC配置SAN Fabrics，Tpye：DirectAttach。“Port Status”狀態為NO LOGGED時透過如下操作解決。

透過以下命令將 3PAR 埠改成 point 測試，埠狀態變為LOGGED-IN

controlport offline 0:1:1

controlport config host -ct point 0:1:1

controlport rst 0:1:1

圖1、埠狀態變為LOGGED-IN

3.1建立CPG（Common Provisioning Group），Availability必需設為“盤盒”即:Magazine(Lower)。另：選RAID5(3data/1parity)，因為是8塊硬碟，硬碟數應能被8和2整除，否則報錯。 CPG其實就是一個虛擬的池，剛開始裡面啥也沒有，只有策略（這些策略就是上面的各種引數，如RAID級別啦，set size, step size，哪些硬碟，哪種硬碟啦等等）。當LUN需要空間的時候，透過CPG策略，可以生成符合策略的LD(Logical Disks)，然後再從LD裡分配空間給VLUN。

3.2建立VV(Virtual Volume)，建立後空間只能增加不能縮小， 增加空間原有資料不受 影響，刪除VV再建立需等儲存釋放空間後進行，使用ssh登陸，透過命令：

    The following example displays chunklet (條塊)  use information for all disks:

      cli% showpd –c  

檢視 Uninit 降為0再建立VV，否則未釋放的空間不可用。CPG只是建立規則例如RAID級別等，建立VV時按照CPG的規則實際分配並格式化空間。

3.3建立HOST，Host OS：ESX 4x/5x。假如ESXi（HP定製的ESXi VMware-ESXi-6.0.0-2494585-HP-600.9.1.39-Mar2015 測試OK，否則得不到WWN號）安裝了相容的網路卡驅動（因為使用FCoE），“Available WWNs”會顯示可用WWNs，指定到Assigned WWNs。

[root@ ESXi-6.0.0 :~] dmesg |grep Broadcom        //OK for VMware ESXi 6.0.0 2494585

<6>Broadcom NetXtreme II CNIC Registration Agent cnic_register v1.710.30.v55.1 (June 25, 2014)

<6>Broadcom NetXtreme II 5771x/578xx 10/20-Gigabit Ethernet Driver bnx2x 2.710.39.v55.2 ($DateTime: 2014/07/15  3:37:42 $)

<6>Broadcom NetXtreme II CNIC Driver cnic v2.710.35.v55.5 (July 15, 2014)

<6>Broadcom NetXtreme II iSCSI Driver bnx2i v2.710.30.v55.4 (Jun 25, 2014)

<6>bnx2fc: Broadcom NetXtreme II FCoE Driver bnx2fc v1.710.35.v55.7  (Sep 30, 2014)

2017-08-11T00:59:37.074Z cpu16:33210)WARNING: LinScsiLLD: scsi_add_host:573: vmkAdapter (Broadcom Offload FCoE Initiator) sgMaxEntries rounded to 255. Reported size was 256

2017-08-11T00:59:41.645Z cpu6:33238)WARNING: LinScsi: SCSILinuxQueueCommand:1207: queuecommand failed with status = 0x1055 Host Busy vmhba33:0:0:0 (driver name: Broadcom Offload FCoE Initiator ) - Message repeated 1 time

注： 版本高了也不行，例如 v1.713.20.v60.4 版本的ESXi找不到FCoE儲存。

[root@localhost:~] dmesg |grep QLogic      //NoOK for VMware ESXi 6.0.0 3620759和 Update3-5224934

<6>QLogic CNIC Registration Agent cnic_register v1.713.10.v60.1 (September 28, 2015)

<6>bnx2fc: QLogic 10 Gigabit ESX Ethernet FCoE Driver bnx2fc v1.713.20.v60.4 (Oct 16, 2014)

圖2、 ESXi 驅動正常會顯示“乙太網光纖通道”

虛擬卷由 CPG 中抽取資源，並且對主機對映為 logical unit numbers(LUNs) 。虛擬卷是唯一對主機可見的資料層。 可以為虛擬卷生成物理複製或是快照，如果原始的虛擬卷不可用時，仍能繼續工作。
3.4分配VV虛擬磁碟：把VV Map給主機HOST（VLUN: 一個VLUN其實是由無數的LD組成，每個LD都是有歸屬的）。 為了讓主機訪問到一個虛擬卷，這個卷必須被對映成為一個 LUN.   透過生成虛擬卷 -LUN 對 Volume-LUN pairings (VLUNs) 來進行卷的對映。

圖3、Map後 ESXi 顯示該儲存“ATC-SPACE”

* Troubleshooting：

1、日誌收集：用附件的 putty 工具，設定一下 logging session ，然後用 ssh 方式登入到 vcm 在命令列下輸入： show all * ，然後再回到 logging s e ssion 所設定的資料夾，找到生成的 log 。
2、3par儲存修改HOST的名稱，不會影響ESXi使用該儲存，VLUN對映從單主機改為主機組也不影響。

3、 執行VCSA的主機168.192.11.246提示VMware ESX許可證已到期，重新輸入許可證OK: MV62H-AT20K-9Z280-DK2N0-9AVKZ

4、*** ESXi 6.0 主機上的虛擬機器操作失敗，並顯示錯誤： 指定的裝置不是有效物理磁碟裝置

( )

  要解決此問題，請將暫存位置引數配置為指向 ESXi 主機上作為 本地資料儲存的子資料夾的目錄 。在任何情況下，暫存目錄和虛擬機器目錄都必須位於單獨的子目錄樹中，並且永遠不得將暫存目錄定義為包含虛擬機器的資料儲存的基本目錄。
例如：
將 ScratchConfig.ConfiguredScratchLocation 設定為 /vmfs/volumes/datastore1/scratch，而不能設定為 /vmfs/volumes/datastore1。

有關配置持久 scratch 分割槽的詳細資訊，請參見  。

5、 提示“ WMware ESX 許可證已到期”，重新輸入序列號後應該 OK ；另透過恢復 VCSA 的 VMDK 硬碟，恢復 VCSA 後， ATC Cluster 中主機報錯， VCSA 和主機通訊有問題， vSphere HA 有問題，右鍵“重新配置 vSphere HA ”不能恢復，需要關閉該主機（否則移除不了），右鍵“從清單中移除”該主機，然後右鍵“新增主機” OK 。

6、禁用4個FT虛擬機器的 限制設定：

   das.maxFtVmsPerHost  0

   das.maxFtVCpusPerHost  0

2017/11/2