大資料測試考題 - 純技術交流(1)

架構層次

編號

技術元件

是否必選

應用開發層

1

CLT命令列工具

必選

2

管理控制檯

可選

3

SDK

必選

4

IDE優化

可選

5

資料上傳下載工具

可選

服務層

6

REST API

必選

7

資料路由

必選

8

同步非同步轉換

可選

9

API介面封裝

必選

10

業務邏輯容器（UDF/MR）

可選

安全管理

11

身份認證

必選

12

許可權管理

必選

後設資料管理

13

後設資料管理

必選

測試編號

測試專案

結構化資料載入場景

測試目的

測試大資料應用開發平臺對存量和增量檔案載入處理能力。監控該平臺載入過程中的資源利用情況。

測試要求

1)         載入的檔案為統一提供的測試資料檔案，原始檔格式不能改變。

2)         廠商根據銀行提供的目標表結構，提供相應的目標表建表語句，建立目標表，目標表結構不能改變。

3)  從裝載啟動到裝載結束，不能進行系統引數調整等影響裝載執行過程的行為。

預置條件

硬軟體環境搭建完畢，種子資料的資料檔案已生成

測試步驟

1、銀行人員將種子資料檔案放到指定檔案目錄，執行匯入指令碼，將資料檔案匯入到資料庫中。

2、記錄資料匯入時間，同時收集CPU和I/O資源消耗等資訊。

3、統計資料庫可用空間大小、每個表的佔用空間大小。

4、檢查每個表的記錄數目，對金額等欄位的正確性進行檢查（各家廠商結果比對）。

預期結果

1．  資料檔案全部推送到hfds對應目錄。數量、內容正確。

2．  資料檔案同時備份到介面機規定目錄下。數量、內容正確。

評分依據

衡量大資料應用開發平臺對結構化資料處理的正確性、系統處理效率。

測試結果

測試編號

測試專案

結構化資料查詢場景

測試目的

測試簡單查詢案例（單表）在不同併發級別下，在各廠商平臺上的執行效率。為確保資料載入的一致性及SQL語句的正確性，需要對查詢結果作正確性檢查。驗證大資料平臺對結構化資料的處理能力和處理效率。

測試依據

預置條件

資料加工測試完成

測試步驟

1、廠商提供執行測試案例TC_01指令碼，規定執行測試時間，遞增併發級別 1、80、160、320、640、1280、1800、3600可逐級往上增加併發，記錄併發sql執行次數；

2、記錄測試案例的時間，CPU和I/O資源消耗情況等等。

3、對正確性進行驗證：資料加工的正確性。

預期結果

能夠正常檢視錶中資料，得到正確的資料結果

評分依據

1、衡量大資料應用開發平臺對結構化資料的需求功能實現的設計和實施方面的能力；

2、衡量大資料應用開發平臺對結構化資料的資料需求查詢結果的正確性和查詢效率；

測試結果

對於查詢效能測試，測試指標主要是各個SQL案例在不同併發級別下的執行時間和返回結果的正確性。同時還需要收集Cpu消耗比率、I/O讀寫情況（kb/s）等指標作參考。執行時間即查詢請求提交到結果全部返回的全部時間。

測試編號

測試專案

非結構化資料載入場景——小檔案

測試目的

測試大資料應用開發平臺對非結構化資料的載入處理場景。監控載入是否成功以及資源利用情況。

測試依據

預置條件

硬軟體環境搭建完畢，非結構化資料的資料檔案已生成。非結構化資料為小檔案，幾k到1M之間，包括圖片、音訊、視訊檔案等，資料規模：TB級別。

測試步驟

1、將非結構化資料檔案放到不同的指定檔案目錄，測試在不同的併發級別下執行匯入指令碼，將對應的非結構化資料檔案逐條匯入。

2、記錄不同併發級別下資料匯入時間，同時收集資源消耗等資訊。

3、對錶的後設資料資訊及儲存資訊進行檢查，對記錄數目進行比對。

預期結果

1、不同併發級別下資料檔案均可全部寫入，後設資料和儲存資訊正確。

2、不同併發級別下資料寫入效率對比。

3、不同併發級別下資源使用情況對比。

評分依據

衡量大資料應用開發平臺對非結構化資料處理的正確性、系統處理效率。

測試結果

測試編號

測試專案

非結構化資料查詢場景——小檔案

測試目的

對非結構化資料進行單筆高併發查詢進行驗證。

測試依據

預置條件

硬軟體環境搭建完畢，非結構化資料已寫入。非結構化資料為小檔案，幾k到1M之間，包括圖片、音訊、視訊檔案等。資料規模：TB級別。

測試步驟

1、廠商提供執行指令碼，測試不同的併發級別下單筆記錄的查詢，保證功能完整性和效能要求。

2、記錄不同併發級別下的查詢時間，資源消耗情況等。

3、對查詢資料正確性進行驗證。

預期結果

1、不同併發級別下資料的訪問均正確。

2、不同併發級別下資料查詢效率對比。

3、不同併發級別下資源使用情況對比。

評分依據

1、衡量大資料應用開發平臺對非結構化資料的需求功能實現的設計和實施方面的能力；

2、衡量大資料應用開發平臺對非結構化資料的資料需求查詢結果的正確性和查詢效率；

測試結果

測試編號

測試專案

非結構化資料載入場景——大檔案

測試目的

測試大資料應用開發平臺對非結構化資料的載入的處理場景。監控載入是否成功以及資源利用情況。

測試依據

預置條件

硬軟體環境搭建完畢，非結構化資料的資料檔案已生成。非結構化資料為大檔案，1M以上到幾百M之間，包括圖片、音訊、視訊檔案等。資料規模：TB級別

測試步驟

1、將非結構化資料檔案放到指定檔案目錄下，執行批量匯入指令碼，將對應的非結構化資料檔案匯入（選擇合適的資料儲存格式進行：a、無壓縮無加密方式；b、壓縮方式；c、加密方式三種場景的資料匯入測試）。

2、記錄各種組合情況下的資料匯入時間，壓縮比、佔用空間，同時收集資源消耗等資訊。

3、對後設資料資訊及儲存資訊進行掃描檢查，對記錄數目進行比對，對資料正確性做抽查。

預期結果

1、在各種組合情況下資料檔案均可全部匯入，後設資料和儲存資訊正確。

2、在各種組合情況下對資料寫入效率，壓縮比、佔用空間進行比對。

3、在各種組合情況下對資源使用情況進行比對。

評分依據

衡量大資料應用開發平臺對非結構化資料處理的正確性、系統處理效率。

測試結果

測試編號

測試專案

非結構化資料查詢場景——大檔案

測試目的

根據關鍵字對非結構化資料進行單筆查詢。

測試依據

預置條件

硬軟體環境搭建完畢，非結構化資料已寫入。非結構化資料為大檔案，1M以上到幾百M之間，包括圖片、音訊、視訊檔案等。

測試步驟

1、廠商提供執行指令碼，測試各種組合情況下（a、無壓縮無加密方式；b、壓縮方式；c、加密方式）的單筆查詢，保證功能完整性和效能要求。

2、記錄各種組合情況下的查詢時間，資源消耗情況等。

3、對查詢資料正確性進行驗證。

預期結果

1、在各種組合情況下資料的訪問均正確。

2、在各種組合情況下對資料查詢效率進行比對。

3、在各種組合情況下對資源使用情況進行比對。

評分依據

1、衡量大資料應用開發平臺對非結構化資料的需求功能實現的設計和實施方面的能力；

2、衡量大資料應用開發平臺對非結構化資料的資料需求查詢結果的正確性和查詢效率；

測試結果

測試編號

測試專案

半結構化資料載入場景

測試目的

測試大資料應用開發平臺對半結構化資料的載入的處理場景。監控載入是否成功以及資源利用情況。

測試依據

預置條件

硬軟體環境搭建完畢，半結構化資料的資料檔案已生成。

測試步驟

1、將半結構化資料檔案放到指定檔案目錄下，執行批量匯入指令碼，將對應的半結構化資料檔案匯入到HDFS或HBase中。

2、記錄資料匯入時間，同時收集資源消耗等資訊。

3、對後設資料資訊及儲存資訊進行檢查。

預期結果

1、資料檔案均可全部正常匯入到HDFS或HBase中，後設資料和儲存資訊正確。

2、對在載入過程中的資源使用情況進行統計。

評分依據

衡量大資料應用開發平臺對半結構化資料處理的正確性、系統處理效率。

測試結果

測試編號

測試專案

半結構化資料查詢場景

測試目的

對半結構化資料進行計算和查詢

測試依據

預置條件

硬軟體環境搭建完畢，半結構化資料已寫入HDFS或HBase中。

測試步驟

1、廠商提供執行指令碼，測試半結構化資料的求和模式（統計某單次出現次數等）、過濾模式（篩選出滿足一定條件的資料等）、資料組織模式（對資料的分組歸類等），保證功能完整性和效能要求。

2、記錄各種計算及查詢模式下的查詢時間，資源消耗情況等。

3、對查詢資料正確性進行驗證。

預期結果

1、在各種計算及查詢模式下資料的查詢結果均正確。

2、對各種計算及查詢模式下資料查詢效率進行分析。

3、對各種計算及查詢模式下資源使用情況進行分析。

評分依據

1、衡量大資料應用開發平臺對半結構化資料的需求功能實現的設計和實施方面的能力；

2、衡量大資料應用開發平臺對半結構化資料的資料需求查詢結果的正確性和查詢效率；

測試結果

測試編號

測試專案

結構化資料查詢介面實現場景——工具整合——Freequery

測試目的

測試結構化資料儲存於大資料平臺後，廠商可否支援已有查詢工具使用SQL或類SQL語句進行靈活查詢。

測試依據

預置條件

硬軟體環境搭建完畢，結構化資料已匯入。

測試步驟

1、將廠商提供介面程式（jdbc）新增入freequery產品包

2、在freequery中建立相關資料來源。

3、在freequery中建立查詢。

4、檢視是否返回查詢結果。

預期結果

通過sql或類sql查詢可返回結果。

評分依據

衡量大資料應用開發平臺對查詢工具的整合能力，驗證查詢資料的正確性。

測試結果

測試編號

測試專案

工具整合——Tableau9

測試目的

測試能否通過tableau9建立相關資料來源，進行基於hadoop結構化資料儲存的資料視覺化分析。通過Tableau9工具直接驗證hadoop的hive、sparkSQL的連通性，不需要廠商工具整合的開發。

測試依據

Tableau9提供的介面（按技術方案選取）：hive（cloudera\hortonworks\MapR）、spark SQL

預置條件

硬軟體環境搭建完畢，結構化資料已寫入。

測試步驟

1、廠商提供配置資訊

2、資料服務人員嘗試訪問結構化資料表

3、完成資料載入並進行簡單分析製圖

預期結果

能夠基於tableau9產品內建介面訪問hadoop平臺內結構化資料表

評分依據

衡量大資料應用開發平臺對查詢工具的整合能力，驗證查詢資料的正確性。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

Loader將本地檔案上傳到HDFS

測試目的

檢測Hadoop Loader是否將大資料上傳到HDFS

測試依據

預置條件

1.     已部署好大資料平臺系統，配置好Hadoop Loader服務。

2.     大資料平臺和介面機網路正常。

3.     將上游系統的資料下載到loader服務節點的本地目錄下，如/data1/loaddata/

測試步驟

1.     Loader配置檔案loadConfig.xml配置上傳的源目錄和目的路徑。

2.     配置檔案Config.properties中的ScanInterval=10  #每隔10秒loader檢查源路徑下資料

3.     等待資料檔案全部推送結束，檢視HDFS對應目錄。

4.     檢視檔案備份目錄。

預期結果

1、  資料檔案全部推送到hfds對應目錄。數量、內容正確。

2、  資料檔案同時備份到介面機規定目錄下。數量、內容正確。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

Hdfs匯入匯出測試

測試目的

測試使用客戶端匯入與匯出hdfs資料。

測試依據

預置條件

1.搭建測試環境，系統執行正常

測試步驟

1． 使用客戶端連線叢集

2． 使用put把資料拷貝至hdfs中

3． 使用get從hdfs中下載資料

預期結果

支援客戶端匯入與匯出hdfs資料。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

Hadoop-loader服務將HDFS檔案匯出到本地

測試目的

匯出HDFS檔案到本地檔案系統

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．在測試環境下完成產品初始配置副本數為3；

3．各服務正常。

4．準備HDFS檔案/bank/TINT/111.txt

測試步驟

1.     1. Loader配置檔案downloadConfig.xml配置下載的的源目錄和目的路徑。

2.     2. 配置檔案Config.properties中的ScanInterval=10  #每隔10秒

3.     3. loader檢查源路徑下資料

4.     4. 等待資料檔案全部推送結束，檢視本地檔案系統的路徑。

預期結果

HDFS檔案複製至本地檔案系統正常執行。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

HDFS檢視儲存檔案以及儲存資料的大小

測試目的

用於從本地檔案系統上傳檔案到HDFS中

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

測試步驟

1．根據已上傳至HDFS檔案系統內的檔案，檢視HDFS的儲存

預期結果

HDFS各節點儲存分佈平衡，儲存正常

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

HDFS檔案讀取

測試目的

該命令用於在終端顯示（標準輸出stdout）檔案中的內容，類似Linux系統中的cat

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．在測試環境下完成產品初始配置副本數為3；

3．啟動HDFS，mr系統。

測試步驟

1．測試顯示檔案內容命令

格式參考如下

hadoop fs –cat 檔名

預期結果

顯示檔案內容正確

測試說明

測試編號

測試專案

HDFS功能測試

測試子專案

Namenode主節點故障測試

測試目的

測試namenode主節點故障下的可用情況

測試依據

預置條件

1.叢集正常執行；

測試步驟

1、       向HDFS中持續進行檔案的讀寫操作，模擬背景業務；

2、       背景業務執行過程中，將主NameNode節點的程式通過管理系統停止來模擬故障；

3、觀察背景業務是否中斷，業務是否有損失；

4、觀察是否有主備倒換告警上報

預期結果

Namenode程式能夠自動主備切換。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

Datanode主節點故障測試

測試目的

測試datanode節點故障下的可用情況

測試依據

預置條件

1.叢集正常執行；

測試步驟

1、       向HDFS中持續進行檔案的讀寫操作，模擬背景業務；

2、       背景業務執行過程中，將叢集中的一個DataNode節點的程式通過管理系統停止來模擬故障；

3、觀察背景業務是否中斷，業務是否有損失。

預期結果

單個Datanode節點的故障不會影響整個系統提供的服務。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

HDFS備份恢復能力

測試目的

驗證HDFS的備份恢復能力

測試依據

預置條件

1.叢集正常執行；

測試步驟

1.         在HDFS中建立目錄/backup/a、/backup/b，分別向兩個目錄中上傳10G資料。同時啟動一個能夠長時間執行HFDS讀寫指令碼，來模擬背景業務；

2.         對目錄/backup/a進行全量備份，觀察備份是否成功，備份成功後將/backup目錄下的a、b目錄同時刪除；

3.         使用備份的資料進行恢復，觀察/backup/a是否恢復成功，內容是否與刪除前的一致，觀察/backup/b是否不會被恢復；

4.         再向/backup/a中追加1G的資料檔案，並執行增量備份；

5.         刪除/backup/a目錄，並使用增量備份內容進行恢復，觀察恢復的內容是否與刪除前的一致；

觀察/backup/a中追加的1G資料檔案是否會被恢復。

預期結果

HDFS具備指定目錄進行備份的能力；

HDFS具備線上備份的能力，不影響業務

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

大資料平臺HDFS白名單功能測試

測試目的

驗證大資料平臺HDFS白名單功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1、開啟HDFS白名單開關；

2、不加入客戶端A在HDFS的白名單中，使用客戶端A訪問HDFS。

將客戶端A加入HDFS的白名單中，使用客戶端A訪問HDFS

預期結果

加入白名單的客戶端有許可權訪問叢集；

未加入白名單的客戶端無許可權訪問叢集；

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

HDFS使用者許可權控制

測試目的

驗證HDFS戶許可權控制功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1、HDFS許可權測試

驗證合法使用者對自己擁有許可權的資料有操作許可權：

驗證合法使用者對自己沒有許可權的資料沒有操作許可權：

預期結果

使用者只能夠訪問、操作自己許可權範圍內的資料

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

對叢集的節點線上擴容

測試目的

驗證Hadoop叢集是否具備線上擴容能力

測試依據

預置條件

各叢集正常執行，待擴容的伺服器正常執行

測試步驟

1.在當前節點規模時，提交一個排序的terasort任務（第一次）。

2.選擇待擴容伺服器進行線上擴容，同時向叢集提交一個排序的terasort任務（第二次）。

3.觀察擴容過程對線上應用的影響及耗時

4.觀察擴容完成後叢集的服務狀態

5. 提交一個排序的terasort任務（第三次）

預期結果

1、整個擴容過程線上完成，系統已有任務不受影響；

2、操作簡單，具有一鍵擴充套件功能。

測試結果

測試編號

測試專案

HDFS功能測試

測試子專案

對叢集的節點線上收縮

測試目的

驗證Hadoop叢集是否具備線上收縮能力

測試依據

預置條件

各叢集正常執行，待擴容的伺服器正常執行

測試步驟

1.當前規模時，提交一個排序的terasort任務（第一次），記錄完成時間。

2.選擇1臺伺服器進行線上收縮，同時向叢集提交一個排序的terasort任務（第二次）。

3.觀察收縮過程對線上應用的影響及耗時

4.觀察收縮完成後叢集的服務狀態

5.提交一個排序的terasort任務（第三次），記錄完成時間。

預期結果

1、整個擴容過程線上完成，系統已有任務不受影響；

2、操作簡單，具有一鍵收縮功能。

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

Hbase檢視儲存表

測試目的

用於儲存大資料表的能力

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．匯入資料表。

測試步驟

1．根據已上傳的Hbase表，檢視habse的儲存表能力

預期結果

Hbase頁面中Table Details中儲存了上傳的Hbase表，儲存正常

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

Hbase檢視資料

測試目的

驗證Hbase功能

測試依據

預置條件

1.     按照測試組網圖搭建測試環境；

2.     啟動HDFS，mr系統。

3.     啟動Hbase

測試步驟

1.     登陸Hbase主節點所在伺服器

2.     切換到mr使用者下，執行Hbase shell命令

3.     在shell中輸入：scan '表名稱'

Hbase(main):010:0> scan 'table'

預期結果

能夠正常檢視錶中資料

測試說明

測試編號

測試專案

Hbase功能測試

測試子專案

Hbase匯入測試

測試目的

測試Hbase能夠根據extimporttsv.input配置項正確匯入資料

測試依據

預置條件

1．  按照測試組網圖搭建測試環境；

2．  在測試環境下完成產品初始配置副本數為3；

3．  啟動HDFS，mr系統。

4．  啟動Hbase

測試步驟

1．  準備資料並將資料儲存到HDFS檔案系統中/test；

2．  Hbase中建表

3．  新建模板bank.ini，按照建表的實際情況填寫，上傳至HDFS的/test目錄下

模板原型：

4．  使用命令列方式執行匯入：Hbase com.citicbank.Hbase.importer.ExtImportTsv -Dextimporttsv.conf=/test/bank.ini

預期結果

Hbase可以正確將路徑extimporttsv.input中的檔案匯入表中。

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

Hbase匯出測試

測試目的

測試Hbase能夠根據模板檔案中的Hbase_table正確匯出資料

測試依據

預置條件

1．  按照測試組網圖搭建測試環境；

2．  在測試環境下完成產品初始配置副本數為3；

3．  啟動HDFS，mr系統。

4．  啟動Hbase

5．  準備好Hbase表檔案。

測試步驟

1.     通過配置檔案方式設定匯出規則

2.     執行匯出操作

3.     檢查匯出的表資料和生成的報告

預期結果

Hbase能夠正確匯出表資料。

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

Hbase檢視資料

測試目的

驗證Hbase功能

測試依據

預置條件

1.     按照測試組網圖搭建測試環境；

2.     啟動HDFS，mr系統。

3.     啟動Hbase

測試步驟

1.     登陸Hbase主節點所在伺服器

2.     切換到mr使用者下，執行Hbase shell命令

3.     在shell中輸入：get '表名稱', '行名稱'

預期結果

能夠正常檢視錶中某行資料

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

hbase使用者許可權控制

測試目的

驗證hbase戶許可權控制功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1. 建立使用者組與角色

2. 準備普通：a使用者、b使用者、c 使用者；

3. 準備管理員使用者：d使用者；

4. 分別建立a1表屬於a使用者、b1表屬於b使用者、c1表資料c使用者；賦予b使用者訪問a1表某列族許可權，賦予c 使用者訪問a1表某一列的許可權以及某一單元格對其不可見；

5. 分別a、b、c使用者訪問a1表，b1表，c1表；

6. 記錄使用者訪問表現象

預期結果

1. 使用者能夠訪問自己的表資料；

2. 不同使用者相互間不能訪問表資料；

3. 管理員使用者可以訪問所有使用者表資料；

4. 使用者訪問表資料許可權可修改控制

測試結果

測試編號

測試專案

Hbase功能測試

測試子專案

HBase白名單功能測試

測試目的

驗證大資料平臺白名單功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1、開啟HBase白名單開關；

2、不加入客戶端A在HBase的白名單中，使用客戶端A訪問HBase。

將客戶端A加入HBase的白名單中，使用客戶端A訪問HBase

預期結果

加入白名單的客戶端有許可權訪問叢集；

未加入白名單的客戶端無許可權訪問叢集；

測試結果

測試編號

測試專案

Hbase可靠性測試

測試子專案

HMaster節點失效及恢復測試

測試目的

HMaster是否具備HA功能

測試依據

預置條件

1.叢集正常執行；

測試步驟

1.用PE對hbase進行讀寫操作

2.對主節點通過管理系統停止主HMaster程式；

3.在Manager頁面觀察備HMaster狀態，其由備切換為主

4.主備切換過程中，觀察HBase客戶端日誌，讀寫操作執行狀態和HMaster倒換時間

5.倒換完成，檢查倒換告警資訊是否上報正確

預期結果

HMaster故障情況下能夠自動進行切換

測試結果

測試編號

測試專案

HBase可靠性測試

測試子專案

RegionServer節點失效及恢復測試

測試目的

RegionServer節點故障對系統的影響

測試依據

預置條件

1.叢集正常執行；

測試步驟

1.用PE對hbase進行讀寫操作

2.對一個RegionServer節點通過管理系統停止；

3.觀察HBase客戶端日誌，觀察讀寫操作是否受到影響

預期結果

Regionserver節點故障並不影響HBase叢集提供的服務

測試結果

測試編號

測試專案

MapReduce&YARN測試

測試子專案

Wordcount測試

測試目的

測試MapReduce&YARN執行wordcount功能

測試依據

DAP需求文件

預置條件

1. REDHAT系統正常執行

2. ZDH叢集系統正常執行

3. ZDHManager及其他依賴服務正常執行

測試步驟

1.      ssh登入到主機，在後臺執行命令su – mr

2.      上傳檔案到hdfs，命令：hadoop fs -mkdir /rr

hadoop fs -put /file1.txt /rr/

3.      執行命令yarn jar /home/mr/yarn/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar wordcount /rr /output提交一個wordcount作業。

預期結果

Wordcount作業執行成功

測試說明

測試編號

測試專案

yarn安全性測試

測試子專案

yarn使用者許可權控制

測試目的

驗證yarn戶許可權控制功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1、Yarn許可權測試

沒有許可權的使用者不能向queue提交任務

有許可權的使用者可以向queue提交任務

預期結果

使用者只能夠訪問、操作自己許可權範圍內的資料

測試結果

測試編號

測試專案

yarn安全性測試

測試子專案

yarn白名單功能測試

測試目的

驗證大資料平臺yarn白名單功能測試

測試依據

預置條件

1.系統正常執行；

測試步驟

1、開啟YARN白名單開關；

2、不加入客戶端A在Yarn的白名單中，使用客戶端A訪問Yarn。

將客戶端A加入Yarn的白名單中，使用客戶端A訪問Yarn

預期結果

加入白名單的客戶端有許可權訪問叢集；

未加入白名單的客戶端無許可權訪問叢集；

測試結果

測試編號

測試專案

大資料平臺yarn可靠性測試

測試子專案

yarn ResourceManager主節點故障測試

測試目的

測試ResourceManager主節點故障下的可用情況

測試依據

預置條件

1.叢集正常執行；

測試步驟

1、       執行Wordcount測試，模擬背景業務；

2、       背景業務執行過程中，將叢集中的主ResourceManager程式通過管理系統停止來模擬故障；

3、觀察背景業務是否中斷，業務是否有損失檢視是否有相關主備倒換告警資訊。

預期結果

ResourceManager程式能夠自動主備倒換

測試結果

測試編號

測試專案

大資料平臺yarn可靠性測試

測試子專案

yarn NodeManager主節點故障測試

測試目的

驗證NodeManager程式故障對系統的影響

測試依據

預置條件

1.叢集正常執行；

測試步驟

1、       執行Wordcount測試，模擬背景業務；

2、       背景業務執行過程中，將叢集中的一個NodeManager程式通過管理系統停止來模擬故障；

3、觀察背景業務是否中斷。。

預期結果

整體服務可以正常執行完成

測試結果

測試編號

測試專案

Hive測試

測試子專案

HiveSQL基本操作測試

測試目的

測試hive sql是否支援基本sql命令

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．hdfs、Mapreduce、hive正常執行；

3.進入hive命令列操作。

測試步驟

1. 用tpch工具生成8張表資料

2.將生成的資料上傳到hdfs上

3.在hive裡建立跟資料一致結構的8張表

4.在hive執行如下sql測試hive sql

DROP TABLE customer;

DROP TABLE orders;

DROP TABLE lineitem;

DROP TABLE supplier;

DROP TABLE nation;

DROP TABLE region;

DROP TABLE part;

DROP TABLE q8_national_market_share;

-- create the tables and load the data

create external table part (P_PARTKEY INT, P_NAME STRING, P_MFGR STRING, P_BRAND STRING, P_TYPE STRING, P_SIZE INT, P_CONTAINER STRING, P_RETAILPRICE DOUBLE, P_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/part';

create external table customer (C_CUSTKEY INT, C_NAME STRING, C_ADDRESS STRING, C_NATIONKEY INT, C_PHONE STRING, C_ACCTBAL DOUBLE, C_MKTSEGMENT STRING, C_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/customer';

Create external table lineitem (L_ORDERKEY INT, L_PARTKEY INT, L_SUPPKEY INT, L_LINENUMBER INT, L_QUANTITY DOUBLE, L_EXTENDEDPRICE DOUBLE, L_DISCOUNT DOUBLE, L_TAX DOUBLE, L_RETURNFLAG STRING, L_LINESTATUS STRING, L_SHIPDATE STRING, L_COMMITDATE STRING, L_RECEIPTDATE STRING, L_SHIPINSTRUCT STRING, L_SHIPMODE STRING, L_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/lineitem';

create external table orders (O_ORDERKEY INT, O_CUSTKEY INT, O_ORDERSTATUS STRING, O_TOTALPRICE DOUBLE, O_ORDERDATE STRING, O_ORDERPRIORITY STRING, O_CLERK STRING, O_SHIPPRIORITY INT, O_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/orders';

create external table supplier (S_SUPPKEY INT, S_NAME STRING, S_ADDRESS STRING, S_NATIONKEY INT, S_PHONE STRING, S_ACCTBAL DOUBLE, S_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/supplier';

create external table nation (N_NATIONKEY INT, N_NAME STRING, N_REGIONKEY INT, N_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/nation';

create external table region (R_REGIONKEY INT, R_NAME STRING, R_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/region';

-- create the result table

create table q8_national_market_share(o_year string, mkt_share double);

-- the query

insert overwrite table q8_national_market_share

select

o_year, sum(case when nation = 'ROMANIA' then volume else 0.0 end) / sum(volume) as mkt_share

from

(

select

year(o_orderdate) as o_year, l_extendedprice * (1-l_discount) as volume,

n2.n_name as nation

from

nation n2 join

(select o_orderdate, l_discount, l_extendedprice, s_nationkey

from supplier s join

(select o_orderdate, l_discount, l_extendedprice, l_suppkey

from part p join

(select o_orderdate, l_partkey, l_discount, l_extendedprice, l_suppkey from lineitem l join

(select o_orderdate, o_orderkey

from orders o join

(select c.c_custkey

from customer c join

(select n1.n_nationkey

from nation n1 join region r

on n1.n_regionkey = r.r_regionkey and r.r_name = 'EUROPE'

) n11 on c.c_nationkey = n11.n_nationkey

) c1 on c1.c_custkey = o.o_custkey

) o1 on l.l_orderkey = o1.o_orderkey and o1.o_orderdate >= '1995-01-01'

and o1.o_orderdate < '1996-12-31'

) l1 on p.p_partkey = l1.l_partkey and p.p_type = 'LARGE BRUSHED BRASS'

) p1 on s.s_suppkey = p1.l_suppkey

) s1 on s1.s_nationkey = n2.n_nationkey

) all_nation

group by o_year

order by o_year;

預期結果

Hive sql執行成功

測試結果

測試編號

測試專案

Hive測試

測試子專案

HiveAggregation處理效能測試

測試目的

測試結構化資料儲存引擎引擎的HiveAggregation處理效能

測試依據

預置條件

1. 按照測試組網圖搭建測試環境,包含m個資料節點/計算節點、2個後設資料節點/作業排程節點，HDFS配置副本數為3

2. 非結構化儲存引擎已經執行

3.  HiBench測試工具已經完成配置

HiBench/ hivebench/conf/configure.sh配置如下：

DATASIZE=100GB

4. 使用hadoop使用者登陸

測試步驟

進入HiBench/hivebench目錄

執行conf/configure.sh

執行bin/prepare.sh

執行bin/run-aggregation.sh

預期結果

HiveAggregation成功執行結果符合預期。

測試結果

測試編號

5.6

測試專案

Hive測試

測試子專案

HiveJoin處理效能測試

測試目的

測試結構化資料儲存引擎引擎的HiveJoin處理效能

測試依據

預置條件

1. 按照測試組網圖搭建測試環境,包含m個資料節點/計算節點、2個後設資料節點/作業排程節點，HDFS配置副本數為3

2. 非結構化儲存引擎已經執行

3.  HiBench測試工具已經完成配置

HiBench/terasort/conf/configure.sh配置如下：

DATASIZE=100GB

4. 使用hadoop使用者登陸

測試步驟

進入HiBench/hivebench目錄

執行conf/configure.sh

執行bin/prepare.sh

執行bin/run-join.sh

預期結果

HiveJoin成功執行結果符合預期。

測試結果

測試編號

測試專案

Impala測試

測試子專案

ImpalaSQL基本操作測試

測試目的

測試hive sql是否支援基本sql命令

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．hdfs、Mapreduce、impala正常執行；

測試步驟

1. 用tpch工具生成8張表資料

2.將生成的資料上傳到hdfs上

3.在impala裡建立跟資料一致結構的8張表

4.在impala執行如下sql測試impala sql

-----建表------------------------------

create external table part

(p_partkey int,

 p_name string,

 p_mfgr string,

 p_brand string,

 p_type string,

 p_size int,

 p_container string,

 p_retailprice double,

 p_comment string

)row format delimited fields terminated by '|'

location '/impala/part';

create external table region

(r_regionkey int,

 r_name string,

 r_comment string

)row format delimited fields terminated by '|'

location '/impala/region';

create external table nation

(n_nationkey int,

 n_name string,

 n_regionkey int,

 n_comment string

) row format delimited fields terminated by '|'

location '/impala/nation';

create external table supplier

(s_suppkey int,

 s_name string,

 s_address string,

 s_nationkey int, --Foreign key to N_NATIONKEY

 s_phone string,

 s_acctbal double,

 s_comment string

) row format delimited fields terminated by '|'

location '/impala/supplier';

create external table partsupp

(ps_partkey int,  --Foreign key to P_PARTKEY

 ps_suppkey int,  --Foreign key to S_SUPPKEY

 ps_availqty int,

 ps_supplycost double,

 ps_comment string

) row format delimited fields terminated by '|'

location '/impala/partsupp';

create external table customer

(c_custkey int,

 c_name string,

 c_address string,

 c_nationkey int,    --Foreign key to N_NATIONKEY

 c_phone string,

 c_acctbal double,

 c_mktsegment string,

 c_comment string

) row format delimited fields terminated by '|'

location '/impala/customer';

create external table orders

(o_orderkey int,

 o_custkey int,    --Foreign key to C_CUSTKEY

 o_orderstatus string,

 o_totalprice double,

 o_orderdate timestamp,

 o_orderpriority string,

 o_clerk string,

 o_shippriority int,

 o_comment string

) row format delimited fields terminated by '|'

location '/impala/orders';

create external table lineitem

(l_orderkey int,

 l_partkey int,

 l_suppkey int,

 l_linenumber int,

 l_quantity double,

 l_extendedprice double,

 l_discount double,

 l_tax double,

 l_returnflag string,

 l_linestatus string,

 l_shipdate timestamp,

 l_commitdate timestamp,

 l_receiptdate timestamp,

 l_shipinstruct string,

 l_shipmode string,

 l_comment string

) row format delimited fields terminated by '|'

location '/impala/lineitem';

-----------建立臨時表-------------------------------------------

create table q8_national_market_share(o_year string, mkt_share double);

-------------------------查詢------------------------------------

insert overwrite table q8_national_market_share 

 select 

   cast(o_year as string), sum(case when nation = 'BRAZIL' then volume else 0.0 end) / sum(volume) as mkt_share

 from 

   (

 select 

   year(o_orderdate) as o_year, l_extendedprice * (1-l_discount) as volume, 

   n2.n_name as nation

     from

       nation n2 join

         (select o_orderdate, l_discount, l_extendedprice, s_nationkey 

          from supplier s join

           (select o_orderdate, l_discount, l_extendedprice, l_suppkey 

            from part p join

              (select o_orderdate, l_partkey, l_discount, l_extendedprice, l_suppkey 

               from lineitem l join

                 (select o_orderdate, o_orderkey 

                  from orders o join

                    (select c.c_custkey 

                     from customer c join

                       (select n1.n_nationkey 

                        from nation n1 join region r

                        on n1.n_regionkey = r.r_regionkey and r.r_name = 'AMERICA'

                        ) n11 on c.c_nationkey = n11.n_nationkey

                     ) c1 on c1.c_custkey = o.o_custkey

                  ) o1 on l.l_orderkey = o1.o_orderkey and o1.o_orderdate >= '1995-01-01' 

                          and o1.o_orderdate < '1996-12-31'

               ) l1 on p.p_partkey = l1.l_partkey and p.p_type = 'ECONOMY ANODIZED STEEL'

            ) p1 on s.s_suppkey = p1.l_suppkey

         ) s1 on s1.s_nationkey = n2.n_nationkey

   ) all_nation

 group by o_year

 order by o_year

 LIMIT 2147483647;

預期結果

Impala sql執行成功

測試結果

測試編號

測試專案

Storm測試

測試子專案

storm流資料篩選

測試目的

驗證storm支援流資料篩選功能

測試依據

預置條件

驗證支援流資料篩選功能

測試步驟

I1.使用模擬器，將資料檔案中的資訊實時傳送給流處理軟體

I2.將過濾後的資料流進行輸出

預期結果

能夠將符合業務要求的資料篩選出來，並形成資料資產

測試說明

測試編號

測試專案

Spark SQL功能測試

測試子專案

資料庫基本操作

測試目的

驗證資料庫基本操作是否正常。

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．Spark正常執行；

3．進入spark-sql命令列操作。 (bin/spark-sql)

測試步驟

1. 在spark-sql命令列中輸入如下命令：

CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name

[COMMENT 'database_comment']

[LOCATION hdfs_path];

此命令表示建立名為database_name 的資料庫。COMMENT是為資料庫新增註釋，LOCATION表示資料庫在hdfs中的儲存路徑。

2. 在spark-sql命令列中輸入如下命令檢視新建資料庫的屬性：

   describe database database_name;

3. 在spark-sql命令列中輸入如下命令刪除新建的資料庫：

DROP (DATABASE|SCHEMA) [IF EXISTS] database_name;

預期結果

1. 執行步驟1，成功建立資料庫database_name；通過show databases命令可以檢視新增的資料庫。

2. 執行步驟2，成功顯示資料庫database_name的註釋和在hdfs的儲存路徑；

3. 執行步驟3，成功刪除資料庫database_name。通過show database命令可以檢視資料庫已不存在。

測試說明

測試編號

測試專案

Spark SQL功能測試

測試子專案

表操作

測試目的

驗證對錶的基本操作

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．Spark正常執行；

3．進入spark-sql命令列操作。

測試步驟

1. 建立表：Create table testable (a int, b int, c int);

增加列：Alter table testable add columns (d int);

修改列名：Alter table testable change a a1 int;

修改列型別：Alter table testable change a1 a1 string;

修改表名：ALTER table table_name rename to new_table_name;

預期結果

操作正常，返回OK。同時通過show tables/describe table_name命令檢視操作均成功。

測試說明

測試編號

測試專案

Spark SQL功能測試

測試子專案

本地檔案系統匯入資料

測試目的

驗證是否支援由本地檔案系統匯入資料

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．Spark正常執行；

測試步驟

1. 建立本地檔案/home/mr/test，內容如下：

a 1

c 3

e 5

2. 進入spark-sql命令列，建立表，以空格作為分隔符：

create table if not exists table_name(name string,value int) row format delimited fields terminated by ' ';

3.匯入資料：

load data local inpath '/home/mr/test' overwrite into table table_name;

4.查詢表：

select * from table_name;

5.刪除表：

drop table table_name;

預期結果

1. 執行步驟1，成功建立檔案/home/mr/test；

2. 執行步驟2，成功建立表table_name；

3. 執行步驟3，返回值為OK。

4. 執行步驟4，顯示內容為如下：

a 1

c 3

e 5

5.執行步驟5，成功刪除表table_name，通過show tables無法檢視到相關表。

測試說明

測試編號

測試專案

Spark SQL功能測試

測試子專案

資料查詢操作

測試目的

驗證資料查詢操作是否正常。

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．Spark正常執行；

3．SparkSQL中存在表，且有資料；

4．進入spark-sql命令列操作。

測試步驟

1. 查詢table_name表內容：

select * from default.table_name;

1.       基於分割槽查詢表內容

SELECT *  FROM table_name WHERE [PARTITION ><=value]

2.       執行聚合函式查詢語句

SELECT  COUNT(*) FROM … WHERE … = ( SELECT  AVG(… ) FROM …WHERE … );

3.       執行join/group by/子查詢等查詢語句

CREATE TABLE ... AS SELECT  … FROM …

LEFT OUTER JOIN(SELECT  … FROM … GROUP BY …) AS … ON …;

預期結果

1 2、資料查詢操作正常，正確顯示table_name表內容。

3 4、能正確查詢出資料。

測試說明

測試編號

測試專案

Spark SQL功能測試

測試子專案

資料order排序

測試目的

驗證資料order排序操作是否正常。

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．Spark正常執行；

3．SparkSQL中存在表，且有資料；

4．進入spark-sql命令列操作。

測試步驟

1. 將輸出結果按某列進行升序、降序的排列

select * from table_name order by value asc;

2. 將輸出結果按某列進行升序、降序的排列

select * from table_name order by value desc;

預期結果

1. 執行步驟1，輸出結果按照value列進行升序排序；

2. 執行步驟2，輸出結果按照value列進行降序排序。

測試說明

測試編號

測試專案

WordCount效能

測試子專案

WordCount效能

測試目的

測試Spark執行WordCount效能

測試依據

預置條件

1．  HDFS已經執行

2．  HDFS上準備500GB資料

3．  Spark Standalone叢集已經啟動

測試步驟

1．進入Spark安裝的使用者，切換到Spark主目錄

2．執行bin/spark-shell  --master spark://[master_hostname]:port

3．sc.textFile(“hdfs_input_dir_path”).flatMap(_.split(“”)).map(w => (w,1)).reduceByKey(_ + _).saveAsTextFile(“hdfs_output_dir_path”)

4．再重複執行步驟3兩次，記錄平均值

預期結果

1．  記錄下平均每節點的寫入吞吐量

2．  記錄下叢集的寫入吞吐量

測試說明

測試編號

測試專案

Terasort效能

測試子專案

Terasort效能

測試目的

測試Spark的Terasort效能

測試依據

預置條件

1．  HDFS已經執行

2．  HDFS上準備好1TB資料

3．  Spark Standalone叢集已經啟動

4．  Terasort的jar包已準備好，比如放在本地路徑：/home/mr/terasort_jar/terasort.jar

測試步驟

1．  進入Spark安裝的使用者，切換到Spark主目錄

2．  執行bin/spark-submit  --master spark://[master_hostname]:port  --class Terasort /home/mr/terasort_jar/terasort.jar hdfs_input_data_path hdfs_output_data_path

3．  再重複執行步驟4兩次，記錄平均值

預期結果

1．  記錄下平均每節點的寫入吞吐量

2．  記錄下叢集的寫入吞吐量

測試說明

測試編號

測試專案

Sqoop功能測試

測試子專案

sqoop支援從傳統資料庫向hadoop資料遷移

測試目的

驗證sqoop支援從傳統資料庫向hadoop資料遷移

測試依據

預置條件

1.系統正常執行；

測試步驟

1、傳統的mysql資料遷移測試

驗證從傳統的mysql資料庫匯出資料到hadoop的hdfs

驗證從hadoop的hdfs目錄匯入資料到mysql

2、傳統的db2資料遷移測試

驗證從傳統的db2資料庫匯出資料到hadoop的hdfs

驗證從hadoop的hdfs目錄匯入資料到db2

3、傳統的oracle資料遷移測試

驗證從傳統的oracle資料庫匯出資料到hadoop的hdfs

驗證從hadoop的hdfs目錄匯入資料到oracle

預期結果

Sqoop支援從傳統的mysql、db2、oracle資料庫匯出資料到hdfs；

Sqoop支援從hdfs匯入資料到傳統的mysql、db2、oracle資料庫。

測試結果

測試編號

測試專案

Kerberos安全性測試

測試子專案

提供kerberos管理的能力

測試目的

提供kerberos管理的能力

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．各系統執行正常；

測試步驟

1.配置各服務的kerberos

2.啟用kereros功能

3.禁用kereros功能

預期結果

對zk，hdfs，yarn，hbase和hive啟用kerberos功能後，未進行kerberos認證的機器和使用者不能訪問叢集的zk節點，hdfs目錄，不能向叢集提交mr作業，不能訪問hbase，不能使用hive。進行kerberos認證的機器和使用者可以訪問叢集的zk節點，hdfs目錄，向叢集提交mr作業，訪問hbase和hive。

禁用kerberos功能後，對機器和使用者不做限制。

測試說明

測試編號

測試專案

Flume功能測試

測試子專案

Flume功能測試

測試目的

測試flume基本功能

測試依據

預置條件

1．  HDFS已經執行

2．  Flume已經執行

測試步驟

1．配置conf

配置flume-env.sh檔案，配置如下：

export JAVA_HOME=/usr/java/jdk

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

#FLUME_CLASSPATH=""

2.配置flume.server如下

# Name the components on this agent                 

a1.sources = r1                                     

a1.sinks = k1                                       

a1.channels = c1                                                                                         

# Describe/configure the source                     

a1.sources.r1.type = avro                         

a1.sources.r1.bind = localhost                       

a1.sources.r1.port = 44444                                                                               

# Describe the sink                                 

a1.sinks.k1.type = logger                                                                                 

# Use a channel which buffers events in memory      

a1.channels.c1.type = memory                        

a1.channels.c1.capacity = 1000                      

a1.channels.c1.transactionCapacity = 100                                                                  

# Bind the source and sink to the channel           

a1.sources.r1.channels = c1                         

a1.sinks.k1.channel = c1

3.啟動flume

在flume的bin目錄下，執行命令如下：

./flume-ng agent -c ../conf -f ../conf/flume.server -n a1

4.資料匯入驗證

在flume的bin目錄下，執行命令如下：

./flume-ng avro-client -H localhost -p 44444 -F /home/mr/flume/CHANGELOG

5.驗證結果

預期結果

Flume功能正常

測試說明

測試編號

測試專案

Solr功能測試

測試子專案

單條索引上傳查詢

測試目的

測試solr單條索引上傳查詢功能

測試依據

預置條件

Solr程式啟動正常

測試步驟

I1.命令列模式建立例項

I2.通過管理介面提交單條索引資料記錄

3 通過管理介面能夠查詢上傳的單條索引記錄

預期結果

測試結果

測試編號

測試專案

Solr功能測試

測試子專案

批量索引上傳查詢

測試目的

測試批量索引上傳查詢功能

測試依據

預置條件

Solr程式啟動正常

測試步驟

I1.命令列模式建立例項

I2.命令列提交多條索引資料記錄

3 通過管理介面能夠查詢上傳的多條索引記錄

預期結果

測試結果

測試編號

測試專案

自動安裝部署

測試子專案

自動安裝部署

測試目的

檢測系統是否支援叢集的自動安裝和部署

測試依據

預置條件

1．系統執行正常。

2．操作維護系統與叢集所在資源之間通訊正常。

測試步驟

1．提供一系列伺服器IP地址，進行批量自動化安裝。

2．能夠集中檢視安裝日誌，方便的檢視關鍵結果，成功或是失敗

3．驗證可通過設定不同引擎和指定節點方式，以介面、指令碼提供自動化安裝能力

預期結果

自動安裝成功，進入待執行狀態。等待運維人員准予執行。

測試結果

測試編號

測試專案

叢集統一管理工具

測試子專案

叢集統一管理工具

測試目的

驗證Hadoop是否提供統一的管理功能

測試依據

預置條件

操作維護系統已安裝並執行正常；

測試步驟

1、   使用超級管理員帳號登入到叢集管理系統；

2、   開啟並瀏覽Hadoop服務頁面

3、 開啟並瀏覽叢集主機頁面

預期結果

系統提供統一的WEB管理操作入口；

能通過介面對主機、服務進行日常的運維、管理等操作。

1，Hadoop服務管理可提供以下功能：

l  可檢視各個自有和通用服務的執行狀態，健康狀態及配置狀態，狀態重新整理週期可配置；

l  可對自有和通用組建服務進行增加，啟動，停止，重啟及刪除操作；

l  可對叢集進行啟動，停止，升級，解除安裝，同步配置，匯出配置及匯出安裝模板操作；

2，叢集主機管理可提供以下功能：

l  可顯示叢集中主機的名稱，IP地址，所在機架，網路讀寫速率，健康狀態，CPU，記憶體及磁碟使用率，並可對上述欄位進行排序；

l  可對叢集中的主機進行啟動所有角色服務，停止所有角色服務，設定機架資訊，刪除主機及強制刪除主機，同時可增加主機；

可提供根據主機名稱，機架名稱，CPU使用率範圍，主機IP，主機健康狀態，記憶體使用率範圍，磁碟使用率範圍進行主機查詢；

測試結果

測試編號

測試專案

日誌管理

測試子專案

日誌管理

測試目的

檢測系統是否支援對使用者操作日誌和系統日誌的管理

測試依據

預置條件

1．系統執行正常。

2．瀏覽器所在客戶端與操作維護系統、操作維護系統與叢集所在資源之間通訊正常。

3．至少有一個有管理許可權的使用者。

4．模擬一些使用者操作、系統操作、系統異常。

測試步驟

1．圖形使用者介面須管理員經密碼確認方可登入，進入日誌查詢管理介面；

2．按照操作結果、操作型別、操作時間、操作使用者等條件進行查詢；

3．檢視查詢結果，並檢視日誌詳情；

4．對指定時間範圍的使用者日誌、系統日誌進行刪除操作。

預期結果

1．支援檢視不同使用者和不同組建的日誌；

2．可檢視使用者操作日誌，使用者操作日誌包括對使用者登入、登出、許可權變更、IP、操作型別、操作內容、操作時間等內容的記錄與展示。

3．支援系統日誌檢視，系統日誌包括對系統啟動、關閉、使用者增減、許可權變更、效能異常、功能異常、硬體異常、網路異常、危險操作等內容的記錄與展示；

測試結果

檢視系統的安全日誌，顯示系統登入資訊，包括登陸成功、失敗以及登出等資訊

檢視系統的操作日誌，顯示使用者對Hive、HBase、YARN、HDFS等元件執行增刪改的操作記錄

檢視系統的審計日誌，可通過系統的審計日誌，對指定時間段、對指定元件、對指定主機上儲存的系統執行日誌進行收集

測試編號

測試專案

效能監測

測試子專案

效能監測

測試目的

檢測系統是否支援對系統級效能指標進行管理和展示

測試依據

預置條件

1．系統執行正常。

2．瀏覽器所在客戶端與操作維護系統、操作維護系統與叢集所在資源之間通訊正常。

3．至少有一個有管理許可權的使用者。

測試步驟

1．圖形使用者介面須管理員經密碼確認方可登入，進入效能監測管理介面；

2．檢視系統整體、通用組建、自有組建的實時效能變化情況

3．查詢一段時間範圍內的歷史監控資料資訊，並對歷史監控資料資訊進行刪除操作。

4. 通過圖形介面，檢視目前壓力對應的應用或使用者。

預期結果

1．能檢視伺服器效能圖表和圖形；

2．能檢視系統歷史效能資料；

3．能刪除歷史效能資料。

測試說明

登入叢集主頁，檢視整個叢集資訊

檢視叢集中所有主機健康狀態，包括主機名、IP、機架、健康狀態、安裝服務情況

1、支援叢集中服務的狀態及效能指標的監控

l  HDFS

HDFS容量統計；/HDFS檔案（所有檔案及資料夾數）/HDFS塊資訊統計/HDFS連線數/HDFS DataNode節點數/NameNode記憶體使用情況

l  Hbase

RegionServer統計資訊/所有RegionServer每秒請求數/RegionServer佇列（壓縮/Flush）統計資訊/ Hbase Region數統計

可新增統計指標圖

l  Hive

Hive Server任務使用邏輯CPU數統計/HiveServer任務記憶體使用統計/HiveServer請求數統計/HiveServer會話統計/Hive資料空間使用統計/執行HQL語句總數量統計/執行HQL語句成功的百分比

2、叢集中主機的監控條目，主機CPU利用率，記憶體使用率，主機網路資訊，主機磁碟分割槽及其使用率監控

主機節點具體指標統計圖

測試編號

測試專案

故障管理

測試子專案

故障管理

測試目的

驗證大資料平臺故障告警功能，在故障發生時能產生相應告警

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．系統執行正常；

3．使用管理員賬號登入儲存管理操作維護中心。

測試步驟

1、 在系統執行過程中，根據規範中的告警指標，對網路配置進行手工修改；對資料的讀寫許可權進行修改。

2、 檢視儲存操作維護系統“故障告警系統”

3、 手工修復產生的故障

4、 再次檢視故障告警資訊。

5、 進入告警查詢頁面，分別按照告警級別/告警碼對當前告警和歷史告警分別進行查詢操作。

6、模擬節點故障，對節點剔除和加入

7、模擬效能故障，對應用程式掛起和清理。

預期結果

1．在當前告警中出現剛才模擬的告警提示，告警級別、告警內容、發生時間、告警處理建議等資訊展示正確。

2．告警消除後，前面產生的告警在當前告警中刪除，在歷史查詢中能夠查詢到此條告警，恢復時間正確

3．當前告警、歷史告警按級別和按告警碼查詢結果展示正確

測試說明

檢視系統告警資訊

對服務角色進行過濾，檢視告警條目給出相應解決方案

對需要清除的告警條目進行手工清除，系統給出告警的處理建議

按照告警級別、發生的時間範圍、告警型別、告警所屬的服務、角色等條件進行過濾查詢

可根據主機，起止時間等查詢事件資訊

檢視歷史告警資訊

對告警閾值進行設定，超過閾值會自動上報告警資訊

測試編號

8.7

測試專案

資料管理能力

測試子專案

對資料檔案進行備份和恢復

Manager頁面管理資料的配置

測試目的

資料管理能力

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．各系統執行正常；

測試步驟

1.     HDFS的備份與恢復

2.     對HDFS的資料配置進行管理

預期結果

可以對HDFS的資料進行配置操作，對HDFS檔案能夠進備份和恢復

測試說明

1.對HDFS的檔案能夠進行備份和恢復

在HDFS中建立目錄/backup/a、/backup/b，對目錄/backup/a進行全量備份，觀察備份是否成功

將/backup目錄下的a、b目錄同時刪除，使用備份的資料進行恢復，觀察/backup/a是否恢復成功，內容是否與刪除前的一致，觀察/backup/b是不會被恢復

2.Manager頁面可配置HDFS的副本引數，資料的儲存目錄等，對資料管理

測試編號

8.8

測試專案

Manager管理角色的功能

測試子專案

Manager管理角色的功能

測試目的

Manager管理角色的功能

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．各系統執行正常；

測試步驟

登陸到manager管理平臺，進入系統

1.線上修改當前使用者的許可權

2.線上建立使用者

3.線上刪除，正在執行應用的使用者。

預期結果

 Manager提供角色管理的功能

測試說明

manager頁面提供角色管理等功能，方便叢集管理角色功能。使用者登入方式可與行內單點登陸系統對接。

提供多種的許可權策略

對許可權管理可自定義多種角色

使用者可分為多級別管理，並可對使用者自有許可權賦予其他使用者。

測試編號

8.9

測試專案

多叢集管理能力

測試子專案

多叢集管理能力

測試目的

測試多叢集管理能力

測試依據

預置條件

1．按照測試組網圖搭建測試環境；

2．各系統執行正常；

測試步驟

1.     登陸manager管理平臺，點選“新增”新增多個叢集

2.     在主頁上檢視多個叢集的資訊，可對多個叢集進行管理

預期結果

 Manager平臺能夠進行多個叢集的管理

測試說明

新增多個叢集，可以對多個叢集進行同時管理和監控

點選Manager介面安裝-安裝叢集，然後點選新增，增加新的叢集名稱

在“主頁”可檢視多個叢集的資訊，可同時管理多個叢集的能力