大資料測試學習筆記之測試工具集

大資料測試學習筆記之測試工具集

本文主要記錄大資料測試的一些基本工具，以便後續用的時候能深入的去學習。

Bigbench

由Teradata、多倫多大學、InfoSizing、Oracle開發，其設計思想和利用擴充套件具有研究價值，可以參閱論文Bigbench:Towards an industry standard benchmark for big data analytics。

論文pdf：~hdfeng/bigdata/Papers/BigBench - towards an industry standard benchmark for big data analytics.pdf

Berkeley BigDataBench

隨著Spark的推出，由AMPLab開發的一套大資料基準測試工具，官網介紹：

Hadoop GridMix

Hadoop自帶的Benchmark，作為Hadoop自帶的測試工具使用方便、負載經典，應用廣泛

BigDataBenchmark

中科院研發，官方文件，哈哈，還是英文的資料：

TPC-DS

廣泛應用於SQL on Hadoop的產品評測。官網在這：

可能需要你跑（翻）個（下）路（牆）才能到達。

Hibench

由Intel開發的針對Hadoop的基準測試工具，開源的，使用者可以到Github庫中下載:

Hadoop自帶的基準測試工具

主要有TestDFSIO、mrbench和nnbench。

TestDFSIO用於測試HDFS的IO效能；nnbench用於測試NameNode的負載；mrBench多次反覆執行一個小作業，用於測試在叢集上小作業的執行是否可以重複以及執行是否高效。

文件資料在這：

http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/

BDGS資料生成器

用於基準測試的資料生成，BDGS在保留原始資料特性的基礎上以小規模真實資料生成大規模資料，能夠生成文字資料和圖表資料。

pdf文件在這：

對大資料以及人工智慧概念都是模糊不清的，該按照什麼線路去學習，學完往哪方面發展，想深入瞭解，想學習的同學歡迎加入大資料學習qq群：458345782，有大量乾貨（零基礎以及進階的經典實戰）分享給大家，讓大家瞭解到目前國內最完整的大資料高階實戰實用學習流程體系 。從java和linux入手，其後逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關知識一一分享！