一、背景
由于以前没有细看hadoop提供的测试工具,只是在关注hadoop本身的内容,所以很多的性能测试都忽略了。最近花了一周的时间准备做个性能测试,但是都是采用自己的方法得出的抽象值。今天看淘宝的博客,提到hadoop自带的测试工具,遂试了一把,记录一下,供以后参考。
二、使用
我做基准测试主要是用了hadoop-0.20.2-test.jar这个工具jar包。主要是做了I/O的测试。在网上也找了一些资料,抄抄谢谢记录如下:
DFSCIOTest
测试libhdfs中的分布式I/O的基准。Libhdfs是一个为C/C++应用程序提供HDFS文件服务的共享库。
DistributedFSCheck
文件系统一致性的分布式检查。
TestDFSIO
分布式的I/O基准。目前我就做了这个测试。输入参数:hadoop jar hadoop-0.20.2-test.jar TestDFSIO -write -nrFiles 10 -fileSize 1000,结果在同级目录下会有一个TestDFSIO_results.log,查看就可以了。完事记得执行hadoop jar hadoop-0.20.2-test.jar TestDFSIO -clean
clustertestdfs
对分布式文件系统的伪分布式测试。
dfsthroughput
测量HDFS的吞吐量。
filebench
SequenceFileInputFormat和SequenceFileOutputFormat的基准,这包含BLOCK压缩,RECORD压缩和非压缩的情况。TextInputFormat和TextOutputFormat的基准,包括压缩和非压缩的情况。
loadgen
通用的MapReduce加载产生器。
mapredtest
MapReduce作业的测试和检测。
mrbench
创建大量小作业的MapReduce基准。
nnbench
NameNode的性能基准。
testarrayfile
对有键值对的文本文件的测试。
testbigmapoutput
这是一个MapReduce作业,它用来处理不可分割的大文件来产生一个标志MapReduce作业。
testfilesystem
文件系统读写测试。
testipc
Hadoop核心的进程间交互测试。
testmapredsort
用于校验MapReduce框架的排序的程序。
testrpc
对远程过程调用的测试。
testsequencefile
对包含二进制键值对的文本文件的测试。
testsequencefileinputformat
对序列文件输入格式的测试。
testsetfile
对包含二进制键值对文本文件的测试。
testtextinputformat
对文本输入格式的测试。
threadedmapbench
对比输出一个排序块的Map作业和输出多个排序块的Map作业的性能。
三、总结
1、输入hadoop jar hadoop-0.20.2-test.jar都会有一些提示帮助,不过建议还是看看源码,更清晰。
分享到:
相关推荐
Hadoop平台基准性能测试工具的设计与实现
hadoop本地测试环境搭建工具包 1.hadoop.dll 2.hadoop源码请到官网下载
hadoop性能测试报告
hadoop单元测试方法--使用和增强MRUnit.docx
使用windows版hadoop运行mr程序,由于安装目录的/bin目录下相关组件,程序无法连接并运行
hadoop2.2 安装 工具 hive hbase快速安装工具
Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包
Hadoop集群测试报告
hadoop-辅助工具-笔记
Hadoop集群测试报告
Terrapin 是 Hadoop 数据服务工具,为批量生成的数据集服务。Terrapin 是低延迟服务系统,提供通过 Hadoop 作业生成,存储在 HDFS 集群的大型数据集随机访问功能。Terrapin 可以从 S3,HDFS 或者直接从 MapReduce ...
window环境下安装hadoop所需要是工具
Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包
基于hadoop上的基本测试,很好的资源哦
Hadoop V3.3.3 分布式部署步骤,DFSIO和Tersort基准测试
window下编译的hadoop3.0+开发工具,可以直接替换hadoop版本下的bin目录 哈哈, github上面有,不过下载比较慢
hadoop2.6.0编译的全部工具 包括ant maven findbugs protobuf hadoop-2.6.0-src
1/Hadoop平台搭建及实例运行.doc; 2/hadoop常见测试问题_自测试.docx; 3/hadoop源代码分析.docx; 4/Hibench BenchMark suite.docx。
winutils windows hadoop 工具 模拟执行linux的几个命令用的。添加到 hadoop-2.2.0\bin下面就行了。
Hadoop数据仓库工具hive介绍