hadoop 性能评估 hadoop性能测试

一、目的：

使用TestDFSIO测试hadoop-2.7.7集群性能。

二、环境：

2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。

192.168.10.156 hmaster156

192.168.10.162 hslave162

三、测试过程：

3.1 测试读写性能

在任意节点（hmaster156、hslave162）的/usr/local/hadoop-2.7.7路径（hadoop的安装路径）下执行以下命令：

#测试写性能

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -write -size 10GB

#测试读性能

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -read -size 10GB

 

3.2 删除测试数据

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -clean