大数据测试 VS 传统数据库测试


类型



传统数据库测试



大数据测试



数据



结构化数据



结构化数据和非结构化数据



测试方法是明确定义和时间测试



测试方法需要集中的研发工作(R&D efforts)



测试人员可以选择“Sampling”策略进行手动或可以选择“Exhaustive Verification”策略进行自动化测试



"Sampling"策略在大数据测试有很大的挑战



基础设施



不需要特殊的测试环境,因为文件大小有限



需要特殊的测试环境,因为大数据量和文件(HDFS)



验证工具



测试程序使用基于Excel的宏或基于UI的自动化工具



没有定义的工具,范围很广从编程工具如MapReduce到HIVEQL



拥有基本的操作知识和较少的培训就可以使用测试工具



需要一套特定的技能和培训来操作测试工具。此外,工具处于新生阶段,随着时间的发展也许会带来新的功能。



测试环境需求

测试环境需求取决于要测试的应用程序的类型。对于大数据测试,测试环境应包括:

1.它应该有足够的空间用于存储和处理大量的数据

2.它应该具有分布式节点和数据的集群

3.它应该具有最低的CPU和内存利用率,以保持性能高



大数据场景使用的工具


大数据集群



大数据工具



NoSQL



CouchDB, MongoDB, Cassandra, Redis, ZooKeeper, Hbase



MapReduce



Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume



Storage



S3, HDFS ( Hadoop Distributed File System)



Servers



Elastic, ​​Heroku​​, Elastic, Google App Engine, EC2



Processing



R, Yahoo! Pipes, Mechanical Turk, BigSheets, Datameer