在B/S架构的系统测试中,有时需要通过导入excel文件来生成一些数据记录,当数据量小的时候,一般不会出现什么问题,而当导入的数据量巨大时,对系统的性能就是一个考验了。为了验证系统的性能,有时需要导入海量的数据,如30万条数据记录,而手头并没有这么多数据时该怎么办呢?一条一条复制粘贴,或者通过excel的下拉拖动来生成记录?这样会把测试人员累死,而且单调重复的工作,非常无趣。这时,我们只需借助python,便可以轻松生成大量数据,把人从单调重复的工作中解放出来,去做更有意义的事。
例如,我们需要生成如下的数据。
这是一条用户信息的示例数据,其中包含几种编号、姓名、性别、爱好、最喜欢的电影、音乐等信息,而其中只需校验A、I、L这三列的不同编号。其他数据在性能测试中不是很关心,那么我们可以利用规则生成一些数据,其中仅A、I、L三列不同,其他信息保持不变。
思路:先将表头和示例数据保存在一个示例文件中,通过xlrd来读取示例内容,通过xlsxwriter来按规则写入表头和不同的信息。
话不多说,我们直接上代码:
1 importxlrd2 importxlsxwriter3 #文件名以及路径,前面加一个r防止生成不必要的转义。
4 filename=r'D:\001\example.xlsx'
5 data =xlrd.open_workbook(filename)6 #获取第1个sheet页
7 table =data.sheets()[0]8 #获取第2行(第1条)数据
9 content=table.row(1)10 print('第1条示例数据为:',content)11 #通过上面print内容可以看到,直接读出的内容,虽然是list,但每条数据前加了
12 #text:字样,不能直接强转成tuple为我们所用,于是自定义一个转换方法将其转换为可以用的list以便后面强转成tuple
13 defconvertRowToTuple(rowNum):14 data=[]15 #len(content)是上面获取到的该行的数据列数
16 for i inrange(len(content)):17 data.append(table.cell_value(rowNum,i))18 #将每个单元格中的数据读取出来加到data这个list中并强转成元组返回
19 returntuple(data)20 #将第0行(即excel中的第1行表头)数据读取并转成元组赋给header
21 header=convertRowToTuple(0)22 #将第1行(即excel中的第2行)示例数据读取并转成元组赋给data1
23 data1=convertRowToTuple(1)24 #print(header)
25 #print(data1)
26 #即将写入数据的文件名
27 filename2=r'D:\001\TestDatas2.xlsx'
28 #如果数据量非常大,可以启用constant_memory,这是一种顺序写入模式,得到一行数据就立刻写入一行,而不会把所有的数据都保持在内存中。
29 #如果不启用此模式,当数据量巨大时,程序很大概率地卡死
30 workbook = xlsxwriter.Workbook(filename2, {'constant_memory': True})31 #创建新的sheet页
32 worksheet =workbook.add_worksheet()33 #startNum表示从第几行开始写,这里的数字是从1开始,因为后面要和字母组合对应在excel中,如A1代表第1行第A列
34 startNum=1
35 #初始值,后面的数字在它们的基础上依次增加
36 startValues=['000001','245353','24289796']37 #初始值对应的列
38 col=['A','I','L']39 #先将表头写入文件
40 worksheet.write_row('A'+str(startNum), header)41 #正式开始写入数据
42 for i in range(300000):43 #为了不让生成过程无聊,加此打印信息以便查看进度
44 print('正创建第',i+1,'条数据')45 #表头占据了第1行,所以首条数据从第2行开始,当i=0时,写入的数据从A2开始
46 #将data1中的数据依次写入A2、B2、C2……
47 worksheet.write_row('A'+str(startNum+i+1), data1)48 #前面相当于复制了第一条数据的所有内容,但是A、I、L三列内容需要依次往下排,因此我们将重写每行中A I L单元格中的值
49 for m incol:50 length=len(startValues[col.index(m)])51 #数字用初始值加上i
52 content=str(int(startValues[col.index(m)])+i)53 #因为像000001这样的数字在计算中会丢失前面的0,为了保持位数,将失去的0再给它补回来
54 if(len(content)
57 worksheet.write(m+str(startNum+i+1), content)58 #写完之后关闭workbook,否则会报错
59 workbook.close()接下来,生成数据的活交给计算机,让我们去泡杯茶,静待数据生成成功吧!
经测试,生成30万条数据仅需大约4min!
















