1. 开发环境

Windows 10 企业版

Pycharm 2019.01 EAP Community Edition

Python 3.7

2. 前言

爬取四川省统计局数据Matplotlib绘图,生成了大量数据图。希望将其自动化保存到word文档中,形成报告。

3. 数据可视化

3.1 数据整理及筛选

见上篇文档。

3.2 数据绘图

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#有中文出现的情况,需要u'内容'
x = file_name #这是绘图的x轴
y_lst = [] #用来存储y值
y_label_lst = [] #用来存储label值
color = ['#0072BC','#ED1C24','red','blue'] #颜色枚举量
fig_num = 0
for i in range(len(yy_data_lst)):
data_index = data_index_lst[i]
for k in range(len(data_index)): # 绘图的x轴指示
if k == 0:
continue
else:
for j in range(len(yy_data_lst[i])):
yy_data = yy_data_lst[i][j]
y_lst.append((yy_data.loc[:, k]).tolist()) #从数据中提取某一列的数据作为y轴数据
y_label_lst.append((yy_data.iloc[0,0])) #提取首行首列为label信息
for m in range(len(y_lst)):
y_lst[m] = [0 if x == '' else x for x in y_lst[m]]
y_lst[m] = [0 if x == 'NaN' else x for x in y_lst[m]]
print(y_lst[m])
if len(y_lst[m]) < len(x): #如果获取到的数据列表长度小于横轴,则数据无效。
break
plt.plot(x, y_lst[m], label=y_label_lst[m],color = color[m])
plt.ylabel(u'数值')
plt.xlabel(u'月份')
plt.title(u"四川省统计局2-11月统计结果\n"+str(data_index[k]))
plt.legend()
plt.savefig('./figs/' + 'fig_' + str(fig_num) + '_' + str(data_index[k]) + '.png')
plt.show()
plt.pause(0.5) # 显示秒数
plt.close("all")
y_lst = []
y_label_lst = []
fig_num +=1

Matplotlib模块绘图时,添加中文字符采用以下代码实现:

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

#有中文出现的情况,需要u'内容'

绘图的数据采用列表进行输入,如下图所示,两个列表分别表示了累计和同比的数据结果。

数据结果

绘制的图片如下图所示

绘图

居民消费总指数

4. 图片生成

生成的大量图表

5. 报告组装

5.1 Word文档生成

docx模块中提供了使用案例,采用如下案例可以自动生成一个demo.docx的文档。

# encoding: utf-8
"""
@version: 1.0
@author: Jarrett
@file: docx_input
@time: 2020/1/30 9:54
"""
from docx import Document
from docx.shared import Inches
document = Document()
document.add_heading('Document Title', 0)
p = document.add_paragraph('A plain paragraph having some ')
p.add_run('bold').bold = True
p.add_run(' and some ')
p.add_run('italic.').italic = True
document.add_heading('Heading, level 1', level=1)
document.add_paragraph('Intense quote', style='Intense Quote')
document.add_paragraph(
'first item in unordered list', style='List Bullet'
)
document.add_paragraph(
'first item in ordered list', style='List Number'
)
document.add_picture('QR.png', width=Inches(1.25))
records = (
(3, '101', 'Spam'),
(7, '422', 'Eggs'),
(4, '631', 'Spam, spam, eggs, and spam')
)
table = document.add_table(rows=1, cols=3)
hdr_cells = table.rows[0].cells
hdr_cells[0].text = 'Qty'
hdr_cells[1].text = 'Id'
hdr_cells[2].text = 'Desc'
for qty, id, desc in records:
row_cells = table.add_row().cells
row_cells[0].text = str(qty)
row_cells[1].text = id
row_cells[2].text = desc
document.add_page_break()
document.save('demo.docx')

从以上代码中可以看出:

document.add_heading('Document Title', 0) 向文档中输入一个标题。

p = document.add_paragraph('A plain paragraph having some ')向文档中输入一个段落,引号中的内容为段落的文本。

document.add_picture('QR.png', width=Inches(1.25)) docx模块向文档中添加一个名称为QR.png的图片。

掌握以上三个生成word文档的基本语句以后,可以生成数据统计图报告。

5.2 报告生成

# encoding: utf-8
"""
@version: 1.0
@author: Jarrett_UESTC
@file: png2word
@time: 2020/1/31 11:29
"""
import os
from docx import Document
from docx.shared import Inches
from docx.enum.text import WD_ALIGN_PARAGRAPH
import re #正则表达式
path = '../figs'
Filelist = []
File_name_lst = []
for home, dirs, files in os.walk(path):
for filename in files:
# 文件名列表,包含完整路径
Filelist.append(os.path.join(home, filename))
# # 文件名列表,只包含文件名
# re.findall(r'\d',str1)
File_name_lst.append(filename)
print(Filelist)
print(File_name_lst)
document = Document() #实例化Document
document.add_heading('四川省统计局2-11月统计数据', 0)
for i in range(len(File_name_lst)):
#添加图片
document.add_picture(Filelist[i], width=Inches(5))
#-----以下代码用来将图片居中----------#
last_paragraph = document.paragraphs[-1]
last_paragraph.alignment = WD_ALIGN_PARAGRAPH.CENTER # 图片居中设置
document.styles['Normal'].font.name = u'黑体'
p = document.add_paragraph()
p.paragraph_format.alignment = WD_ALIGN_PARAGRAPH.CENTER
fig_txt = re.findall(r"[\u4e00-\u9fa5]",File_name_lst[i]) #采用正则表达式,提取文件名中的中文字符。
run = p.add_run(fig_txt)
document.add_page_break()
document.save('result.docx')

os.walk(path)是浏览路径下的所有的文件夹、文件名和文件路径等。

将获取的文件路径和文件名保存在Filelist和File_name_lst中。

以下图片是从./figs路径中获取到的所有图片路径和图片名。

读取的图片路径和图片文件名

document = Document() #实例化Document 实例化类
document.add_heading('四川省统计局2-11月统计数据', 0) 首先向文档中添加标题

由于docx模块向文档中添加的图片默认是左对齐,因此采用以下代码将图片居中对齐。

#添加图片
document.add_picture(Filelist[i], width=Inches(5))
#-----以下代码用来将图片居中----------#
last_paragraph = document.paragraphs[-1]
last_paragraph.alignment = WD_ALIGN_PARAGRAPH.CENTER # 图片居中设置
docx添加的题图默认是左对齐。添加的段落文字居中对齐采用以下方法实现:
document.styles['Normal'].font.name = u'黑体'
p = document.add_paragraph()
p.paragraph_format.alignment = WD_ALIGN_PARAGRAPH.CENTER
fig_txt = re.findall(r"[\u4e00-\u9fa5]",File_name_lst[i]) #采用正则表达式,提取文件名中的中文字符。
run = p.add_run(fig_txt)

以上是将图片和文字居中对齐的方式,代码的具体原理不是很清楚。均参考网络相关案例。

报告中为了指明每一张图具体代表统计什么信息,必须在图片下方添加题图。

题图来自于每一张图片的文件名。采用正则表达式提取文件名中的中文信息。

例如某张图的文件名为:fig_0_工业增加值.png,题图需要提取其中的中文信息为:工业增加值。

采用正则表达式匹配计算器进行计算。

正则表达式匹配计算器

5.最终生成的word文档如下所示

生成的报告图

6. 结论与展望

6.1 采用python对数据进行处理有天然的优势,主要采用的python的硬核数据处理模块pandas,对横列轴的数据提取非常快速方便。

6.2 使用Matplotlib库对数据进行绘图比较方便。

6.3 自动生成word文档采用的是docx库,该模块对新手非常友好,但是需要更进一步优化文档需要耗费很多功夫,当然这是由于生成一个漂亮的word文档也很难。

以上。