Python论文结课 python结课设计报告

转载

mob64ca141834d3 2023-11-23 20:41:24

文章标签 Python论文结课 python编程成果词云 python CSV 文章分类 Python 后端开发

20192221 2019-2020-2 《Python程序设计》实验四报告

课程：《Python程序设计》

班级：1922班

姓名：程子轩

学号：20192217

实验教师：王志强

实验日期：2020年5月25日

必修/选修：公选课

实验内容选择

Python综合应用：爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。

1.实验内容

爬取bilibili热门视频《后浪》中的弹幕，保存数据至Excel以及csv文件中，并声称词云(可视化)

2.实验过程及结果

实验分析：

爬数据——存文件——做词云

1.找到弹幕对应的网页api(F12，然后找list.so?oid)

2.获取我们需要的信息

requests.get → 解码 → 正则表达式提取(这里没必要使用beautifulsoup，故没用了)

3.存入CSV文件和XLS文件中

CSV：先建一个CSV文件，然后逐条写入

xls：直接创建一个workbook和worksheet，然后逐条写入(因为太多了，所以我只存了前500条)

4.制作成词云

先打开CSV文件，作为统计数据来源 → 用jieba库做分词处理 → 打开原图片，作为你的框架

→ 设置生成词云的参数(颜色、字体等等) → 加入词语，保存图片文件

5.源代码

import requests
import re
import csv
import jieba
import wordcloud
import PIL.Image as image
import numpy as np
import xlwt
r = requests.get(url)
html = r.content.decode('utf-8')
res = re.compile('(.*?)')
barrage = re.findall(res, html)
for i in barrage:
with open('./后浪弹幕.csv', 'a', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
danmu = []
danmu.append(i)
writer.writerow(danmu)
print("save in excel...")
workbook = xlwt.Workbook(encoding="utf-8",style_compression=0)
worksheet = workbook.add_sheet('《后浪》弹幕情况',cell_overwrite_ok=True)
col = ("弹幕情况",)
worksheet.write(0,0,col[0])
for i in range(0,500):
data = barrage[i]
worksheet.write(i+1,0,data)
workbook.save('后浪弹幕.xls')
print("文件写入成功！")
def showPic():
f = open('./后浪弹幕.csv',encoding='utf-8')
txt = f.read()
txt_list = jieba.lcut(txt)
# print(txt_list)
string = " ".join(txt_list)
print(string)
#img = np.array(image.open('./bilibili.jpg'))
img = np.array(image.open('./bili.jpg'))
w = wordcloud.WordCloud(
width=1000,
height=700,
background_color='white',
font_path='msyh.ttc',
mask=img,
scale=15,
stopwords={' '},
#contour_color='white',
#contour_width=10,
)
w.generate(string)
w.to_file('./demo5.png')
f.close()
down_danmu()
showPic()

7.成果展示：

5. 实验过程中遇到的问题和解决过程

1.最大的问题，至今仍未解决：此段代码运行一段时间后电脑会卡死，初步排除内存、CPU过载的问题，但是究竟是什么原因仍无法找到。

2.一开始词云里面全是乱码，通过查很多资料才发现在打开CSV文件时要加上编码。

3.from pycharts import wordcloud时 wordcloud一直标红，后来发现wordcloud已经挪出来了，直接import wordcloud

其他(感悟、思考等)

课程总结：

这学期python课除了python的基础语法外，我们还初步学习了数据库操作、网络编程、网络爬虫、办公初步自动化等，可谓是内容丰富，

其中更是加入了大量自学内容，对我们的自学能力提升很有帮助，也激发起了我对开发的兴趣。我还了解到python的功能强大，并打算在

人工智能方面下点功夫研究。相信在未来的学习中，python将会是一个很好地工具，助力我前行。英语打卡加分也是个惊喜吧，这也给了

我打卡的动力，免得像上学期总是懒。

感想体会：