一、Pyhton爬虫+Fiddler抓包实时监控朴朴
解题思路描述:
1、启动Fiddler配置证书.
2、电脑登入微信启动扑扑app
3、分析url+请求头用python模块对数据对其进行解析.
4、扑扑超市实时价格波动监控设计实现过程
5、Gitee推送
- 运行效果:
二、Pyhton爬虫知乎收藏夹
解题思路描述:
1、查找相关内容与需要的数据
2、python创建请求头响应数据核对数据正确性
3、获取收藏夹内子文件的url
4、提取需要的响应数据处理数据
爬取中遇到的问题:处理中呈现的问题:爬虫是在两年前学的,python可以有很多种数据提取的方法,但是很久没有去写过爬虫了,所以我印象中只剩下一个xpath,不知道是不是版本的原因,插件能提取到的数据到pycharm里面竟然没办法呈现出来,最终处理了一天也没显示出数据
5、Gitee推送
解题思路描述:
1、寻找需要的主数据
2、pycharm中处理数据获取响应
3、对数据进行爬取并解析处理
4、用pycharm中的模块将数据转换成表格
5、将表格转换成柱状图
6、Gitee推送
五、总结
相比之前的实验本次的实验更具有挑战性,难度也相对第一次的难,本次实验让我回顾了之前学习的爬虫的些许知识,因为时间过于长所以记忆中的东西并不是很多,本次实验感觉到pycharm相对之前安装模块比较麻烦,因为版本的更新加上新下载的pycharm里面模块装的位置并不是对的让我感到很繁琐。
本次实验花费了大量的时间但也不是什么都没有收获,至少之前的知识相对的拾起了部分。本次实验的收获很大。