一、Pyhton爬虫+Fiddler抓包实时监控朴朴

解题思路描述:

1、启动Fiddler配置证书.

2、电脑登入微信启动扑扑app

3、分析url+请求头用python模块对数据对其进行解析.

4、扑扑超市实时价格波动监控设计实现过程

python 二次规划 机器学习 python第二次作业_推送

5、Gitee推送

  • 运行效果:

二、Pyhton爬虫知乎收藏夹

解题思路描述:

  • 1、查找相关内容与需要的数据

  • python 二次规划 机器学习 python第二次作业_python_02

     

  •  
  • python 二次规划 机器学习 python第二次作业_推送_03

     

     

  • 2、python创建请求头响应数据核对数据正确性

  • python 二次规划 机器学习 python第二次作业_python_04

     

  •  
  • python 二次规划 机器学习 python第二次作业_数据_05

     

     

  • 3、获取收藏夹内子文件的url

  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_06

     

     

  • 4、提取需要的响应数据处理数据

  • python 二次规划 机器学习 python第二次作业_数据_07

     

     爬取中遇到的问题:处理中呈现的问题:爬虫是在两年前学的,python可以有很多种数据提取的方法,但是很久没有去写过爬虫了,所以我印象中只剩下一个xpath,不知道是不是版本的原因,插件能提取到的数据到pycharm里面竟然没办法呈现出来,最终处理了一天也没显示出数据

  • python 二次规划 机器学习 python第二次作业_python_08

     

  •  
  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_09

  •  

     

  • 5、Gitee推送

  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_10

     

     

三、Pyhton爬虫拉勾网

解题思路描述:

  • 1、寻找需要的主数据

  • python 二次规划 机器学习 python第二次作业_数据_11


  •  

     

  • 2、pycharm中处理数据获取响应


  •  

     

  • python 二次规划 机器学习 python第二次作业_python_12

     

     

  • python 二次规划 机器学习 python第二次作业_推送_13

     

     

  • 3、对数据进行爬取并解析处理

  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_14

     

     

  • 4、用pycharm中的模块将数据转换成表格

  • python 二次规划 机器学习 python第二次作业_python_15

     

  •  
  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_16

     

     

     

  • 5、将表格转换成柱状图

  • python 二次规划 机器学习 python第二次作业_推送_17

     

     

  • python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_18

     

     

  • python 二次规划 机器学习 python第二次作业_数据_19

     

     

  • python 二次规划 机器学习 python第二次作业_python_20

     

     

  • 6、Gitee推送

  • python 二次规划 机器学习 python第二次作业_推送_21

     

     

四、Gitee仓库

python 二次规划 机器学习 python第二次作业_python_22

 

 

python 二次规划 机器学习 python第二次作业_python 二次规划 机器学习_23

 

python 二次规划 机器学习 python第二次作业_推送_24

 

 

 

五、总结

  相比之前的实验本次的实验更具有挑战性,难度也相对第一次的难,本次实验让我回顾了之前学习的爬虫的些许知识,因为时间过于长所以记忆中的东西并不是很多,本次实验感觉到pycharm相对之前安装模块比较麻烦,因为版本的更新加上新下载的pycharm里面模块装的位置并不是对的让我感到很繁琐。

  本次实验花费了大量的时间但也不是什么都没有收获,至少之前的知识相对的拾起了部分。本次实验的收获很大。