网络爬虫作为一种计算机技术就决定了它的中立性，爬虫本身在法律上并不被禁止，但是如果有一些别有用心的人，去使用爬虫做一些违法的事情，那就违法了。爬虫本无罪，有罪的是贪得无厌、险恶的人心。正如水果刀本身在法律生并不被禁止，但你用来杀人，就等着坐牢吧！尽管在过去 20 年间已经做出了诸多相关裁决，不过网络爬虫及其使用时法律所允许的内容仍然处于建设当中。如果被抓取的数据用于个人用途，且在合理使用版权法的情
转载
2023-05-31 09:43:36
255阅读
一、背景介绍近期有需求需要抓取微信小程序中的数据分析，与一般的网页爬虫类似，主要目标是获取主要的URL地址进行数据爬取，而问题的关键在于如何获取移动端request请求后https加密的参数。本文从最初的抓包到获取URL、解析参数、数据分析及入库等，一步步进行微信小程序的数据爬取。此次爬取的目标是微信小程序“财神股票”中的已受理科创版公司名单数据，如下：注：抓包、分析、爬取等全过程几乎通用于微信小
转载
2023-06-29 15:15:25
157阅读
前言 今天看到一篇好玩的文章，可以实现微信的内容爬取和聊天机器人的制作，所以尝试着实现一遍，本文记录了实现过程和一些探索的内容itchat安装 我这里使用的是Python2.7，所以直接按照说明pip 安装itchat即可 1.实现给文件助手发消息 安装itchat后，使用如下的代码，即可给文件助手发一条消息，登陆时同样使用扫码登陆 import itchat
itchat.auto_lo
转载
2023-08-22 11:28:44
134阅读
python+appium爬取微信运动数据，并分析好友的日常步数情况 目录python+appium爬取微信运动数据，并分析好友的日常步数情况前言一、准备二、爬取数据思维导图（爬取逻辑）第一步：连接手机第二步：元素定位第三步：编写代码三、数据分析第一步、数据预处理第二步、数据探索性分析第三步、数据可视化第四步、结论写在最后 前言微信运动只能看到前30天的数据，超过的会过期而拿不到，我也是现在才知道
转载
2023-08-14 23:06:56
614阅读
看到一篇有意思的博客 利用微信开放的接口itchat 可以获取登录的微信好友信息 并且利用图像工具显示分析结果 非常的有意思 记录下实现过程 并提供可执行代码首先要 import itchat 库 这个是微信开源的一个接口 用于登录微信并且查看账户里好友信息服务的2种导入方法 都可以快速下载库1.在cmd里可以直接 pip3 install itchat &nb
转载
2023-11-17 16:03:51
89阅读
实现这一个功能主要用到了selenium、mitmproxy和wechatarticles，利用selenium可以实现脚本模拟浏览器访问，mitmproxy配合wechatarticles获取文章信息。 参考文章：python爬取微信公众号文章（包含文章内容和图片）记一次微信公众号爬虫的经历（微信文章阅读点赞的获取）微信公众号文章全自动采集（使用mitmproxy抓包，然后用pywinaut
转载
2023-09-04 22:49:59
0阅读
# 使用Python爬取微信数据的探究
在如今的信息时代，微信作为一个广泛使用的社交平台，承载了大量的用户数据与互动内容。通过编程技术，尤其是使用Python，我们可以对微信数据进行爬取和分析。本文将介绍如何使用Python爬取微信数据的基本方法，并附上代码示例以及状态图的说明。
## 什么是数据爬取？
数据爬取是指通过编程手段，从互联网上自动提取信息的过程。它在数据分析、竞争情报、自然语言
一.场景简介1.场景描述：通过搜狗采集微信公众号的文章2.入口网址：https://weixin.sogou.com/weixin?type=1&s_from=input&query=%E5%89%8D%E5%97%85&ie=utf8&sug=n&sug_type= 3.采集内容：采集搜狗微信平台中，关键词搜索出来的微信公众号文章的标题、正文、作者、公众号
开发工具python版本 ： 3.6.4相关模块： pdfkit模块； requests模块； 以及一些Python自带的模块。抓包工具： fiddler环境搭建python 环境 安装Python并添加到环境变量，pip安装需要的相关模块即可。fiddler 环境 去官网下载最新版本的安装包直接安装。fiddler官网
原理简介首先，我们打开fiddler这个抓包软件，其界面如下： 然后，我们设
转载
2023-11-01 16:38:30
1083阅读
一、爬取微信好友信息，返回性别比例和所在地排行 # -*- coding: utf-8 -*-
#导入模块
from wxpy import *
#初始化微信机器人，以缓存模式登录
robot = Bot(cache_path=True)
#获取好友、群、公众号信息
robot.chats()
#获取好友的统计信息
Friends = robot.friends()
print(
转载
2023-06-30 12:10:23
472阅读
使用 Fiddler 抓包分析公众号打开微信随便选择一个公众号，查看公众号的所有历史文章列表 在 Fiddler 上已经能看到有请求进来了，说明公众号的文章走的都是HTTPS协议，这些请求就是微信客户端向微信服务器发送的HTTP请求。模拟微信请求 1、服务器的响应结果，200 表示服务器对该请求响应成功2、请求协议，微信的请求协议都是基 于HTTPS 的，所以Fid
转载
2023-10-31 23:16:42
618阅读
最近突然想到一个需求，我们可以将微信运动提取出来，比如一个月时间内的，好友的排名并画图，推出一个类似的功能动态生成会不会有市场呢，哈哈，程序员YY下。 首先想到的就是先将微信运动的界面截图，然后通过OCR将里面的微信名和步数都提取出来。微信运动的截图如下(老是提示截图上传失败，哈哈，放弃了) 此时，拿到一张截图后，我们应该怎么处理这张图呢 代码非常简单，直接使用easyocr这个轮子，就能初次将截
转载
2023-08-26 18:56:12
283阅读
一、爬虫本身不违法，说白了就是用机器自动获取数据。大数据分析爬虫用得多了去了。关键看你弄什么数据，以及是否贩卖敏感数据。百度谷歌说白了就是爬虫，多看些网站的robot协议。二、以下属于违法：1.爬取数据商业化，例如爬取某家公司的内部信息转手卖了，这是不行的，属于侵犯知识产权 2.还有是爬取一些敏感信息，比如机关单位、个人信息（手机号、身份证、邮箱）等。 3.高并发请求导致别人服务器崩溃，属于攻击范
转载
2023-08-03 13:56:19
63阅读
把这俩参数作为HEAD传递了，没有GET了。
原创
2022-12-13 11:40:00
162阅读
# 如何用Python爬取微信小程序的数据
在这个互联网时代，数据的获取变得至关重要。而如今，微信小程序作为一个日益流行的应用平台，拥有丰富的数据资源。如何借助Python爬取这些数据呢？本文将为你提供一个全面的指导，帮助你从基础了解爬取的全过程。
## 整体流程
我们可以将爬取流程分为以下几个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 分析小程序的数据接口
原创
2024-10-14 04:08:17
482阅读
【爬取动态页面的数据】更新：已上传到我的GitHub上，点击打开链接上一次讲到用工具对动态页面进行数据爬取，但是感觉难度不小，而且运行效率简直低下。。。于是乎从网上查资料，有好多说可以通过获取网站的json数据来进行动态页面爬取，然后我就找到气象数据权威——中央气象台的官网（http://www.nmc.cn/），开始数据的爬取。然后怎么去找这个json数据呢？在后台开着抓包软件Fiddler的情
转载
2023-10-09 16:38:12
254阅读
# Python爬取数据库数据实现流程
## 1. 确定要爬取的目标数据库
在开始之前，首先需要明确要爬取的目标数据库是什么类型的。常见的数据库类型包括MySQL、Oracle、SQL Server等，每种类型的数据库都有相应的Python库可供使用。本文以MySQL为例进行讲解。
## 2. 安装所需的Python库
在开始爬取数据库数据之前，我们需要安装相应的Python库来连接和操作
原创
2023-10-17 16:38:05
248阅读
# Python爬取微信备注的科普文章
在数字化的信息时代，社交媒体的使用已经变得越来越普遍。微信作为中国最受到欢迎的即时通讯应用之一，其中的用户信息也成为许多开发者和数据分析师的目标。在这篇文章中，我们将讨论如何使用Python爬取微信备注信息，并提供相应的代码示例。
## 1. 了解微信备注信息
微信备注是指用户在微信中，对联系人设置的自定义标签。在日常使用中，这些备注能够帮助用户更好地
原创
2024-08-03 07:09:43
169阅读
# Python爬取微信读书
## 1. 简介
微信读书是一款流行的在线阅读应用，用户可以通过微信读书平台获取并阅读各种书籍。本文将介绍如何使用Python爬取微信读书的内容，并展示一个简单的爬虫示例。
## 2. 准备工作
在开始之前，我们需要安装以下依赖库：
- requests：用于发送HTTP请求，获取网页内容。
- BeautifulSoup：用于解析HTML文档，提取所需信息
原创
2023-09-05 03:20:42
3796阅读
Python爬微信好友头像，性别，所在地区 本文适合新手（有一定基础的小白） 今天没事，用的网页版微信，于是看源码心理作怪，F12打开，研究了一下，结果发现/斜眼笑/斜眼笑/斜眼笑再加上，没事干，（大家有好工作求介绍，本人待就业），Python也很久没弄了，于是（说干就干） 打开Python &nb
