在抓取网页时，某些网站会有封ip的现象，所以选择利用代理伪装我们的ip进行爬虫请求，但进行爬虫时可能需要很多ip，这时就要求维护一个代理池（池也就是代理队列），可放进代理，也可取出代理。我就选择的崔庆才老师维护的代理池，是用Flask和Redis维护的一个代理池。代理池设计思路1.从各大网站获取免费的有用代理2.用Redis来维护池的队列存储3.维护
wireshark抓tcp三次握手四次挥手包首先大家要连接，tcp建立连接的过程是我们要了解的，了解了之后才能传送数据嘛。大家要搞清除过程才行，在我前面的博客具体的讲了怎么样建立的，这里只讲抓包。链接：抓包过程打开服务器#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <
转载
2024-04-03 11:14:53
37阅读
python之微信推送详解用什么推送 -邮件 -微信推送 -短信推送微信推送 -公众号(不能主动给用户发消息) -认证的公众号:需要营业执照,需要交钱,可以发多篇文章 -未认证的公众号:一天只能发一篇文章 &nb
是1 2年前做的了 现在应该有点不一样了。发出来记录参考：https://cuiqingcai.com/4652.htmlhttps://www.chenwenguan.com/wechat-browse-automation/#comment-114目前使用的爬取单个公众号的办法：通过电脑登录微信，使用fiddler抓包工具抓取https包信息，去构造翻页参数等数据来爬取全部的文章。该方法不会被
转载
2024-01-29 21:50:11
114阅读
几种常见网络抓包方式介绍一、网络分流器（TAP）二、有网管功能的小交换机三、用两块网卡的Linux方案四、总结 无论作为网络运维人员，还是安全渗透工程师，在工作中都会无可避免地碰到网络抓包的需求。对网络运维人员，网络抓包可以：定位网络里的异常设备；排查网络性能瓶颈；了解真实的网络互联状态。对安全渗透工程师，网络抓包可以：有助于逆向分析联网型App；从真实流量中发现可利用的漏洞；定位可能的网络后门
转载
2024-08-29 22:27:20
60阅读
go单机压力测试压测go单机时，采用了2台同规格的8核16G服务器作为发起压力的A机，A机使用Jmeter工具发起压力请求。1台同规格的8核16G服务器作为接受压力的B机。此外，由于登录接口会使用用户code来调用腾讯的openid接口，但是目前只有几个用户code，因此无法模拟不同的用户海量登录，故此次测试采用了1台同规格的8核16G服务器作为C机来模拟腾讯openid接口以供B机的调用。测试时
本文实例讲述了PHP配合fiddler抓包抓取微信指数小程序数据的实现方法。分享给大家供大家参考，具体如下：这两天研究了下微信指数这个东西。要抓取呢，按照一般思路的话，那就是使用fiddler抓取手机包，然后进行分析获取地址然后请求就可以了。这么想你是没错，如果你果断这么做了，那就是too yang too simple了。大家可以看下，微信抓取有以下几个步骤：1、开始登陆小程序2、获取访问需要的
转载
2024-08-01 15:36:23
172阅读
1.关键信息：一般在群中，有以下几种聊天内容： 1、官方信息。 2、关键人发言（一般为群主，群里管理人 和 自己关注的人）。 3、精彩的讨论内容。2.查找信息：我们在看一些群聊天时，看到他们聊得很嗨，自己却插不上嘴，不知道对方在说什么，或者觉得和自己没有关系，就不管了（要尽量参与进去，不然你加这个群是为了什么呢）。这时，我们就可以运用 “查找” 了。不过我们首先要知道群里，现在的聊天模式是什么，一
转载
2023-10-19 11:06:11
604阅读
# 使用 Python 抓取企业微信的基本方法
企业微信是一款专注于工作场景的即时通讯工具，广泛应用于企业内部沟通与协作。对于需要获取企业微信中信息的开发者来说，Python 提供了便捷的抓取方式。本文将通过示例代码、使用步骤以及注意事项来介绍如何利用 Python 抓取企业微信数据。
## 一、准备工作
在开始之前，确保你已经具备以下条件：
1. **安装 Python 环境**：确保你
1.说明本文将使用CoAP协议来对接华为OC平台，使用的通信模组是ESP8266，如果使用NB-IOT来对接华为OC平台简单很多，因为NB-IOT的设备标识符在平台绑定，那么使用几个AT指令即可完成华为OC平台的对接和发送数据。小熊派的官方教程有很多关于对接华为OC平台的例子，只需要移植和调用一个函数即可，这里我主要想探讨使用串口来对接华为OC平台(找事做)，主要是对CoAP有更好的理解。 本文关
转载
2024-10-01 10:11:49
145阅读
基础原理【问题背景】在Web应用开发中，经常会需要获取客户端IP地址。一个典型的例子就是投票系统，为了防止刷票，需要限制每个IP地址只能投票一次。【如何获取客户端IP】在Java中，获取客户端IP最直接的方式就是使用request.getRemoteAddr()。这种方式能获取到连接服务器的客户端IP，在中间没有代理的情况下，的确是最简单有效的方式。但是目前互联网Web应用很少会将应用服务器直接对
本文实例讲述了Python爬取个人微信朋友信息操作。分享给大家供大家参考，具体如下：利用Python的itchat包爬取个人微信号的朋友信息，并将信息保存在本地文本中思路要点：1.利用itchat.login()，实现微信号的扫码登录2.通过itchat.get_friends()函数获取朋友信息代码：本文代码只获取了几个常用的信息，更多信息可从itchat.get_friends()中取#获取个
转载
2023-07-04 01:20:38
438阅读
1. Scrapy是什么？ 2. 如何安装Scrapy? 2. 如何构建一个简单的spider？ 3. 如何解析HTML？ 4. 如何写入数据库？ 关于Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 安装Scrapy 1. 需要安装
原创
2014-11-02 16:48:32
3355阅读
1评论
# 如何使用Python抓取微信评论
## 简介
在本文中，我们将学习如何使用Python来抓取微信评论。作为一位经验丰富的开发者，我将会指导你完成这个任务。首先，我们需要了解整个流程，然后逐步实现每个步骤。
## 流程步骤
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 登录微信开发者平台获取评论数据 |
| 2 | 使用Python请求评论数据 |
| 3 | 解析评
原创
2024-06-04 04:44:52
517阅读
TCP/IPTCP/IP体系的分层特点•TCP/IP开始仅仅是两个协议：TCP(Transfer Control Protocol，传输控制协议)和IP(Internet Protocol，网际协议)；后来，TCP/IP演变为一种体系结构，即TCP/IP参考模型。现在的TCP/IP已成为一个工业标准的协议集，它最早应用于ARPAnet。•与OSI参考模型不同，TCP/IP模型由应用层(Applic
转载
2024-07-29 20:25:30
194阅读
关于我尝试抓包微信失败后想到的新方法居然和奥特曼有关~以前 微信网页版 还可以登录的时候，我们还可以使用 python 帮助我们实现 自动化操作，调用各种各样的 API ，做做机器人啥的 ，但是现在呢~ 微信网页版 好像不开放了?扫码登录都会出现下面的画面 ?来到之前 很火的 python 库 wxpy， 我看到下面这个场景， 果然也是一片哀嚎 哈哈哈wireshark 抓包于是我做了个大胆的决定
使用 Fiddler 抓包分析公众号打开微信随便选择一个公众号，查看公众号的所有历史文章列表 在 Fiddler 上已经能看到有请求进来了，说明公众号的文章走的都是HTTPS协议，这些请求就是微信客户端向微信服务器发送的HTTP请求。模拟微信请求 1、服务器的响应结果，200 表示服务器对该请求响应成功2、请求协议，微信的请求协议都是基 于HTTPS 的，所以Fid
转载
2023-10-31 23:16:42
613阅读
01 前言+展示各位小伙伴我又来啦。今天带大家玩点好玩的东西，用Python抓取我们的微信好友个性签名，然后制作词云。怎样，有趣吧~好了，下面开始干活。我知道你们还是想先看看效果的。 后台登录： 词云： 02 环境准备Python版本：3.6.0系统平台：Windows 10 X64IDE：pycharm相关模块：re模块；itchat模块；jieba模块；import matplot
转载
2023-09-22 09:08:58
195阅读
之前虽然做过网页爬取，但微信爬取一直没做过，因为我一直不知道网页可以进微信公众平台，只用过微信客户端进微信公众号。既然可以通过网页进微信公众平台，那么爬取微信公众号文章就流程上就没太多难度了。 自己在网上找的一些python爬虫文章不太好用，就亲自写了一套，包括详细的页面附图和代码注释，代码复制下来后可以直接运行，供需要的同行参考交流。&nbs
转载
2023-07-15 19:26:00
272阅读
微信公众号存在不少精彩的文章，如果善于挖掘，可以得到不少的收获。但由于微信对PC端的支持并不友好，虽然有搜狗搜索可以用，但其结果仍然不全，一些公众号发的不是文章类型的只是一段话，搜狗就不收录。想要得到一个账号所有的文章，还是要从爬虫着手。网上对于微信公众号文章爬取的方法几乎没有介绍，不过有几个网站，比如传送门就做出来了。这就告诉我们这个目标是可以达到的。废话不多说，直入主题。 要想得到一个公众号发
