一、环境准备Python版本：3.5编辑器：Pycharm数据库：MYSQL二、python代码 目前该代码只是一个实现思路，由于搜狗验证码的问题，导致爬取的时候可能IP会被限制，一种思路是使用代理IP来避免验证码的问题，一种就是识别验证码(实现起来有难度)，这份代码是将文章爬取下来以HTML格式存储在本地，如果你需要解析到数据库只需要解析本地的HTML文件即可，这一步比较简单，没做了，
转载
2023-12-18 17:20:13
143阅读
前段时间，需要在微信上的一个公众号进行登陆、并进行公众号内的操作。这篇文章主要记录通过两种方式进行模拟登陆并操作该公众号，分别为selenium以及requests两种方式。前期准备工作1. 利用fiddler进行手机代理的设置由于手机查看请求不方便，因此利用fiddler进行手机代理的设置，从而在电脑端的fiddler获取到手机所有对外发起的请求，具体设置步骤如下： 1>设置fiddler
10 行代码就能把公众号文章评论爬下来，有点耸人听闻？如果我跟你说是用 Python 实现的，你可能会信了，因为 Python 确实很强大，写个简单爬虫真的只要几行代码就可以搞定，这次爬的是微信的数据，相对来说要麻烦一点。这里讨论的是如何爬自己公众号下面文章的评论，有人说别人文章能抓取吗？理论上都可以，但凡是你能看到的都可以爬，不过，这篇文章讨论的是自己文章，思路都是相通的，希望本文可以给你一些启
转载
2023-09-05 14:38:14
193阅读
前言无论是新方案还是旧方案, 获取公众号文章列表, 获取阅读点赞, 获取评论等接口可以通过抓包来获取以上接口都是需要授权的, 授权参数主要有一下几个uin : 用户对于公众号的唯一ID, 本来是一个数字, 传的是base64之后的结果key : 与公众号和uin绑定, 过期时间大概是半小时pass_ticket: 另外一个验证码, 与uin进行绑定req_id: 在文章里HTML里, 每次请求会不
转载
2023-10-09 13:22:29
96阅读
很多的微信公众号都提供了质量比较高的文章阅读，对于自己喜欢的微信公众号，所以想做个微信公众号爬虫，爬取相关公众号的所有文章。抓取公众号的所有的文章，需要获取两个比较重要的参数。一个是微信公众号的唯一ID(__biz)和获取单一公众号的文章权限值wap_sid2。接下来说一下思路。爬取思路： 要想获取微信公众号的爬虫，首先要唯一标识这个微信公众号，所以要获取这个微信公众号的id值(即__biz)。看
转载
2024-05-12 21:56:40
505阅读
"""
通过搜狗搜索中的微信搜索入口爬取微信公众号文章(selenium)
"""
import re
import os
import json
import time
import requests
from pyquery import PyQuery
from urllib.parse import quote
from selenium import webdriver
cl
转载
2024-09-14 22:13:20
702阅读
下载地址长期有效此工程的源码已上传到码云。GIT进行版本管理可下载https://github.com/Chyroc/WechatSogou.git使用方法》温馨提示基于搜狗微信搜索的微信公众号爬虫接口搜狗搜索还有一个非常重要的功能就是对接微信接口。这也是爬虫获取微信文章/公众号的主要途径之一。根据我在网上找到的信息，除了网页接口》使用方法pip install wechatsogou --upg
原创
2020-12-29 14:15:41
733阅读
# 使用Java实现微信公众号爬虫指南
微信公众号爬虫是一项常见的网络数据抓取任务，可以帮助我们获取公众号的文章信息、用户互动等。对于刚入行的小白开发者来说，了解整个流程和具体实现步骤非常重要。本文将带你一步步走过实现“Java微信公众号爬虫”的全过程。
## 整体流程
在开始之前，先来看一下我们需要遵循的步骤：
| 步骤 | 操作
原创
2024-08-30 07:40:57
87阅读
hello，小伙伴们，大家好，今天给大家分享的开源项目是微信公众号爬虫，感兴趣的朋友可以参考一下这个开源项目，看看是否可以给你提供一个新的思路。项目简介基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫安装pip install wechatsogou --upgrade使用import wechatsogou
# 可配置参数
# 直连
ws_api = wechatsogou
转载
2024-10-29 09:46:42
105阅读
接着上一篇没完成的爬虫工程，继续更新最终的代码片段 最近一直在忙没时间更新文章的下一篇，正好这几天有时间，把代码重新调整了一下，更新了里面的细节，在调整代码中发现了许多问题，主要一个就是ip代理的质量不行，哪里不行呢，往下看就知道了。 三、获取每篇文章的阅读量，点赞量想要获取文章的阅读量，在微信公众平台里面直接点击，是获取不了文章的阅读量的，测试如下： 然后我们可以去fiddler里面查看这篇文
转载
2023-12-04 22:31:00
375阅读
``` response_msg(); } } private function response_msg() { $postArr = $GLOBALS['HTTP_RAW_POST_DATA']; $postObj = simplexml_load_string($postArr); if (strtol...
原创
2021-08-05 15:33:15
252阅读
有时候公众号文章需要进行整理分析，要把所有文章的链接整合起来还真不是一个容易的事情！手动整理固然简单，但文章数量多起来整理还真不是一件容易的事情。这个时候我们可以用到神器Python，定制爬虫的指定“装备”！我们知道，微信公众号的文章链接都是做了隐藏的，一般爬虫无法抓取，我们应该怎么办呢？没有真实链接我们需要通过抓包提取公众号文章的请求的 URL，此次我们以Charles为例子，勾选抓取电脑请求，
转载
2024-02-05 20:23:37
395阅读
项目结构1.糗事百科爬虫：Pthon实现，MySQL做持久化存储2.用免费的新浪SAE云搭建微信公众号的服务器3.微信公众号部分 &nb
转载
2024-08-31 20:00:03
41阅读
微信公众号信息的爬取1.Selenium库来获取源码打开搜狗微信，在搜索框中输入“南中医青年”，这里就搜索到了南中医青年发布的公众号文章结果 但是在浏览器中复制浏览器地址后再度输入，界面会在“搜索公众号界面”，而非“搜索文章”界面，因此我利用Selenium库模拟输入“南中医青年”，点击“搜索公众号文章”来获得目标内容。browser = webdriver.Chrome()
browse
转载
2023-08-16 16:12:14
274阅读
结果如下： 开发语言： PHP 5.X源码下载地址： 类名：WeChatWeChat类定义在文件jostudio.wechat.php中， 此处只讲其使用。（感兴趣的同学，可以看源代码注释） 用这个类实现的一个公众号，例程文件 wx.php <?php
//包含类文件
include_once 'jostudio.wechat.php
当然如果没有，也可以去申请一个测试号来使用，地址：https://mp.weixin.qq.com/debug/cgi-bin/sandbox?t=sandbox/login申请成功后，你会得到一个appID 和 appsecret，这个就相当于你的开发者账号和密码。开发模式如下图：1、Access_Token的获取对于这个access_token就是一个访问标识，其实不用想得太高深，它就好比是你
转载
2023-08-25 16:45:30
18阅读
前言如今铺天盖地的安利 Python ，虽然有着“人生苦短，我用 Python”一说，但我还是想在「爬虫」这方面支持一下我大 Java（好吧，其实自己折腾一番，还是写着 Java 舒服，平时写 python 还是少）一、抓包关于手机抓包（这里指 Android 手机），推荐使用 Fiddler 工具来抓包，Fiddler 自行去下载。划重点：请确保电脑和手机连接在同一局域网的同一个 WiFi，别又
转载
2023-11-22 19:20:36
394阅读
最终解决方案通过搜狗微信先检索公众号，获取公众号主页链接，接着爬每一篇具体文章，具体用selenium实现，当然你也可以用webkit、Geoko渲染引擎自己去渲染。用selenium、webkit、Geoko能省去分析网页Js Ajax部分加载逻辑。关于selenium的一些常用操作，后续抽个时间单独写一篇博文儿～。一般公司内部会部署自己爬虫平台，通过代理池能最终解决此问题，当然也可以用免费开源
转载
2023-09-04 12:28:33
58阅读
因为朋友问我能不能找一下一个微信公众号的全部历史文章的链接，我就帮他弄了一下，通过百度和谷歌发现现在大家爬微信公众号的思路基本都是下面两种：通过搜狗搜索微信公众号然后拿到链接通过fiddler检测手机微信拿到链接。经过考虑，首先放弃了搜狗，因为初步看了一下搜狗的公众号搜到的那里只有前十篇文章的链接。下面说一下我这次的思路。思路我在尝试抓取手机微信上的公众号的历史链接时，无意中发现，使用电脑上的微信
转载
2024-02-05 19:57:09
106阅读
微信公众号数据的采集有两个途径： 1，搜狗微信：因为搜狗与微信有合作，所以可以用搜狗微信进行采集；这个一个公众号只能采集最新的10条，要是获取历史文章就捉襟见肘了。而且要注意爬取频率，频率高会有验证码，这个平台只能进行小数据量的采集，不推荐。 2，微信公众号平台：这个微信的官方公众号平台，首先得申请公共号(因为微信近期开放了在公众号中插入其他公众号链接的功能，这样才
转载
2024-01-20 16:52:27
84阅读
