前言本文为作者对其开源项目QQSpider的说明文档。主要替换了程序里一些不可用的，对登录时的验证码作了处理，对去重队列作了优化。并且可以非常简单地实现分布式扩展。Github项目名称：QQSpider 使用说明 1、启动前配置：需要安装的软件：python、Redis、MongoDB（Redis和MongoDB都是NoSQL，服务启动后能连接上就行，不需要建表什么的）。需要安装的Py
转载
2024-08-26 00:38:02
120阅读
文章目录前言一、方法的选择二、通过QQ空间获取好友信息三、通过QQ查找获取好友信息 前言关于写这篇文章我做了很多工作，想了很多办法，尝试过QQ邮箱、QQ空间、QQ查找抓包，最终也没有选出一个好方法，不能爬下完全的数据，但能尽可能的爬下多的数据 包括昵称、网名、分组、年龄、地址看一下效果提示：以下是本篇文章正文内容，下面案例可供参考一、方法的选择首先我们先看一下如果通过QQ邮箱能获取什么数据，如果
转载
2023-12-04 19:05:49
45阅读
刚学了一点爬虫的时候，就想着去爬一下空间说说，后来在打印源码的那一步就卡住了，没有一点点防备，也没有一丝顾虑，我就这样被他拒之门外。毫无疑问这个想法瞬间就被扼杀了，完全不知道打印出来的源码为什么一点空间的内容都没有，到了现在才知道，他的反爬虫不是一般的复杂（这里超级想吐槽一下QQ空间，空间里的干货不多，那个反爬虫做的真的是好，完全无语了）。这里还是得感谢一下网上的大佬交怎么去解决空间中g_tk的加
转载
2024-05-20 17:30:34
203阅读
记录一下爬取自己的全部QQ好友的QQ号码的过程首先通过在QQ邮箱页面抓包发现了一个网址把连接放到python中进行爬取发现爬取的内容与浏览器看到的不同，于是我们添加标头看到成功返回了内容但却发现其类型虽然为json格式，但却存在许多格式错误导致无法通过json模块进行转化虽说我们可以通过网上的json格式化工具进行转化，但是由于我想使其步骤尽量由Python实现，所以我采取了较为笨拙一点的正则表达
转载
2023-07-02 14:54:19
97阅读
Selenium是一个自动化测试工具，支持驱动多种浏览器，爬虫中主要用来解决JavaScript渲染问题，跳转，输入啦，点击，下拉等等操作。当无法从网页中静态获取内容时，则可以用这个工具。可以用pip完成安装。代码实例：from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.w
转载
2024-10-24 09:47:35
37阅读
本文目标 1.使用selenium实现账号密码登录qq空间 2.使用多线程爬取qq好友的说说评论点赞情况保存至本地 3.使用echarts将数据可视化
这是帮我同学做的他的qq好友关系网效果图，觉得他的关系网络比较好看，有特点，所以就用他的了，连线代表两人之间有联系，线的粗细代表两人关系的好的程度，为了显示效果和隐私就把名字给去了 最开始是看到了这篇博
转载
2024-05-04 14:58:57
157阅读
#Python爬虫QQ空间好友说说先看效果:(轻微马赛克) 我的好友大概接近一百人，这里总共有3.5w+条数据 ##具体步骤： ####**问题分析：** - QQ空间是动态网页，那么直接获得网页源码就没戏了，只能通过模拟浏览器 - 访问QQ空间之前需要登陆 - 各个好友的动态访问前，需要获得好友列表 - 爬虫技术不是黑客技术，访问好友的QQ空间需要获得权限 ####**难点分析：** - 好友列
转载
2023-10-15 11:46:15
112阅读
一． 功能需求分析：在很多时候我们需要做这样一个事情：我们想把我们QQ空间上的相册高清图像下载下来，怎么做？到网上找软件？答案是否定的，理由之一：网上很多软件不知有没有病毒，第二它有可能捆了很多不必要的软件，对我们不友好，而且有些需要费用，那该怎么办？难道就无计可施了吗？答案又是否定的，我们可以通过爬虫技术完成一个QQ或者微信相册空间下载器，根据功能需求不同我们
转载
2024-05-22 19:18:18
347阅读
# Python爬取QQ空间的项目方案
## 项目背景
QQ空间是腾讯提供的一种个人空间，用户可以在空间中分享生活点滴、照片和日志等。由于隐私和数据保护的原因，QQ空间的数据并不是公开的。因此，爬取QQ空间的数据需要遵循相关规定和法律，并且主要用于学习和研究目的。
## 项目目标
本项目旨在使用Python编写一个爬虫，能够爬取公共QQ空间中的信息，包括日志、相册和个人资料等信息。项目将使
原创
2024-08-09 10:37:55
604阅读
具体代码如下所示：#coding:utf-8
#!/usr/bin/python3
from selenium import webdriver
import time
import re
import importlib2
import sys
importlib2.reload(sys)
def startSpider():
driver = webdriver.Chrome('/Users/
二. 获取好友空间评论点赞情况到了最麻烦的一步了github地址：嘤嘤嘤我就是那个地址，点我点我
上一篇看这里： 看我看我看我首先我们得想好我们要啥数据，我们要得到好友之间的关系值，那双方点赞和评论的次数越多，那么双方的关系值就应该越高，所以我们完成这个小项目就只要得到评论和点赞的次数然后我们得想好数据如何存储，是写进数据库呢，还是按照一定的格式存储为txt文件保存在本地，本文采取的是后
转载
2024-03-06 11:31:02
344阅读
首先我们需要爬虫的模块函数and python的win32库。这里我们以郭老师语录为例import win32gui
import win32con
import win32clipboard as w
#抓取数据
import requests
import time
import random
from bs4 import BeautifulSoup上面三个是用来操纵qq窗口的，下面三个是用
转载
2023-09-25 15:20:38
9阅读
在如何解决“python 别人的好友”问题的过程中，我发现这个问题在实际开发中带来了不少困扰。这个问题让我明白了在处理模块间的依赖关系时，带来的不仅仅是技术上的挑战，还可能影响到整个业务流程的正常运行。
### 问题背景
“python 别人的好友”问题主要是指在Python环境中，使用了不易维护的第三方库，导致了运行时的错误和异常。这种依赖问题已经成为了我们团队开发中的一大隐患，尤其在项目上
文章目录前言一、分析1.获取cookie2.分析含留言内容的url二、代码与效果1.源代码2.效果展示总结 前言今天讲一下怎么样爬qq好友空间的留言提示：以下是本篇文章正文内容，下面案例可供参考一、分析1.好友空间需要登陆才能获取，所以我们需要一个cookie 2.然后才能进行我们的一个爬虫1.获取cookieQQ空间登陆链接 进入后先摁下F12，再扫码或者账号密码登录空间。 进入空间后点击先N
转载
2023-10-16 21:55:38
20阅读
20150903更新：本文仍存在部分相册不能下载的问题，本文代码不再维护不过由于QQ空间后台更新，本文根据QQ空间最新的JSONAPI做了改进 首先需要下载windows版本的curl，具体可以参考百度经验下载地址:http://curl.haxx.se/download/?C=M;O=D如果你是64位系统，建议下载curl-7.33.0-win64-nossl.zip然后解压到D盘根目录下，如图
转载
2023-12-05 20:10:10
56阅读
怎么利用爬虫爬取QQ空间中设置了权限的无法正常访问的内容？比如很多人的空间不允许别人访问，或者有些相册不允许别人访问回复内容：你把 『利用爬虫爬取』 这个定语去掉，能做到，再去考虑 『利用爬虫爬取』 这个问题。任何情况下，计算机程序都只可以做它的创造者会做的事情，只是大多数情况下比那个创造它的人做的更快、更不易出错。意味着，如果你可以在不知道加密相册的问题的答案的情况下进入相册（如果鹅厂存在BUG
转载
2024-03-07 18:34:56
99阅读
1评论
自从开始学习爬虫后，总是无法控制那一颗躁动的心。每天总是想要爬点什么，爬过电影、爬过电影影评、爬过图片(美女图)、爬过视频链接，从最初的简单解析网页到模拟登陆再到异步加载，现在看到一个网页最先想的就是要不要爬一下。话不多说，来我们今天的项目，通过模拟登陆和异步加载爬一下QQ群成员的信息。大概思路我们通过网页版QQ群管理去获取相应的群信息，通过点击QQ群首页上的“群管理”进入到QQ群页面，分析链接我
原创
2021-04-07 10:50:00
3424阅读
1评论
QQ空间相册爬虫目标：不声不响的进入别人空间（直接进入内存消耗巨大，速度慢）获取可以获取的所有的照片获取.gif格式的照片（未实现）获取视频（未实现，但可获取视频封面照片）空间相册分析： 首先，不可操作的相册显然不在我们考虑的范围对于可操作的相册我将其分为两个部分，是因为我操作‘你有权限进入的相册’时，我遇到了一些难题，与此同时，我也意识到自己的薄弱之处（我极其讨厌模拟请求形式的爬虫技
转载
2023-11-13 20:52:17
45阅读
在本文中，我们将详细探讨如何用 Python 执行加 QQ 好友这一功能。这是一个有趣的问题场景，涉及到聊天社交应用的自动化操作，它对于需要快速连接联系人或处理大量社交请求的人士至关重要。
## 背景定位
在整个过程中，我们需要解决的基本问题是如何通过 Python 代码实现自动添加 QQ 好友的功能。这个问题背后的业务影响模型可以用以下的数学公式表达：
\[
\text{影响} = \te
个人博客 前几天把QQ好友的说说爬了下来 统计一下大概爬了有12W条数据 然后把这些数据进行了简单的可视化 分析完之后 突然想到可不可以把每个好友的进行分析 分析思路一样 只要前端输入相应的QQ 就能显示该QQ的分析结果 或者听同学的建议做一个随缘APP摇一摇手机就可看到其他人的说说 想想挺好玩儿 等有时间了把这个做了 完美开发环境:python3.5MySQL5.7Ubuntu16.04LTSP
转载
2023-07-30 20:39:32
30阅读
