一. 方案1直接存到数据库MySQL用户表如下： last_checkin_time 上次签到时间checkin_count 连续签到次数记录每个用户签到信息签到流程1.用户第一次签到 last_checkin_time 2.用户非第一次签到，且当天已签到什么也不做，返回已签到。3.用户非第一次签到，且当天还未签到a.昨天也有签到 last_checkin_time b.昨天没
转载
2024-08-19 10:48:39
135阅读
基于微博签到页的微博爬虫项目链接：https://github.com/RealIvyWong/WeiboCrawler/tree/master/WeiboLocationCrawler1 实现功能这个项目是用来爬取微博签到页的微博数据（每三个小时爬一次），并写进sqlite数据库。关于微博签到页打个比方，就是类似这个https://weibo.com/p/100101B2094757D069A7
来自：网络今天，看下签到功能怎么选择？现在的网站和app开发中，签到是一个很常见的功能，如微博签到送积分，签到排行榜~ 微博签到如移动app ，签到送流量等活动， 移动app签到用户签到是提高用户粘性的有效手段，用的好能事半功倍！下面我们从技术方面看看常用的实现手段：一. 方案1直接存到数据库MySQL用户表如下： last_checkin_tim
转载
2023-10-06 12:54:45
170阅读
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
转载
2023-11-21 19:21:08
275阅读
# Python微博签到的实现
随着社交媒体的普及，很多平台都推出了签到功能，允许用户每天进行签到以获取积分或奖励。在这篇文章中，我们将介绍如何使用Python实现一个自动签到的脚本，以简化每日的微博签到过程。
## 1. 环境准备
首先，你需要安装Python和相关库。最常用的库是`requests`，它可以帮助我们轻松发起HTTP请求。你可以通过以下命令安装这个库：
```bash
p
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
164阅读
需要工具： python3.6 pandas Flask china.json echarts.js element.js jQuery.js,map.js,vue.js 需要数据集： 新浪微博用户数据集.csv 数据集一览：用pandas读入数据集放在内存中，Flask接收到Ajax传入的请求，将数据整理分析打包
转载
2023-10-02 10:09:43
9阅读
# Python微博自动签到
## 前言
微博是中国最大的社交媒体平台之一，每天有数以千万计的用户在上面分享信息、交流观点。而对于一些经常使用微博的用户来说，每天进行签到是一项常见的任务。为了简化签到的过程，我们可以利用Python编写一个自动化脚本，实现微博的自动签到功能。
在本文中，我们将使用Python编写一个简单的微博自动签到脚本，并介绍一些相关的知识点和技术，帮助读者了解如何利用P
原创
2023-11-03 07:53:56
251阅读
文章目录前言一、准备工作二、插件安装1.插件下载2.解压并安装三、脚本编写(手动获取参数)1.复制脚本2.获取参数3.运行测试四、脚本编写(自动获取参数)1.复制脚本2.获取参数3.填入参数3.运行测试总结 前言不方便使用Chrome插件或对签到结果有通知要求的 一、准备工作需要提前做好以下准备有可以安装Chrome插件的浏览器(以Chrome为例)在微博网页端完成登陆操作二、插件安装1.插件下
转载
2023-08-02 22:35:30
573阅读
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、 目标本次爬取的的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行，安装Scrapy、PyMysql库。这里我新注册了四个微博
转载
2023-09-10 22:22:06
37阅读
我们要做一个高性能的系统，要具备一个低延迟、高实时性，微博要做到高实时性这是核心的价值，实时性的核心就是让数据离CPU最近，避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书，L2是从书架拿一本书，L3是从客厅桌子上拿一本书，访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话，我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
转载
2023-09-30 21:52:36
147阅读
这次的项目 和文件都放到了 github 上 https://github.com/poiu1235/weibo-catch：有兴趣的可以follow一下，或者点个赞咯我这里采用的深度挖掘的方式：没有设定爬取的边界（这个以后是要考虑的）大致的思路是，用自己的 账号登陆后，获取自己的微博列表和朋友列表。然后根据朋友列表然后在爬取对方的微博列表和朋友列表。这样不断的深度挖掘和遍历的过程过程中
转载
2023-09-14 09:46:21
105阅读
fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。分析过程首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url为https://login.sina.com.cn/sso/login.php?client=sso
转载
2023-12-28 23:39:42
174阅读
相信大家都有微博了，作为一个技术人员，往往关注的不是明星，而是技术。微博现在很火，底层技术是如何实现的呢，最近 在网上看到一篇文章，是关于微博底层技术的架构，和大家分享一下。 很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，这个技术怎么来实现？今天在这里跟大家分享一下微博的底层机构，让大家对微博的底层技术有更
转载
2023-07-14 19:27:16
128阅读
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户，直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合，爬取十大城市的地铁（轨道交通）官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码：import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
269阅读
# 采集新浪微博的Python实践
## 引言
在当今社交媒体的时代，微博已经成为了人们获取信息和交流的重要平台之一。为了分析和了解用户行为、舆情等，我们需要采集微博上的数据。Python作为一种简单易用的编程语言，提供了很多强大的工具和库，可以帮助我们实现这样的数据采集任务。
本文将介绍如何使用Python采集新浪微博的内容，并通过代码示例来让读者理解和实践这一过程。
## 准备工作
原创
2023-10-15 07:17:30
92阅读
前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下Scrapy的大规模爬取。一、本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至MongoDB。二、准备工作请确保前文所讲的代理池、Cookies池已经实现并可以正常运行，安装Scrapy、
13.13 Scrapy 爬取新浪微博前面讲解了 Scrapy 中各个模块基本使用方法以及代理池、Cookies 池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下 Scrapy 的大规模爬取。1. 本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至 MongoDB。2. 准备工作请确保前文所讲的代理池、Co
转载
2023-07-01 11:20:09
237阅读
# 利用 Python 实现新浪微博登录
在当今社交网络发展的时代，微博作为中国的一大社交平台，连接了无数用户。在进行微博相关的开发项目时，登录功能是基础而又关键的一部分。本文将介绍如何使用 Python 实现新浪微博登录，并配以相应的代码示例。
## 一、理解 新浪微博 API
在访问新浪微博的功能之前，首先需要了解微博提供的 API。新浪微博开放平台提供了丰富的 API 接口，使得开发者
首先说一下我这个的实现思路，登录支持多个账号，也就是说可以保存多个微博账号登录的时候选择其中一个登录。多个账号信息保存在sqlite的数据库中，每一个账号信息就是一条记录, 当用户启动微博客户端的时候去取保存在sqlite数据库中的账号记录信息，然后把这些在界面中以列表的形式展示出来，用户可以点击其中的一个账号进入微博，如果如果启动微博客户端的时候检查到s
转载
2023-10-31 07:05:09
59阅读
