一. 方案1直接存到数据库MySQL用户表如下： last_checkin_time 上次签到时间checkin_count 连续签到次数记录每个用户签到信息签到流程1.用户第一次签到 last_checkin_time 2.用户非第一次签到，且当天已签到什么也不做，返回已签到。3.用户非第一次签到，且当天还未签到a.昨天也有签到 last_checkin_time b.昨天没
来自：网络今天，看下签到功能怎么选择？现在的网站和app开发中，签到是一个很常见的功能，如微博签到送积分，签到排行榜~ 微博签到如移动app ，签到送流量等活动， 移动app签到用户签到是提高用户粘性的有效手段，用的好能事半功倍！下面我们从技术方面看看常用的实现手段：一. 方案1直接存到数据库MySQL用户表如下： last_checkin_tim
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！我们使用到的是第三方作者开发的爬虫库weiboSpider（有工具当然要用工具啦）。这里默认大家已经装好了Python，如果没有的话可以看我们之前的文章：Python详细安装指南。1. 下载项
基本思路：在登录状态下，打开首页，利用高级搜索框输入需要查询的条件，点击搜索链接进行搜索。如果数据有多页，每页数据是20条件，读取页数 然后循环页数，对每页数据进行抓取数据。 在实践过程中发现一个问题，利用IE驱动，在利用高级搜索后，抓取数据时，抓取不到，只能抓取第一条数据，其它的数据是空的，很奇怪，不知道什么原因，后来用phantomjs就可以抓取到，但是用phantomjs又出现一个问题
转载
2023-07-05 21:03:39
139阅读
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、 目标本次爬取的的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行，安装Scrapy、PyMysql库。这里我新注册了四个微博
转载
2023-09-10 22:22:06
0阅读
# Python微博自动签到
## 前言
微博是中国最大的社交媒体平台之一，每天有数以千万计的用户在上面分享信息、交流观点。而对于一些经常使用微博的用户来说，每天进行签到是一项常见的任务。为了简化签到的过程，我们可以利用Python编写一个自动化脚本，实现微博的自动签到功能。
在本文中，我们将使用Python编写一个简单的微博自动签到脚本，并介绍一些相关的知识点和技术，帮助读者了解如何利用P
需要工具： python3.6 pandas Flask china.json echarts.js element.js jQuery.js,map.js,vue.js 需要数据集： 新浪微博用户数据集.csv 数据集一览：用pandas读入数据集放在内存中，Flask接收到Ajax传入的请求，将数据整理分析打包
文章目录前言一、准备工作二、插件安装1.插件下载2.解压并安装三、脚本编写(手动获取参数)1.复制脚本2.获取参数3.运行测试四、脚本编写(自动获取参数)1.复制脚本2.获取参数3.填入参数3.运行测试总结 前言不方便使用Chrome插件或对签到结果有通知要求的 一、准备工作需要提前做好以下准备有可以安装Chrome插件的浏览器(以Chrome为例)在微博网页端完成登陆操作二、插件安装1.插件下
转载
2023-08-02 22:35:30
386阅读
相信大家都有微博了，作为一个技术人员，往往关注的不是明星，而是技术。微博现在很火，底层技术是如何实现的呢，最近 在网上看到一篇文章，是关于微博底层技术的架构，和大家分享一下。 很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，这个技术怎么来实现？今天在这里跟大家分享一下微博的底层机构，让大家对微博的底层技术有更
转载
2023-07-14 19:27:16
108阅读
这次的项目 和文件都放到了 github 上 https://github.com/poiu1235/weibo-catch：有兴趣的可以follow一下，或者点个赞咯我这里采用的深度挖掘的方式：没有设定爬取的边界（这个以后是要考虑的）大致的思路是，用自己的 账号登陆后，获取自己的微博列表和朋友列表。然后根据朋友列表然后在爬取对方的微博列表和朋友列表。这样不断的深度挖掘和遍历的过程过程中
转载
2023-09-14 09:46:21
74阅读
fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。分析过程首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url为https://login.sina.com.cn/sso/login.php?client=sso
13.13 Scrapy 爬取新浪微博前面讲解了 Scrapy 中各个模块基本使用方法以及代理池、Cookies 池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下 Scrapy 的大规模爬取。1. 本节目标本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存至 MongoDB。2. 准备工作请确保前文所讲的代理池、Co
转载
2023-07-01 11:20:09
195阅读
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户，直接运行就可以通过python爬虫爬取新浪微博用户数据。本例selenium与pyautogui结合，爬取十大城市的地铁（轨道交通）官方微博的粉丝数量。最终把数据存入excel和csv文件。python代码：import re
import time
import pandas as pd
fro
转载
2023-05-31 10:39:58
242阅读
我们要做一个高性能的系统，要具备一个低延迟、高实时性，微博要做到高实时性这是核心的价值，实时性的核心就是让数据离CPU最近，避免磁盘的 IO。我们看淘宝核心系统专家余锋说过的一句话“CPU访问L1就像从书桌拿一本书，L2是从书架拿一本书，L3是从客厅桌子上拿一本书，访问主存就像骑车去社区图书馆拿一书”。我们微博如果要做到非常实时的话，我们就需要把数据尽量离CPU节点最近。所以我们看一下cache设
# 采集新浪微博的Python实践
## 引言
在当今社交媒体的时代，微博已经成为了人们获取信息和交流的重要平台之一。为了分析和了解用户行为、舆情等，我们需要采集微博上的数据。Python作为一种简单易用的编程语言，提供了很多强大的工具和库，可以帮助我们实现这样的数据采集任务。
本文将介绍如何使用Python采集新浪微博的内容，并通过代码示例来让读者理解和实践这一过程。
## 准备工作
首先说一下我这个的实现思路，登录支持多个账号，也就是说可以保存多个微博账号登录的时候选择其中一个登录。多个账号信息保存在sqlite的数据库中，每一个账号信息就是一条记录, 当用户启动微博客户端的时候去取保存在sqlite数据库中的账号记录信息，然后把这些在界面中以列表的形式展示出来，用户可以点击其中的一个账号进入微博，如果如果启动微博客户端的时候检查到s
课上老师留了作业做这个花了一小会时间做了一下，分享下过程。一.首先我们选择微博移动端去爬取即这个网址微博移动版 二.登陆后获取到我们的cookie和user-agent，存下来一会会用。 三.分析评论url，我们可以发现往下翻评论时每次可获得一个url，一个url中包含几十条评论，找到规律如下： 第一个为：https://m.weibo.cn/comments/hotflow?id=4629867
此类RESTful接口的开放平台，一般而言都采用OAuth认证方式针对新浪微博新版接口举例如下：1、获取codehttps://api.weibo.com/oauth2/authorize?client_id=YOUR_CLIENT_ID&response_type=code&redirect_uri=YOUR_REGISTERED_REDIRECT_URI在创建应用时需要填写YO
转载
2023-07-09 14:32:36
87阅读
其实小帅b已经挺久没有玩微博了，记得上次玩微博还是为了给周杰伦打榜，不过最近心血来潮，觉得俺的微博账号躺着也是躺着，要不就用 Python 做一个自动定时发微博的机器人，让它在上面飘一会。怎么个飘法呢？这不禁让我想到了一个叫做 “古城钟楼” 的微博账号，每天都定时定点的在上面 “铛铛档”，其它的啥也不干，但牛逼的是，人家就凭 “铛铛档” 就有了 100 多万粉丝，我特么都快给跪下了。所以
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微
