为了总结一下Selenium的用法，具体用了这个例子来说明一下。Selenium简单来说，就是通过程序驱动一个浏览器，并且可以通过程序来帮你做一些事情，例如点击、填表呀之类的。换句话说，你在浏览器上面看到的东西，他都能给你呈现；你能在页面上做的东西，它也能做。Selenium厉害的地方在于，它是一个真正的浏览器，可以对js，css进行渲染，所以WebMagic这个爬虫也整合了这个DownLoade
转载
2024-02-29 17:02:38
122阅读
微博的热搜榜对于研究大众的流量有非常大的价值。今天的教程就来说说如何爬取微博的热搜榜。 热搜榜的链接是：https://s.weibo.com/top/summary/用浏览器浏览，发现在不登录的情况下也可以正常查看，那就简单多了。使用开发者工具(F12)查看页面逻辑，并拿到每条热搜的CSS位置，方法如下： 按照这个方法，拿到这个td标签的selector是：pl_top_realti
转载
2023-09-14 16:40:04
334阅读
在这个实例中用到了手机模式下的动态网页爬取，实际上手机模式下的动态网页爬取一般比PC模式下的动态网页爬取简单些（因为手机模式下基本上都是动态网站，很少有伪动态网站）。手机模式的操作：点击切换模式仿真（切换之后基本上就是手机模式了）——>点击网页刷新（如果看着不舒服可以点击刷新下面一栏的尺寸，选择自己喜欢的机型）——>向下滑直至翻页出现新的内容，剩下的跟之前讲的操作一样：python爬虫
转载
2023-10-01 15:52:41
152阅读
首先自己想要的item：1 import scrapy
2
3
4 class WeiboItem(scrapy.Item):
5
6 rank = scrapy.Field()
7 title = scrapy.Field()
8 hot_totle = scrapy.Field()
9 tag_pic = scrapy.Fie
转载
2023-06-02 15:18:20
460阅读
一、前言微博热搜榜每天都会更新一些新鲜事，但是自己处于各种原因，肯定不能时刻关注着微博，为了与时代接轨，接受最新资讯，就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序，这样每天可以在不打开微博的情况下，时刻掌握着微博的最新动态资讯。废话不多说，下面直接上代码以及详细思路。二、代码及思路（1）首先肯定是对微博热搜进行爬取，这并不难，是个非常简单的爬虫。def getHTML(url
转载
2024-08-16 11:12:12
462阅读
python爬取微博热搜榜最近应我大学室友得需求，做了一个简单的爬虫案例，先给大家看一下程序运行效果 接下来就是贴出代码了，在这里我会做一些简单说明，对如刚入门的同学可能会有所帮助，这里使用的是python3需要引入的包，这两个包可能需要自行下载urllib
lxml代码import urllib.request #导入urllib.request库
import urllib.parse
fro
转载
2023-09-27 17:48:29
301阅读
# 用Python爬取微博热搜
作为一名经验丰富的开发者，我将指导你如何使用Python来爬取微博热搜。本文将分为两部分，首先是整个流程的概述，然后是每个步骤的具体代码和解释。
## 整个流程概述
爬取微博热搜的过程可以分为以下几个步骤：
1. 导入必要的库
2. 发送HTTP请求获取网页内容
3. 解析网页内容，提取热搜数据
4. 存储数据
下面我们将一步步来实现这些步骤。
## 导
原创
2023-07-29 10:41:14
291阅读
## Python爬取微博热搜榜
在当今社交媒体盛行的时代，微博作为中国最大的社交平台之一，每天都会有大量的热点事件、话题和关键词在微博上被广泛讨论。对于一些热门事件或者关注度较高的话题，微博会将其整理为热搜榜，展示给用户。本文将介绍如何使用Python爬取微博热搜榜的相关信息。
### 什么是热搜榜？
热搜榜是微博平台根据用户搜索、转发、评论等行为数据，实时统计出的热门关键词排行榜。它可以
原创
2023-08-23 04:44:03
534阅读
经过一段时间的Python网络爬虫学习，今天自己摸索制作了一个能够爬取新浪微博实时热搜排名的小爬虫1.效果：2.制作过程中遇到的问题：（1）一开始研究微博热搜页面的源代码时忽略了<tbody>中还包括一个置顶热搜，它的标签包含结构和其他的50个不同，因此需要单独考虑（2）难点是标签中信息的获取，需要搞清楚 find_all( ) 函数返回的是列表，只能用于for遍历体系中，针对HTML
转载
2023-09-26 14:11:22
797阅读
# 使用Java实现微博热搜爬取
## 一、流程概述
在开发爬虫程序之前，我们需要了解爬取微博热搜的基本流程。下面是整个流程的简要概述。
| 步骤 | 描述 |
|--------------------|-----------------------------------------|
|
原创
2024-09-18 03:42:01
89阅读
# 如何使用Java爬取微博热搜
## 整体流程
首先，我们需要了解整个爬取微博热搜的流程，然后逐步实现每一个步骤。下面是一个简单的流程表格：
| 步骤 | 操作 |
|------|-------------------|
| 1 | 发送HTTP请求获取页面|
| 2 | 解析页面数据 |
| 3 | 提取热搜关键词 |
原创
2024-07-04 05:26:07
46阅读
一直想学习用Python来进行数据的爬取，也一直想知道Python连接数据库的操作，今天刚好看到的这篇文章满足了这两个条件，我试着爬了下微博，并成功将数据添加到数据库中，颇为欢喜。作者写的很简单，有些过程省略掉了，因此我尝试了好几次才成功，接下来记录自己的成功操作。一、选择需要爬取的网页这里是用来爬取微博热搜榜的数据，网页地址为http://s.weibo.com/top/summary，打开网页
转载
2023-11-24 13:31:11
133阅读
微博热搜首先，我们对微博热搜进行爬取，直接打开热搜页面，并查看其网页源代码。我们可以看到每一个热搜以及对应的 href 链接都整齐的放在标签之下，我们可以选择用 BeautifulSoup 库也就是美丽汤，也可以选择使用 XPath 来进行简单的爬取。需要注意的是给出的链接是不完整的，需要加上前缀 https://s.weibo.co 。知乎热榜知乎的热榜看起来似乎要难抓取一些
转载
2023-11-03 16:27:30
175阅读
微博的热搜榜对于研究大众的流量有非常大的价值。今天的教程就来说说如何爬取微博的热搜榜。 热搜榜的链接是：用浏览器浏览，发现在不登录的情况下也可以正常查看，那就简单多了。使用开发者工具(F12)查看页面逻辑，并拿到每条热搜的CSS位置，方法如下：按照这个方法，拿到这个td标签的selector是：pl_top_realtimehot > table > tbody > tr:nth
转载
2024-04-07 18:43:48
76阅读
为什么这期要叫暴力爬虫呢？因为笔者认为基于selenium方法非常的简单粗暴！！理由有两点：1.在selenium方法下，我们可以通过调用浏览器驱动来实现模拟鼠标点击、滑轮下滑以及输入文本等操作，就像真正的用户正在操作浏览器一样（如此一来便可以解决某些需要用户登录才能获取界面的网站），而且在访问网站层面，它的安全性是高于requests方法的，因为它不需要构造一个虚拟请求，所有的操作都是真实发生的
1 weiboHeat.py
2 #-*- coding:utf-8 -*-
3 '''
4 该脚本可以从wap版的微博网站上爬取热门电影的信息，
5 尤其是其中的电影主题讨论数和阅读数
6 '''
7 import json
8 import requests
9 from pandas import DataFrame
10 import time
11 headers
转载
2024-09-25 09:17:36
183阅读
1、打开微博网站：https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=62、鼠标右击打开检索3、导入相应的库4、编写如下代码：import requests
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame
u
转载
2023-06-06 00:13:15
367阅读
根据关键词爬取历史微博热搜写在最前一些废话爬虫jieba处理 写在最前一些废话写这个主要是记录学习，这个代码比较简单，大部分参考了别人的代码，主要是加一些备注以及添加一些东西。爬虫先扔一下代码再解释：import json
import requests
import time
import pandas as pd
from http.cookies import SimpleCookie
转载
2023-11-09 10:23:11
132阅读
微博数据是非常有价值的数据，这些数据可以用作我们进行一些系统开发时的数据源， 比如前段时间发过的：Python 短文本识别个体是否有自杀倾向，在此文中，我们使用微博绝望树洞的数据，利用SVM做了一个简单的自杀倾向识别模型。当然，微博数据的应用还不仅如此，如果你大胆详细，大胆猜测，将会有许多可以利用这些数据进行研究的机会。不过， 技术是把双刃剑，有好有坏，我不希望各位拿着这个爬虫去做一些违反道德、法
转载
2023-09-22 12:59:50
133阅读
2.14情人节，对单身狗来说就是折磨的日子，本着对自己的身心健康着想，我一天没出门，默默的爬取心目中的女神的微博记录。。。。。。。当然，女神不够，男的来凑，OK。开始正题。准备：python，request（请求url），re（正则）， time（时间）， tqdm(漂亮的动态加载)，wordcloud（词云），jieba（分词）， mayplotlib（画图展示），PIL(图像读取)，numpy
