什么是爬虫？
一、爬虫概述
简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。
1.获取页面（如urllib、requests等）
2.提取信息（Beautiful Soup、pyquery、lxml等）
3.保存数据（MySQL、MongoDB等）
4.自动化程序
二、关于JS渲染的页面？
1.使用urllib、requests 等库请求当前页面时，只是得到html代码，它不会帮
转载
2023-08-01 16:57:17
40阅读
爬虫是一种技术实现的功能，大部分编程语言都可以实现爬虫，但是对于初学者来说，想要快速学习爬虫技术，建议大家学习Python爬虫。Python编程语言相对于Java要更简单入门更容易，同时相对PHP使用范围更广泛，有利于后期的学习拓展知识。对于零基础想学习Python爬虫的同学应该掌握哪些知识，遵循怎样的学习路线呢？1、掌握Python编程能基础想要学习爬虫，首先要充分掌握Python编程技术相关的
转载
2024-02-05 19:58:53
36阅读
获取一个POST请求Demo 练习：向目的url发起post请求，并打
原创
2023-01-12 15:03:09
117阅读
何谓所谓，就是按照一定的规则，自动的从网络中抓取信息的程序或者。万维网就像一个巨大的蜘蛛网，我们的就是上面的一个蜘蛛，不断的去抓取我们需要的信息。三要素抓取分析存储基础的抓取操作1、urllib在Python2.x中我们可以通过urllib 或者urllib2 进行网页抓取，但是再Python3.x 移除了urllib2。只能通过urllib进行操作带参数的urlliburl
转载
2023-07-07 22:27:12
0阅读
finditer 方法的行为跟 findall 的行为类似，也是搜索整个字符串，获得所有匹配pattern.finditer('hello 123456 ...
原创
2022-03-23 16:17:31
169阅读
finditer 方法的行为跟 findall 的行为类似，也是搜索整个字符串，获得所有匹配的结果。但它返回一个顺序访问每一个匹配结果（Match 对象）的迭代器。看看例子：# -*- coding: utf-8 -*-import repattern = re.compile(r'\d+')result_iter1 = pattern.finditer('hello 123456 ...
原创
2021-07-07 16:40:58
246阅读
一、爬取角色头像1.打开所爬取网站，F12打开控制台，点击网络，再刷新一次官网，搜索json，找到herolist.json文件 实现代码import requests
# get请求
res = requests.get("上方图片请求网址")
# 遍历角色
for role in res.json():
cname = role["cname"]
ename = ro
转载
2023-06-30 11:42:56
1422阅读
本文我总结了25个python专属骚操作，实属提高效率/同事吹牛只利器，确定不收藏吗？
一、原地交换
Python 提供了一个直观的在一行代码中赋值与交换（变量值）的方法
x, y = 10, 20
print(x, y)
x, y = y, x
print(x, y)
#1 (10, 20)
#2 (20, 10)
原理：赋值的右侧形成了一个新的元组，左侧立即解析（unpack）那个
转载
2021-07-20 14:23:56
478阅读
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存
原创
2024-09-30 15:59:15
103阅读
文章目录1 需求描述2 方法说明2.1 多进程——threading2.2 多线程——multiprocessing2.2 协程——asyncio3 实战记录3.1 完整代码3.2 结果展示 1 需求描述爬取较多数据时如何避免用时过长，时下通用方式主要为多进程、多线程、协程和混合模式四种。2 方法说明2.1 多进程——threading详见threading官方文档2.2 多线程——multip
转载
2023-10-08 12:49:53
87阅读
1、python之Queue介绍Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue，LIFO（后入先出）队列LifoQueue。这些队列都实现了锁原语（可以理解为原子操作，即要么不做，要么都做完），能够在多线程中直接使用。2、python之Queue方法初始化Queue(maxsize)：创建一个先进先出的队列；初始化LifoQueue(maxs
原创
2022-06-15 10:09:25
1213阅读
根据2020年StackOverflow开发者调查报告，Python是世界上最受欢迎的语言之一，排名仅次于Rust和TypeScript。更令人惊讶的是，Python是开发人员最想尝试的语言。如果你是一位使用Python的开发人员，而且希望提高自己的技术水平，或者你想学习Python，那么你可来对地方了。本文将为你献上25个最佳GitHub代码库。1、最佳Python代码库Python资源精选列表
转载
2021-04-05 15:12:57
623阅读
网页结构的相似性 爬虫的目的，是从网站中 自动化 的 批量 提取数据。 首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: https://movie.douban.com/subject/1292052/ https://movie.douban.com/subject/19626
转载
2020-07-14 15:54:00
380阅读
2评论
1.选择一个翻译页面，我选择的是有道词典（http://dict.youdao.com）2.随便输入一个英语单词进行翻译，然后查看源文件，找到翻译后的内容所在的位置，看它在什么标签里3.开始编写程序（1）首先引入requests库跟BeautifulSoup库（2）更改请求头，防止被页面发现是爬虫，可以在审查元素里找（3）确定URL，在有道是 http://dict.youdao.com/w/%s
转载
2023-06-26 11:41:39
336阅读
从第一次到实验，看着人家运指如飞，而自己连怎么打开那个界面都不知道；从上课瞪着眼看老师敲键盘，也只能是瞪着，一点都不明白。 经过两个星期的学习，基本上掌握CCNA的实验。明白了原来上机要先到机房里开机架；明白了那一个个简写的命令是怎么回事；明白了在机房做实验的时候只能在固定的拓扑上完成。
原创
2009-07-26 08:47:50
565阅读
2评论
1、什么是君子
讲究衣饰打扮这是无可厚非的，然而刻意地追求时尚的新潮未必就是时代的弄潮儿。一个人真正的光辉之处在于其人有闪光的思想，超凡的作为，而绝不是衣着光鲜的外表。与其费尽心思装扮自己，不如深刻你的头脑。
古时候，有位叫公孟的人，打扮成当时流行的君子模样：戴着高高的礼帽，腰间插着记事用的木笏，穿一套漂亮的儒服，来见墨子，对墨
翻译
2022-12-02 10:01:17
71阅读
网络相关通用urllib - 网络库(标准库)requests - 网络库grab - 网络库(基于pycurl)pycurl - 网络库 (与libcurl绑定)urllib3 - 具有线程安全连接池、文件psot支持、高可用的Python HTTP库httplib2 -&nb
# 学习如何用Python实现爬虫输出前20个结果
在现代互联网环境中，爬虫技术发挥着越来越重要的作用，它可以帮助你收集和分析数据。本教程旨在帮助刚入行的小白开发者通过Python构建一个简单的爬虫，并实现输出前20个结果的目标。
## 流程概述
下面是整个过程的简要步骤，帮助你理清思路：
| 步骤 | 描述 | 代码示例 |
|--
[
