爬虫与反爬虫
1 应用场景：
01 做数据分析（大数据）将分析出来的结果制成图（饼状图、柱状图。折线图等）
为公司经营决策提供提供策略
02 将数据应用于公司的网站或者app；
03 技术手段：urllib、request、bs4、lxml、pyspider（框架）、scrapy（框架）2 爬虫网站：
从网站类型上分为：
01 静态网站：页面上展示的数据，如果可以右键-网页源代
转载
2023-06-29 16:19:54
63阅读
Python网络爬虫数据采集实战：Requests和Re库
今天来一次爬虫实战学习，先从Python的requests库即re库入手，可以迅速get到python爬虫的思想以及流程，并且通过这两个库就可以建立一个完整的爬虫系统。 目录 一、requests库 1.简介 2.入门测试 3.主要方法 二、re库 1.简介 2.入门测试
转载
2023-07-17 20:34:49
51阅读
在这篇博文中，我们将讨论如何进行“python 安装 爬虫 re”的详细过程，从环境准备到扩展应用，确保您能够顺利地使用 Python 进行爬虫开发，并运用正则表达式库 `re` 对数据进行处理。我们将逐步深入探讨每一个环节。
### 环境准备
在开始之前，首先要确保您有一个合适的开发环境。以下是前置依赖的安装步骤。
1. **安装 Python**: 确保您安装了 Python 3.x 版
re模块中常用功能函数1、compile()编译正则表达式模式，返回一个对象的模式。（可以把那些常用的正则表达式编译成正则表达式对象，这样可以提高一点效率。）格式：re.compile(pattern,flags=0)pattern: 编译时用的表达式字符串。flags 编译标志位，用于修改正则表达式的匹配方式，如：是否区分大小写，多行匹配等。常用的flags有：标志含义re.S(DOTALL)使
转载
2023-06-27 11:33:30
82阅读
环境要求： 1、编程语言版本python3； 2、系统：win10; 3、浏览器：Chrome68.0.3440.75；（如果不是最新版有可能影响到程序执行） 4、chromedriver2.41 注意点：pip3 install 命令必须在管理员权限下才能有效下载！一、安装python3不是本文重点，初学者，建议上百度搜索，提供几个思路： 1、官网：https://www
转载
2023-12-11 14:41:55
100阅读
上一篇博客我们学习了正则表达式，python有一个re库专门用于正则表达式匹配。一、浅谈Re库导入re库： Re库是Python的标准库(使用时不需要安装额外的插件)，主要用于字符串匹配。 调用方式：import正则表达式的表示： raw string：原生字符串类型 表示方法 ：r’text’ 举个栗子 ：r’[1-9]\d{5}’raw string： 不包含转义字符，不需要考虑需要多少个
转载
2023-08-10 19:14:23
44阅读
Python爬虫之request +re
原创
2021-08-30 15:39:41
202阅读
在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。有一点需要特别注意的是，正则表达式使用 对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例：r'chuanzhiboke\t\.\tpython're 模块的一般使用步骤如下：使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象通过 Pattern ...
原创
2021-07-08 10:37:30
212阅读
在 Python 中，我们可以使用内置的 re 模块来
原创
2022-03-23 16:36:38
109阅读
爬虫核心-re模块概要: 1.re的常用的函数(findall,finditer,search,match,split,sub,subn,compile). 2.爬虫 3. ()Python中代表分组的意思,(?:)取消Pyhon的分组 4.(?P<名字>正则) 取值 5. .*?x 以x结尾,爬虫用的最多一.re模块re模块是python提供的一套关于处理正则表达式的模块.
原创
2021-01-04 21:32:31
354阅读
学会正则表达式后，使用requests里的re模块就可以轻松应用到爬虫中。首先引入re，然后介绍re模块的3个常用函数和1个常用操作：import re【1】findallresult= re.findall（r“\d+”,"我今天买了2个榴莲，花了200元。"）
print（result）使用正则表达式，对句子中的两个数字进行提取：\d+正则表达式前面的r用于消除反斜杠的影响使用findall后
原创
2024-03-08 21:41:59
75阅读
1. re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话
原创
2022-12-11 21:02:28
200阅读
re模块：最适合在script中提取内容 re是python正则模块标准库 在线正则表达式测试：
转载
2021-08-10 06:14:00
140阅读
2评论
python使用requests+re简单入门爬虫sergiojune日常学python在学习了python基础后，一心想着快速入门爬虫，因为我就是为爬虫而学的python,所以就找了这个豆瓣电影来爬取。好了，废话不多说，进入正题1.找到网页并分析网页结构首先进入豆瓣电影Top250这个网页，按下f12打开开发者工具，如下图然后开始分析网页，点击开发者工具左上角的有个箭头的东西去找你需要找的数据，
原创
2021-01-05 14:17:51
526阅读
python 的 re 模块 提供了很多方便的函数和方法使你可以使用正则表达式来操作字符串。 为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(raw string)。raw string就是用’r’作为字符串的前缀，如 r”\n”：表示两个字符”\”和”n”，而不是换行符。 Python中写正则表达式时推荐使用这种形式。1个常用函数compile co
转载
2021-06-03 16:22:40
930阅读
上文介绍的是正则表达式本身的语法知识，并未涉及实际使用的方法。本文将介绍在Python语言中如何使用正则表达式。在Python中，通过内置的re模块提供对正则表达式的支持。正则表达式会被编译成一系列的字节码，然后由通过C编写的正则表达式引擎进行执行。该引擎自从Python1.6被内置以来，近20年时间未有发生过变化，实乃我辈楷模。re模块支持下面的正则语法："."
"^"
"$"
"*"
"+"
原创
2020-12-27 19:27:45
279阅读
上面的 match 和 search 方法都是一次匹配，只要找到了一个匹配的结果就返回。然而，在大多数时候，我们需要搜索整个字符串，获得所有匹配的结果。findall 方法的使用形式如下：findall(string[, pos[, endpos]])其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符...
原创
2021-07-07 16:43:39
1141阅读
split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：split(string[, maxsplit])其中，maxsplit 用于指定最大分割次数，不指定将全部分割。看看例子：import rep = re.compile(r'[\s\,\;]+')print p.split('a,b;; c d')执行结果：['a', 'b', 'c', 'd']...
原创
2021-07-07 16:46:12
171阅读
split 方法按照能够匹配的子串将字符串分割后返回列表，它的使行结果：['a', 'b', 'c', 'd']...
原创
2022-03-23 16:18:28
110阅读
match 方法用于查找字符串的头部（也可以指定起始位置
原创
2022-03-23 16:19:24
209阅读
