Playwright 是微软在 2020 年初开源的新一代自动化测试工具，它的功能类似于 Selenium、Pyppeteer 等，都可以驱动浏览器进行各种自动化
原创
2024-01-22 13:53:25
354阅读
Python爬虫利器二之Beautiful Soup的用法 Python 崔庆才 1年前 (2015-03-10) 87504℃ 38评论 上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，
转载
2016-04-03 13:56:00
67阅读
2评论
http://cuiqingcai.com/1319.html 上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们
转载
2021-08-04 23:45:25
110阅读
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的强大吧。
1. Beautiful Soup的
转载
2017-06-28 23:05:00
79阅读
urllib包urllib是一个包含几个模块来处理请求的库：- urllib.request发送http请求- urllib.error处理请求过程中出现的异常- urllib.parse解析url- urllib.robotparser解析robots.txt文件一般我们爬虫只需要常用的几个，下面只列出比较常用的函数我们使用urllib模块，那就要引用模块...
原创
2021-07-29 11:48:00
286阅读
简单的数据采集简单的运用爬虫的实例（python2.7）1.python安装首先安装python是第一步，登录python的官网下载对应的安装包，默认安装即可；2.安装python第三方包我们需要的第三方库文件requests；通过官网下载，或者pip安装即可，具体pip的安装方式,请点击here3.运行爬虫实例import requests
try:
r=requests.get('ht
转载
2023-07-02 20:38:33
69阅读
Python爬虫的基本原理简介及内容汇总一、爬虫网页请求方法介绍1.1 网页主要请求方法1.2 网页的主要请求头二、爬虫网页响应方法介绍2.1 网页响应状态码2.2 网页响应头2.3 网页响应体三、提取网页响应的特定内容神器：xpath工具、lxml类库3.1 Xpath工具3.2 lxml类库四、Python爬虫实例——爬取网页文章信息 通过Python的requests库可以非常容易的实现简
转载
2023-07-08 21:31:16
101阅读
转自：http://www.cnblogs.com/BigFishFly/p/6380024.html 前言 在上一节我们学习了 PhantomJS 的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是 JavaScript 脚本，然而这就能写爬虫了吗？这又和Python有什么关系？说好的Py
转载
2017-10-21 16:56:00
75阅读
2评论
对于一个刚学Python爬虫的新手来说，学习Python爬虫里面的「解析库的使用」如果没有超强记忆力，估计是边学边忘，正所谓好记性不如烂笔头，在自己学些爬虫相关的知识点可以记录下来然后多次实践肯定比单凭记忆力要记得牢，下面我就把我学习的一些解析库的知识整理出来，供大家参考下。
原创
2023-03-31 10:01:17
56阅读
requests并不是系统自带的模块，他是第三方库，需要安装才能使用requests库使用方式闲话少说，来，让我们上代码：简单的看一下效果：importrequestsrequests=requests.session()headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64;rv:57.0)Gecko/20100101Firefox/
原创
2018-03-16 17:12:16
1653阅读
点赞
1评论
来源：Python编程开发Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。安装安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests-h
转载
2020-12-05 14:26:12
529阅读
点击上方蓝色小字，关注“涛哥聊Python”重磅干货，第一时间送达来源：Python编程开发Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好...
转载
2022-02-14 10:27:19
82阅读
Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。安装安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests-html只支持Python
转载
2021-04-22 13:16:54
184阅读
点击上方蓝色小字，关注“涛哥聊Python”重磅干货，第一时间送达来源：Python编程开发Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好...
转载
2021-07-06 17:37:49
172阅读
前言大家有没有发现之前我们写的爬虫都有一个共性，就是只能爬取单纯的html代码，如果页面是JS渲染的该怎么办呢？如果我们单
注：Python 版本依然基于 2.7前言之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。官方文档以下内容大多来自于官方文档，本文进行了一些修改和总结。要了解更多可以参考官方文档http://docs.pyt
原创
2020-11-19 23:26:47
1163阅读
为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。...
原创
2016-01-06 02:23:26
71阅读
omorrow是我最近在用的一个爬虫利器，该模块属于第三方的模块，使用起来非常的方便，只需要用其中的threads方法作为装饰器去修饰一个普通的函数，既可以达到并发的效果，本篇将用实例来展示tomorrow的强大之处。后面文章将对tomorrow的实现原理做进一步的分析。
转载
2021-07-13 15:02:35
233阅读
python 爬虫利器 Beautiful Soup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 这里不再介绍其安装过程，
原创
2021-09-26 16:07:16
289阅读
Python编程学习圈 4天前Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。安装安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests
转载
2021-04-04 15:25:17
342阅读
