初衷1.增加本人csdn访问量2.当作一个Python的练手项目3.想写出更优质的博
原创
2022-12-29 15:34:43
82阅读
这个就比较简单了没有什么好强调的，如果返回的json 就是直接按照键值取，如果是网页就是用lxml模块的html进行xpath解析。
转载
2018-06-12 21:23:00
179阅读
2评论
HTML下载模块 该模块主要是根据提供的url进行下载对应url的网页内容。使用模块requets-HTML，加入重试逻辑以及设定最大重试次数，同时限制访问时间，防止长时间未响应造成程序假死现象。 根据返回的状态码进行判断如果访问成功则返回源码，否则开始重试，如果出现异常也是进行重试操作。
转载
2018-06-12 21:08:00
244阅读
2评论
上一篇文中我们用到了Python的几个模块做了百度新闻的爬取，这些模块他们在爬虫中的作用如下：
原创
2023-01-04 09:20:26
291阅读
下方查看历史精选文章重磅发布 - 自动化框架基础指南pdfv1.1大数据测试过程、策略及挑战测试框架原理，构建成功的基石在自动化测试工作之前，你应该知道的10条建议在自动 ...
原创
2023-05-16 17:54:40
55阅读
好的，这是一个使用 Python 的爬虫代码的示例：import requests
from bs4 import BeautifulSoup
def crawl(url):
# 通过 requests 库发送 HTTP GET 请求
resp = requests.get(url)
# 将响应的 HTML 代码解析为一个 BeautifulSoup 对象
soup = Beau
转载
2023-07-02 11:44:09
166阅读
1.XMLXML虽然比JSON复杂，在Web中应用也不如以前多了，不过仍有很多地方在用，所以，有必要了解如何操作XML。DOM vs SAX操作XML有两种方法：DOM和SAX。DOM会把整个XML读入内存，解析为树，因此占用内存大，解析慢，优点是可以任意遍历树的节点。SAX是流模式，边读边解析，占用内存小，解析快，缺点是我们需要自己处理事件。正常情况下，优先考虑SAX，因为DOM实在太占内存。在
转载
2023-09-06 10:36:39
116阅读
引入 大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，在聚焦爬虫中使用数据解析。所以，我们的数据爬取的流程为：指定url基于requests模块发起请求获取响应中的数据数据解析进行持久化存储 数据解析： - 被应用在聚焦爬虫。解析的数据存储在标签之间或者标签对应的属性中 BeautifulSoup解析环境安装
转载
2024-05-30 23:01:30
118阅读
做了一段时间爬虫，主要通过python架构scrapy来抓去结构化的数据，在此做一些总结：1. html的解析：常见的思路有两类：第一类是htmlparser等，通过start_blabla, do_blabla, end_blabla来处理对于不同tag下的内容，个人不太喜欢这种方式，因为如果需要抽取body/content/a/tr/td...这样的内容，得写好多函数，太不简洁了第二类是scr
转载
2023-10-08 13:03:56
191阅读
一、概述什么是html，网络爬虫？ 什么是html这里就不多说了，那么什么是网络爬虫呢？是不是在网络上怕的虫？哈哈，简直是弱爆了，在前面扯淡的内容中提到了，我喜欢爬各种网站，我爬过我学校的官网和教务管理系统，爬过各种IT网站，做了个简单的新闻客户端。网络爬虫其实是指自动地抓取万维网信息的程序或者脚本，或者说是动态地抓取网站数据的程序。怎样解析html? 这里我们通过Java解析html的利器Jso
转载
2023-11-01 21:59:04
6阅读
爬虫1. 爬虫在使用场景中的分类通用爬虫:抓取系统重要组成部分。抓取的是一整张页面数据。聚焦爬虫:是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。增量式爬虫:检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。2. 反爬反爬机制门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。反反爬策略爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站robots.txt协议:君子协议。规定了网站中哪
原创
2021-09-02 15:56:52
242阅读
之前一直沉溺于java，jsp，ssh，db等爬虫，现在又要开始走python的老路了。常用的requests库，通过requests对象的get方法，获取一个response对象。jsp的东西。
原创
2023-04-11 13:52:09
128阅读
HTML介绍 Web服务本质 import socket sk = socket.socket() sk.bind(("127.0.0.1
原创
2022-08-22 17:54:59
634阅读
什么是前端？ 只要是跟用户打交道的界面都可以称之为前端 例如：电脑界面、手机界面、平板界面 什么是后端？ 不跟用户直接打交道的都可以称之为后端 例如：python、Java、go 为什么要学前端？ 为了成为全栈工程师 前端、后端、数据库、linux 前端学习历程 1、HTML：网页的骨架，没有任何的 ...
转载
2021-09-06 20:19:00
45阅读
2评论
1、web服务的本质浏览器发请求-->HTTP协议-->服务端接收请求-->服务端返回响应-->服务端把HTML文件内容发给浏览器-->浏览器渲染页面之前学过用python方式实现C/S建立socket通信，浏览器与服务端实现通信是B/S架构服务端代码：importsocketserver=socket.socket()server.bind(("127.0.0.1"
原创
2018-03-12 11:27:16
641阅读
爬虫概述知识点：了解 爬虫的概念了解 爬虫的作用了解 爬虫的分类掌握 爬虫的流比如：
原创
2022-10-14 11:35:57
133阅读
# Python 爬虫保存 HTML 教程
在当今数据驱动的时代，网络爬虫正成为数据收集和分析的重要工具。对于刚入行的小白来说，学习如何使用 Python 爬虫来保存 HTML 页面是一个很好的起点。本文将详细介绍实现这一目标的步骤、所需的代码以及相关的解释。
## 整体流程
下面是实现 Python 爬虫保存 HTML 的步骤概述：
| 步骤 | 描述
# Python爬虫HTML信息实现教程
## 1. 整体流程
```mermaid
journey
title Python爬虫HTML信息实现流程
section 确定目标网站
选择目标网站
section 分析网页结构
分析网页结构，确定需要爬取的信息
section 编写爬虫代码
编写Python爬虫代码
原创
2024-03-25 06:55:54
22阅读
CSS选择器：BeautifulSoup4和lxml一样，Beautiful Soup也是一个HTML/XML的解析器，主要的功能也是如何解析和提取HTML/XML数据。lxml只会局部遍历，而Beautiful Soup是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup用来解析HTML比较简单，API非常人
转载
2023-09-05 09:30:41
103阅读
一、初识XpathXPath 常用规则表 达 式描 述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点…选取当前节点的父节点@选取属性1.实例引入现在通过实例来感受一下使用 XPath 来对网页进行解析的过程，相关代码如下：from lxml import etree
text = '''
<div>
<ul>
转载
2023-10-10 09:20:12
336阅读
