sweetheart7_7的博客_爬虫笔记

爬虫小 tip

先用如下两种方法判断需要爬取的资源是否在返回的 html 中一.1）

爬虫

html

flask

xml

原创 2022-09-22 16:27:39 75 阅读

pymongo模块的使用

#-*-coding:utf-8-*-from pymongo import MongoClientclass TestMongo: def __init__(self): c

数据库

python

mongodb

数据

迭代

原创 2020-09-30 21:34:02 17 阅读

利用selenium实现自动翻页爬取某鱼数据

基本思路:首先用开发者工具找到需要提取数据的标签列表:利用xpath定位所有列表然后再逐个提取相应的数据:保存数据

python

selenium

javascript

js

数据

原创 2020-09-27 20:59:40 125 阅读

selenium的安装与使用

Selenium:Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而hrome版本

python

selenium

javascript

定位

chrome

原创 2020-09-27 16:44:08 931 阅读

json模块的简单使用

数据提取之JSON:JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编

字符串

python

json

数组

原创 2020-09-27 14:32:32 18 阅读

爬取某站并在提取数据后保存成格式化文件(csv)

from lxml import etreeimport requestsimport reclass QiuShiBai(object): def __init__(self): se

字符串

xpath

csv

curl

python

原创 2020-09-26 14:59:47 62 阅读

爬虫常见套路

xpath的包含//div[contains(@class,‘i’)]实现爬虫的套路准备url准备start_urlur

python

cookie

js

ajax

数据

原创 2020-09-26 11:55:11 52 阅读

Xpath与lxml类库

什么是XMLXML 指可扩展标记语言（EXtensible Markup Language）XML

python

xml

xpath

编程语言

html

原创 2020-09-26 10:44:11 66 阅读

re(正则表达式)模块

正则表达式匹配规则:正则表达式在线测试网站Python 的 re 模块:在 Python 中,我们可以使用内置的 re 模块来使用正则表达式.有一点需要特别注意的是,正则表达式使用对特殊字符进行转义,所以如果我们要使用原始字符串,只需加一个 r 前缀

字符串

python

正则表达式

子串

原创 2020-09-25 23:04:43 93 阅读

利用Chrome浏览器抓包

chrome浏览器的使用:开发者工具模式下: ctrl + shift + f 全局搜索url中的关键字

python

chrome

数据

抓包

js代码

原创 2020-09-25 22:48:04 602 阅读

Requets模块的使用(爬取简单网页和图片)

Requests 使用入门:requests的底层实现就是urllib.requests在python2 和py

python

cookie

http

post

jar

原创 2020-09-25 14:00:18 40 阅读

认识爬虫

爬虫的定义:网络爬虫（又被称为网页蜘蛛,网络机器人）就是模拟客户端发送网络请xtHTTP和HTTPS:HTTP 超文

python

网络

http

ico

服务器

原创 2020-09-25 13:56:28 52 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

学习笔记

爬虫小 tip

pymongo模块的使用

利用selenium实现自动翻页爬取某鱼数据

selenium的安装与使用

json模块的简单使用

爬取某站并在提取数据后保存成格式化文件(csv)

爬虫常见套路

Xpath与lxml类库

re(正则表达式)模块

利用Chrome浏览器抓包

Requets模块的使用(爬取简单网页和图片)

认识爬虫