Python爬虫基础 一、爬虫的概念 简单说法：模拟浏览器，发送请求，获取响应。 网络爬虫：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，模拟客户端自动发送网络请求，接收请求响应，自动地抓取万维网信息的程序或者脚本。&nb
转载
2023-09-01 11:43:45
28阅读
什么是Request,Response浏览器发送消息给网址所在的服务器，这个过程就叫做HTPP Request服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应的处理，然后把消息回传给浏览器，这个过程就是HTTP Response浏览器收到服务器的Response信息后，会对信息进行相应的处理，然后展示Request中包含什么？请求方式主要有：GET/POST两种类型常用，另外还有
转载
2023-06-19 21:12:00
155阅读
对于网络爬虫技术的学习，其他教学很少有从整体结构来说的，多数是直接放出某部分代码。这样的方法会使初学者摸不着头脑：就好像是盲人摸象，有人摸到的是象腿，以为是一根大柱子；有人摸到的是大象耳朵，以为是一把大蒲扇等。本篇讲解的目的，是让大家先对爬虫概念有个比较深入的认识。一、爬虫的定义所谓爬虫，就是请求网站并提取自己所需要数据的过程。通过我们的程序，可以代替我们向服务器发送请求，然后进行批量的数据下载。
转载
2023-09-12 16:49:09
64阅读
一、什么是爬虫：网络爬虫也叫网络蜘蛛，它指一类自动批量下载网络资源的程序。通过编写程序，模拟浏览器上网，然后让其去互联网抓取数据的过程。如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物。而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据。二、爬虫的应用1、数据采集：  
转载
2023-12-08 22:50:53
4阅读
爬虫的使用：爬虫用来对网络的数据信息进行爬取，通过URL的形式，将数据保存在数据库中并以文档形式或者报表形式进行展示。爬虫可分为通用式爬虫或特定式爬虫，像我们经常用到的搜索引擎就属于通用式爬虫，如果针对某一特定主题或者新闻进行爬取，则属于特定式爬虫。一般用到的第三方库有urllib、request、BeautifuiSoup。经常用到的框架为Scrapy和PySpider爬虫的爬取步骤：获取指定的
转载
2023-05-31 09:18:15
41阅读
一.HTTP协议1.官方概念：HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧......）2.白话概念：HTTP协议就是服务器（Server
转载
2023-07-17 20:36:14
8阅读
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从reque
转载
2023-06-16 10:41:39
85阅读
Python爬虫笔记（一） 文章目录Python爬虫笔记（一）一、爬虫的基本流程二、有关浏览器的基本操作1、查看页面HTML元素2、请求头、响应头三、Python爬虫常用函数1、Requests模块（1）安装及官方中文文档链接（2）发送请求获取响应方法（3）常见response响应对象方法（4）带请求头的请求2、Beautiful Soup模块（1）安装及官方中文文档链接（2）解析文本提取关键数据
转载
2023-10-09 16:46:11
3阅读
自己动手的第一个python爬虫，脚本如下：1 #!/usr/bin/python
2 # -*- coding: UTF-8 -*-
3 import requests
4 import re
5 # 下载一个网页
6 url = 'http://www.jingcaiyuedu8.com/novel/BaJoa2/list.html'
7 # 模拟浏览器发送http请求
8 re
转载
2023-06-19 10:45:41
77阅读
我们编写网络爬虫主要目的是爬取想要的数据和通过爬虫去自动完成我们想在网站中做的一些事情。那么如何编写Python网络爬虫？遇到具有反爬,加密的网站，爬虫拿不到数据，以及登录验证等问题如何解决呢？不如一起来看看吧！ 先来看一段简单的代码。import requests #导入requests包
strhtml = requests.get(url) #get方式获取网页数据
print(s
转载
2023-07-04 17:54:16
73阅读
python爬虫基础一、爬虫的基础概念（一）爬虫在应用场景中的分类（二）反爬机制（robots.txt协议）（三）超文本传输协议1. http协议2. https协议二、requests模块（一）requests库介绍（二）requests的方法1. requests.request()方法2. requests.get()方法3.requests.head()方法4. requests.pos
转载
2023-08-07 16:55:19
32阅读
# Python爬虫中的Class：重构和面向对象的编程
在网络爬虫的开发中，采用面向对象编程（OOP）能够提升代码的可维护性和重用性。Python的`class`提供了一种组织代码的方式，使得代码更清晰易懂。本文将通过示例介绍如何在Python爬虫中使用`class`。
## 一、什么是网络爬虫？
网络爬虫是一种自动访问互联网并提取信息的程序。通过爬虫，我们可以收集数据，进行数据分析，甚至
（一）人性化的Requests库在Python爬虫开发中最为常用的库就是使用Requests实现HTTP请求，因为Requests实现HTTP请求简单、操作更为人性化。参考资料：快速上手—Requests 登陆操作：模拟登录知乎（二）get请求的基本用法def get(url, params=None, **kwargs)get()函数：参数说明url向服务器发送url请求params添加查询参数
转载
2023-11-04 20:37:30
70阅读
Python爬虫篇（一）初步认识爬虫浏览器的工作原理爬虫的工作原理体验爬虫BeautifulSoup解析数据、提取数据解析数据提取数据find()和find_all()Tag对象使用对象的变化过程 初步认识爬虫爬虫，从本质上来说，就是利用程序在网上拿到对我们有价值的数据。爬虫能做很多事，能做商业分析，也能做生活助手，比如：分析北京近两年二手房成交均价是多少？深圳的Python工程师平均薪资是多少
转载
2023-10-24 21:37:16
62阅读
原创 麦自香 Python爬虫案例 当我们初学爬虫的时候，我们都会选择一些最基本的网站，往往不带任何反爬措施。比如某个博客站点，我们要爬全站的话，就顺着列表页爬到文章页，再把文章的时间、作者、正文等信息爬下来就可以了。那代码怎么写呢？一般的情况我们都是使用 Python 的 requests 等库就够了，写一个基本的逻辑，顺着把一篇篇文章的源码获取下来，解析的话会用到 XPath、B
转载
2023-10-10 10:31:02
52阅读
一、什么是接口？ 1）接口主要负责前端（包含客户端）与服务端进行数据通信的一种数据交互方式。最常见的接口协议是HTTP接口，接口会返回通用的数据类型（html/xml/json）。 接口有多种请求方式，最常见的为get和post请求。 2）get请求和post请求区别 get请求多用于从服务端获取数据，通常只需要通过浏览器直接访问，使用"?"来传
转载
2024-01-15 03:18:21
81阅读
# Python爬虫中span元素的使用
在现代网页构建中，`` 标签是一个非常常用的元素。它是一个行内元素，可以用于标记文本或其他行内元素，而不一定需要在页面上创建一个新的块级元素。对于使用 Python 进行网页爬虫时，理解 `span` 元素的使用至关重要，因为很多网页中的信息都是嵌套在这些 `span` 标签中的。
## 什么是Python爬虫？
Python爬虫是一种使用Pytho
1，编码问题：设置文件编码格式utf-8 出现问题的原因：程序中的编码错误，python默认是acii模式，没有支持utf8，代码的第3行中出现了“年 月 日”这几个汉字，所以出现了错误。
2
解决方法：源代码文件第一行添加：#coding:utf-8，这样就可以避免了。参考下图。
步骤阅读
转载
2023-10-18 17:09:20
77阅读
前言如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。应
转载
2023-08-29 23:05:57
0阅读
老猿在学习Python中爬虫知识时遇到了如下问题：爬取网页内容后写入文件报错UnicodeEncodeError: ‘gbk’ codec can’t encode的问题解决方案urllib.request.urlopen(req).read().decode解析http报文报“‘utf-8’ codec can’t decode”错
转载
2023-07-07 23:57:26
81阅读
