首先查阅资料，这篇文章教你使用python编译一个exe程序 大致方法如下： pyinstaller -F --icnotallow=my.ico test.py #打包成exe，并设置图标（我当然选择在网上搜索一个好看的图标，转换为ico） pyinstaller -F -w yourfilename.py #打包成exe,且不包含控制台如果按照上面编译生成exe顺利，请忽略下面所有内容。敲黑板
转载
2023-08-17 16:54:37
74阅读
1、识别反爬虫机制及应对策略1.1 测试网站是否开启了反爬虫随着互联网技术的日益革新，大多数的网站都会使用反爬虫机制。我们在爬取目标页面之前，第一步就是要识别需不需要应对网站的反爬虫，常见的测试方式有：<1>、使用 requests 模块提供的 API# 以get方式发送请求，暂时不加入请求头
response = requests.get(url)
if response.
当我们对网站进行数据采集的过程中，经常遇到这样的情况，爬着爬着就提示错误，比如403 Forbidden。出现这种问题是因为网站设置了发爬虫，服务器会检测ip的请求次数，抓取频率超出某个阀值，就会被拒绝服务，禁止访问，尤其是一些大型网站。通常，网站会根据IP标识爬虫设置反爬虫策略。除了降低请求频率，减轻服务器压力外，最简单有效的解决方式就是使用HTTP代理IP。 什么是爬虫代理IP代理
最近在学爬虫时发现许多网站都有自己的反爬虫机制，这让我们没法直接对想要的数据进行爬取，于是了解这种反爬虫机制就会帮助我们找到解决方法。 常见的反爬虫机制有判别身份和IP限制两种，下面我们将一一来进行介绍。 目录(一) 判别身份(二) IP限制 (一) 判别身份首先我们看一个例子，看看到底什么时反爬虫。 我们还是以 豆瓣电影榜top250(https://movie.douban.com/top25
转载
2023-08-17 16:43:27
74阅读
## Python反爬虫机制 Referer
### 1. 简介
在网络爬虫中，我们经常会遇到一些网站采取反爬虫机制来阻止爬虫获取数据。其中一个常见的反爬虫策略就是基于Referer（引荐）的机制。服务器通过检查请求头中的Referer字段来判断请求的来源，如果没有合法的Referer或者Referer被篡改，服务器就会拒绝响应请求。
在本文中，我将教会你如何在Python中实现Refere
原创
2023-12-29 08:57:44
467阅读
前言上次我们通过glidedsky的第一关实现了获取到单页的数据，但是可能有些小伙伴会觉得只是获取到一些数字并不能直观的体现出Python爬虫的方便之处。 所以今天我跟大家分享一个小小的案例，这不是在家空闲时间比较多，又不想太过于颓废，于是我打算在豆瓣挑选一些评分比较高的书分享给大家。 当然手动筛选工作量太大了，所以我决定用python写一个爬虫，爬取豆瓣图书TOP250的简单数据，并整理成表格保
转载
2024-07-29 12:01:34
15阅读
根爬取数据类型而分，爬虫有不少种类，比如爬取Email地址的、爬取商品价格的、爬取图片的，而最多的是爬虫内容的。内容数据爬虫是为泛滥的！爬虫让很多人对其深感苦恼，今天，带大家来了解一个爬虫终结者，对内容数据防护非常强劲，几乎可以100%拦阻所有内容爬虫！它就是ShareWAF-ACS。 ACS是Anti Content Spider的简称缩写，直面其意：反内容爬虫。是国内安全厂商ShareWAF推
转载
2024-07-31 20:12:40
55阅读
请求库：1. requests 这个库是爬虫最常用的一个库2. Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。3.ChomeDrive 安装了这个库，才能驱动Chrome浏览器完成相应的操作4.GeckoDriver&n
转载
2024-02-03 10:29:43
41阅读
# jQuery 自定义 Referer
## 引言
在互联网应用开发中，`Referer` 是一个常见的 HTTP 请求头字段，用于表示当前请求的源地址。默认情况下，浏览器会自动将当前页面的地址作为 `Referer` 发送给服务器。然而，有时我们希望自定义 `Referer` 的值，以达到一些特定的目的，比如绕过某些防盗链机制、隐藏真实的请求来源等。
本文将介绍如何使用 jQuery 实
原创
2023-08-21 06:56:45
425阅读
# Axios自定义Referer：一个实用的功能
在现代Web应用中，跨域请求是一个常见的问题。为了保证安全性，浏览器会限制某些请求的来源信息，其中“Referer”字段就扮演了重要角色。`Referer`头信息告知服务器请求是从哪个URL发起的。在需要自定义请求来源的场景中，Axios提供了简单且灵活的方式来设置`Referer`头部。
## 什么是Axios?
Axios是一个基于Pr
# 使用 Axios 自定义 Referer 的指南
在进行 Web 开发时，有时你需要自定义 HTTP 请求的 Referer 头。Referer 头通常用于标识从哪个页面或 URL 发起的请求。本文将通过使用 Axios 来实现这一功能。我们将从整个流程开始，详细分解每一个步骤，确保你在实现的过程中能够理解每一步的作用。
## 1. 整体流程概述
让我们先看一下整个操作的流程。下表展示了
原创
2024-10-18 08:35:16
153阅读
# Python中的headers Referer详解
在网络编程中，常常需要发送HTTP请求来与服务器进行交互。而在发送HTTP请求时，经常会使用headers来设置一些请求头信息，其中referer就是其中之一。本文将介绍headers referer在Python中的使用方法。
## 什么是referer？
referer是HTTP请求头中的一个字段，用来标识请求是从哪个URL来源的。
原创
2024-05-01 07:45:33
86阅读
一、爬虫简介1.1 爬虫的定义网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动批量化地抓取万维网信息的程序或者脚本。自动批量化的抓取既有数据 模拟客户端发送请求，接受数据1.2 爬虫的用处数据分析/人工数据集 社交软件冷启动 竞争对手监控 舆情监控1.3爬虫的分类1.通用爬虫： 抓取的数据大多是无用的，不能根据用户的需求来精准获得数据
转载
2024-04-10 18:24:01
27阅读
1.概念弱引用：不会增加对象的引用数量，不会妨碍所指对象（referent）被当作垃圾回收。弱引用可用于解决循环引用的问题。弱引用在缓存应用中很有用，因为不想仅仅因为对象被缓存引用着而始终被保持。2.弱引用的创建2.1创建弱引用通过调用 weakref 模块的 ref(obj[,callback]) 来创建一个弱引用，obj 是你想弱引用的对象， callback 是一个可选的函数，当因没有引用导
转载
2024-01-17 06:55:29
101阅读
# Python 设置 Referer
在现代网络开发中，HTTP 请求的header中常常需要携带一些信息，以便于服务器能够正确地处理请求。其中一个重要的字段就是 `Referer`。这个字段可以告诉服务器当前请求是从哪个页面过来的。为了保护用户隐私，很多情况下我们需要手动设置 `Referer` 字段。本文将详细介绍如何在 Python 中设置 `Referer`，并配以代码示例和图示来帮助
# Python Requests Referer的实现
## 1. 介绍
在使用Python进行网络请求时，经常会遇到需要设置Referer的情况。Referer是HTTP请求头字段之一，用于表示当前请求的来源页面的URL。它在一些网站中被用来进行防盗链或者身份验证等操作。在本文中，我将向你介绍如何使用Python的requests库来设置Referer。
## 2. 实现步骤
### 2
原创
2023-12-21 05:59:47
525阅读
（四）Python学习之字符串常用操作（下）七.其他常用操作 1.format(*args，**kwargs)： 格式化字符串，将一个字符串中的占位符替换为指定的值；format 函数可以接受不限个参数，位置可以不按顺序；print("网站名：{name}, 地址 {url}".format(name="ZFF", url="www.zff.com"))
# 通过字典设置参数
site = {"n
转载
2024-07-13 04:48:18
27阅读
## 实现 Python 指定 Referer 的流程
在实现 Python 指定 Referer 的过程中，我们需要按照以下步骤进行操作：
| 步骤 | 说明 |
| --- | --- |
| 1 | 导入所需模块 |
| 2 | 构造请求头 |
| 3 | 发送请求 |
下面，我们将逐步介绍每个步骤所需的代码及其注释。
### 步骤 1：导入所需模块
首先，我们需要导入 `requ
原创
2023-07-31 10:48:34
542阅读
1. __str__ 和 __repr__Python的内置函数 repr() 能够把对象用字符串的形式表达出来，方便我们辨认。这就是“字符串表示形式”。根据 Python 文档中定义__str__ ：通过 str(object) 以及内置函数 format() 和 print() 调用以生成一个对象的“非正式”或格式良好的字符串表示。返回值必须是字符串对象。__repr__：
一、缘由 在梨视频等一些网站中会使用防盗链作为反爬的基础方法，这个反爬并不严重，只是平时的时候需要多加留意。此次实现对应链接中梨视频的下载。 二、代码实现 #1、拿到contid #2、拿到videoStatus返回的json.-> srcURL #3、srcURL里面的内容进行修整 成为src # ...
转载
2021-08-06 00:45:00
604阅读
3评论
