小白学Python爬虫Xpath 返回空列表的问题，全网都没有说过的问题一定记住，用浏览器抓的Xpath 不一定适用Xpath的变化 一定记住，用浏览器抓的Xpath 不一定适用很多人都习惯用浏览器抓的Xpath直接用在python里，然后经常会遇到抓完后返回的是空list 我也是初学，然后我就遇到了这种问题。于是开始全网找这个问题的解决方案，不幸的是翻遍了整个百度、整个C站，所有跟此类问题有关
转载
2024-05-30 17:23:11
112阅读
# Python爬虫爬取内容并写入文件的实现方法
## 概述
本文将教会你如何使用Python爬虫爬取网页内容，并将获取的数据写入到文件中。整个流程可以分为以下几个步骤：
1. 发送HTTP请求，获取网页内容
2. 解析网页内容，提取需要的数据
3. 将数据写入文件
下面我们将详细介绍每个步骤的实现方法。
## 步骤一：发送HTTP请求
首先，我们需要使用Python发送HTTP请求，以
原创
2023-10-03 07:20:36
911阅读
爬虫简介：WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核)，它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。爬虫内核：WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。量级：WebCollector最常用的爬
转载
2024-07-10 15:04:45
43阅读
## 用Python爬虫去掉回车的实现方法
作为一名经验丰富的开发者，我将教会你如何使用Python爬虫去掉回车。在这篇文章中，我将为你展示整个实现流程，并提供每一步所需的代码和注释。
### 1. 整体流程
下面的表格展示了整个实现流程：
| 步骤 | 描述 |
|:-----|:-------------------------
原创
2023-09-14 21:58:36
109阅读
爬虫-文字
爬取import re
import requests
respone = requests.get('https://ishuo.cn/') ##获取网站url
data = respone.text ##把字符串转化成文本
result_list = re.findall('<div class="content">(.*?)</div>',data) ##找
转载
2024-03-05 08:46:17
73阅读
import pymssql #引入pymssql模块import sysfrom bs4 import BeautifulSoup # 网页解析，获取数据import re # 正则表达式，进行文字匹配import urllib.request, urllib.error # 制定URL,获取网页
原创
2021-11-30 11:11:31
515阅读
话不多说，直接上代码，代码里写了注释，有兴趣讨论一下的，欢迎指点评论。import time
from urllib.request import urlopen,Request
#引入回车键的包,这些都是基本配置
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from selenium
转载
2023-09-02 17:53:46
387阅读
转载这篇文章主要是了解python反爬虫策略，帮助自己更好的理解和使用python 爬虫。1、判断请求头来进行反爬 这是很早期的网站进行的反爬方式 User-Agent 用户代理 referer 请求来自哪里 cookie 也可以用来做访问凭证 解决办法：请求头里面添加对应的参数（复制浏览器里面的数据）2、根据用户行为来进行反爬 请求频率过高，服务器设置规定时间之内的请求阈值 解决办法：降低请求频
转载
2023-07-23 22:29:49
355阅读
我因为做视频的需要所以想下一些漫画的图片，但是大家都知道想搞一堆jpg格式的漫画图片在正规渠道继续不太可能。所以我们就选择使用python爬取 本来我是想那某个B开头的网站开刀，但是很遗憾，他们的漫画每一页都是动态网页刷新图片，并且，从网络流翻出的图片的源文件的地址，会发现他们都被加密了（个人感觉是32位MD5加密），我们完全没办法破解并找到其中的规律。链接实例：blob:https://mang
转载
2024-02-02 17:51:42
54阅读
本文介绍两种方式来实现python爬虫获取数据，并将python获取的数据保存到文件中。一、第一种方式：主要通过爬取百度官网页面数据，将数据保存到文件baidu.html中，程序运行完打开文件baidu.html查看效果。具体代码中有详细的代码解释，相信刚入门的你也能看懂~~说明一下我的代码环境是python3.7，本地环境是python2.x的可能需要改部分代码，用python3.x环境的没问题
转载
2020-08-29 17:45:00
341阅读
大家好，今天小编又和大家见面了，我是团队中的python高级研发工程师，日常工作是开发python代码；偶尔还要来平台写写文章；最近老板又给我安排一个活：帮助粉丝解决各种技术问题。是的，朋友们如果在做项目或者写代码的过程中遇到了问题，欢迎私信小编，小编每天都会抽出一定的时间来帮忙解决粉丝朋友们的问题。此外，朋友们还可以私信来索取精美简历模板哦。 问题描述今天这位朋友的问题是，他在win
转载
2023-11-06 14:21:45
80阅读
# 使用Python爬取台风数据并存储到MongoDB
台风数据的收集对于气象研究和防灾减灾具有重要意义。通过数据爬取技术，我们可以从各类网站提取到实时的台风信息，并将其存储在数据库中以便后续分析。本文将介绍如何使用Python爬取台风数据并将其存储到MongoDB。同时，我们将绘制甘特图和状态图，以更好地展示工作进度和状态。
## 一、环境准备
在开始编码之前，我们需要安装一些必要的Pyt
原创
2024-09-24 06:31:09
52阅读
1、 什么是爬虫？【考核知识点：爬虫概念】爬虫又叫网页蜘蛛，是模拟人操作客户端向服务器发起请求，抓取数据的自动化程序或脚本。2、 爬虫的分类，并解释其概念？【考核知识点：爬虫分类】爬虫根据其作用及服务的主体不同可分为两类: 通用爬虫 、聚焦爬虫通用爬虫是用来获取数据为搜索引擎 提供检索服务的爬虫程序, 所以搜索引擎背后都有一个强大的通用爬虫.聚焦爬虫是针对特定领域抓取特定数据的爬虫程序.3、 ro
转载
2023-11-21 11:34:29
282阅读
# 如何使用Python实现爬虫爬取电影
## 整体流程
首先，让我们看一下整个爬虫爬取电影的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 确定目标网站 |
| 2 | 分析网站结构 |
| 3 | 编写爬虫代码 |
| 4 | 爬取数据 |
| 5 | 保存数据 |
## 具体步骤及代码
### 步骤一：确定目标网站
首先，我们需要确定一个目标网站，
原创
2024-06-16 05:18:05
10000+阅读
同时参考了各种杂乱的网站与视频hh内容更多的是自己的笔记与总结Python版本： Python3 运行平台： Windows IDE： pycharm目标：爬取小说！！一，爬取小说内容先随便选了一篇简单的【小说内容】进行爬取#coding = utf-8
import urllib.request
from bs4 import BeautifulSoup
url = 'http://w
## 爬虫爬小说 Python
### 1. 爬虫简介
爬虫是指通过程序自动获取网页数据的行为。在互联网时代，爬虫被广泛应用于信息收集、数据分析等领域。
在Python中，我们可以使用第三方库如Requests、BeautifulSoup等来编写爬虫程序。通过发送HTTP请求获取网页内容，然后使用解析库解析网页数据，最后提取所需信息。
### 2. 爬虫爬取小说示例
在这里，我们将以爬取
原创
2023-12-12 12:38:52
75阅读
# Python 爬虫与反爬虫技术
网络爬虫是指自动访问互联网并提取数据的程序。它们通常用于收集信息、做市场调研或进行竞品分析。然而，爬虫也可能会对网站造成负担或侵犯其使用条款，因此许多网站会采取反爬虫措施来保护自己的数据。
在本文中，我们将探讨一些常见的反爬虫技术，并提供Python代码示例来帮助你理解爬虫与反爬虫之间的博弈。
## 1. 爬虫基础
爬虫通常使用HTTP请求来获取Web页
反爬原因 爬虫占总PV高，浪费了服务器的流量资源 资源获取太多导致公司造成损失 法律的灰色地带 种类 数据污染反爬，数据陷阱反爬，大文件url反爬，这些都需要累计熟练度来进行处理 解决方案：没有什么技巧，都是通过观察，如果提取不到想要数据就需要多尝试，这是一个熟练度的问题 数据加密反爬，猫眼电影评分 ...
转载
2021-09-16 08:46:00
335阅读
2评论
首先这个代码不是俺这个小白写的。但是毕竟学过几天python ，所以大部分还是能看懂。 爬下来5W多张美女图片啊，把我给激动的。 源代码拿过来的时候，因为是多线程，导致一爬，就把我的IP给封了，可能是访问速度太快，网站启动了保护机制。 后面自己加了几个sleep，这个问题就迎刃而解了。 哈哈。 直接
转载
2021-04-13 17:49:22
400阅读
来说先说爬虫的原理：爬虫本质上是模拟人浏览信息的过程，只不过他通过计算机来达到快速抓取筛选信息的目的所以我们想要写一个爬虫，最基本的就是要将我们需要抓取信息的网页原原本本的抓取下来。这个时候就要用到请求库了。requests库的安装requests库本质上就是模拟了我们用浏览器打开一个网页，发起请求是的动作。它能够迅速的把请求的html源文件保存到本地安装的方式非常简单：我们用PIP工具在命令行里
