import refrom lxml import etreeimport datetimeimport osfrom pymongo import MongoClient######mongodb操作#######client=MongoClient('localhost',27017)db_name='58_ershoufang'db=client[db_name] #建立数据库#######
转载
2023-10-10 15:54:06
183阅读
导语前段时间在学习Python爬取豆瓣电影信息的过程中发现如果同一IP短时间内持续访问的话会导致IP地址被限制访问，页面提示要求登录。解决IP地址被封除了在爬取数据时增加延迟，另外一个方法就是使用代理。代理IP从何而来呢？一是网上购买，长期稳定使用；二是爬取代理网上的免费代理，绝大多数无法使用。本文以爬取西刺代理-国内HTTP代理为例，爬取网页数据、验证代理IP有效性并将有效的IP写入CSV文件：
转载
2024-08-13 15:45:27
56阅读
承接上文，将爬好的数据用python和jupyter进行处理分析。目录1初步探索2数据清洗2.1重复值处理 2.2缺失值处理 2.3字段类型转换3特殊处理4结果1初步探索 数据导入后，用da
转载
2023-12-31 22:20:30
960阅读
直接上成品代码吧 简单易懂import requests
from bs4 import BeautifulSoup
import re
import datetime
import time
import pyautogui as pag
import pyperclip
def check_recent():
headers = {
# 假装自己是浏览器，
转载
2024-02-02 10:32:28
898阅读
在这篇博文中，我将分享如何使用 Python 爬取晋江小说的过程。这个技巧可以帮助我们获取网络上的小说数据，进行文本分析或者构建自己的小说推荐系统。下面，我将从多个维度深入探讨这一过程。
### 背景定位
在数字化内容快速增长的今天，网络小说已经成为了许多读者日常生活的一部分。晋江文学城作为一个重要的小说平台，聚集了大量优秀的作品。然而，网页内容并不是直接可用的，若想从中提取信息，爬虫技术必不可
# Python爬虫：爬取晋江小说网站付费内容
在当今互联网时代，网络小说已经成为许多人的日常消遣。而晋江文学城作为国内知名的小说网站，拥有大量优质的小说资源，吸引了无数读者的关注。然而，有些小说是需要付费才能阅读的，这对于一些读者来说可能是一种障碍。那么，有没有办法通过Python爬虫来获取这些付费内容呢？接下来，我们就来介绍如何使用Python爬虫来爬取晋江小说网站的付费内容。
## 准备
原创
2024-05-23 04:41:07
1095阅读
在这篇博文中，我将分享我在爬取晋江小说时所经历的过程，包括背后的业务分析、演进历程、架构设计、性能优化、故障复盘及经验总结。
在当前的互联网小说市场中，晋江文学城是一个颇具影响力的平台，拥有大量优质小说。很多读者希望能够方便地获取这些资源，因此，爬取晋江小说的需求日益增长。以下是用户的原始需求：
> “我想要一个能批量下载晋江小说的工具，最好能支持自动更新。”
为了更好地理解技术债务的分布情
0引言学爬虫，拿平常看小说的绿色网站下手。爬取的数据主要分为两部分，收藏榜的小说信息和小说详情页的部分数据。1url解析1.1收藏榜url 通过点击榜单上侧选项（其实也可以用拼音猜一猜），观察url变化，寻找规律。如fw指代范围，fbsj指代发表时间，ycx指代原创性，以此类推。可以通过改变其后的数字，来
转载
2023-10-27 23:28:07
1066阅读
使用工具获取xpath路径查看网页编码对进程使用方法pool需要引入的函数才能使用，页面内的函数不能使用。from get_jinjian import get_text,get_seg,novel_dir,compare_word2vc,get_seg_hanlp
url='https://m.jjwxc.net/book2/4543143'
urls_list, title=novel_di
转载
2023-11-08 21:34:02
1030阅读
知识就像碎布，记得“缝一缝”，你才能华丽丽地亮相。1.Beautiful Soup1.Beautifulsoup 简介此次实战从网上爬取小说，需要使用到Beautiful Soup。Beautiful Soup为python的第三方库，可以帮助我们从网页抓取数据。它主要有如下特点：1.Beautiful Soup可以从一个HTML或者XML提取数据，它包含了简单的处理、遍历、搜索文档树、修改网页元
为了抓取晋江小说，我们需要使用Python编写一个爬虫程序。今天我就来给大家介绍这个过程，包括环境准备、步骤指导、配置解析、验证测试、优化技巧和扩展应用。让我们开始吧！
首先，在开始之前，我们需要设置我们的开发环境。Python是我们用于抓取网站内容的主要工具。确保你已经安装了 Python 以及一些必要的库，比如 `requests` 和 `BeautifulSoup`。
```bash
#
找到各类排行旁的的每一部小说的名字，和在该网站的链接。2.观察页的结构很容易就能发现，每一个分类都是包裹在：之中，这种条理清晰的网站，大大方便了爬虫的编写。在当前页面找到所有小说的连接，并保存在列表即可。3.列表去重的小技巧就算是不同类别的小说，也是会重复出现在排行榜的。这样无形之间就会浪费很多资源，尤其是在面对爬大量网页的时候。这里只要一行代码就能解决：这里调用了一个list的构造函数set：这
转载
2024-01-21 19:20:07
215阅读
项目背景好朋友说要换平台去晋江写书，想了解晋江现在什么类型比较火，这些受欢迎的书都是些什么题材元素，数据怎么样。她说都是自己看着榜单然后手动去复制粘贴到Excel里对比，手都累死了，于是我自告奋勇说帮她写爬虫脚本去抓数据（主要是网页端，跟她琢磨了一下需要哪些榜单哪些数据，发现还挺杂。因为我只看言情小说，所以只关注过言情频道，现在才发现原来晋江还分四个站点（言情，纯爱，衍生，原创），每个站点各自排榜
转载
2023-07-08 20:55:38
642阅读
点赞
2评论
我小编这次又给大家带来了python爬虫案例，这次我们爬取小说内容，喜欢看小说的同学可以收藏起来了！！和上篇一样我们先来分析一下项目，整理一下我们的爬虫思路，理清大体结构，看看我们需要哪些工具：项目分析我们首先来到网站的小说top榜查看一下网页源码还是可以清楚的看到top榜里的小说全都在标签中这就为我们的爬虫带来了很大的便利，只需要获取每个li标签里的内容就可以完成。 加下来我们找找文件在哪里下
转载
2023-08-07 16:35:06
1228阅读
# 如何实现Python爬取付费晋江小说代码
作为一名刚入行的小白，你可能对Python爬虫技术感到既好奇又困惑。本文将为你介绍如何使用Python实现爬取付费晋江小说的代码。我们将从整个流程的概述开始，然后逐步讲解每一步的实现。
## 爬虫流程概述
首先，让我们通过一个流程图来了解整个爬虫的实现过程：
```mermaid
flowchart TD
A[开始] --> B[分析目
原创
2024-07-22 10:57:03
533阅读
# Python爬晋江
## 简介
晋江文学城是一个专业的网络文学创作平台，提供了大量的原创小说和作品。对于喜欢阅读网络小说的用户来说，晋江是一个不错的选择。而对于一些开发者来说，也许会有兴趣通过爬虫技术获取晋江网站上的一些信息。本文将介绍如何使用Python爬取晋江网站的内容。
## 准备工作
在使用Python进行爬取之前，我们需要安装一些必要的库。其中，最重要的是`requests`
原创
2024-02-29 07:17:07
402阅读
# 用Python爬取晋江文学城的步骤详解
## 一、前言
在数字化时代，网络爬虫成为了数据获取的重要工具。尤其是对于那些热爱文学的朋友，爬取网站上的小说文本可以帮助他们保存和阅读感兴趣的作品。本文将以“晋江文学城”为例，介绍如何使用Python进行文本爬取。文章将详细讲解整个过程，并提供示例代码及其解释。
## 二、流程概述
在开始之前，我们先来了解一下整个流程。以下是爬取晋江文学城的步
# 爬取晋江有效搜藏数据的实现
## 1. 流程概述
为了实现利用Python爬取晋江有效搜藏数据，我们需要经过以下步骤：
1. 构建爬虫程序
2. 爬取晋江网站上的搜藏数据
3. 处理并保存爬取到的数据
下面将详细介绍每一步需要做什么以及所需的代码。
## 2. 构建爬虫程序
首先，我们需要安装Python的requests库和BeautifulSoup库来进行网页的爬取和解析。
```
原创
2024-05-13 03:29:07
118阅读
目录1. lxml库1.1 XPath简介1.2 XPath属性匹配1.3 节点轴选择2. 使用XPath爬取书单1. lxml库lxml是功能最丰富且易于使用的库，用于处理Python语言中的XML和HTML，还可实现WEB爬取，简言之主要功能是解析和提取 HTML/XML 数据，官文参考：https://lxml.de/index.html，完整的PDF文档下载链接https://l
转载
2024-04-17 19:54:53
431阅读
# Python爬取晋江VIP文的完整指南
在当今信息泛滥的互联网时代，掌握爬虫技术可以帮助我们快速获取想要的信息。本文将为你提供一个详细的教程，教会你如何用Python爬取晋江文学城的VIP文章。我们将从整体流程入手，到具体实现步骤，逐步引导你完成这个任务。
## 整体流程
以下是爬取晋江VIP文的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 确定
原创
2024-10-11 07:50:24
1535阅读
