一、准备工作涉及到的库及对应的作用：requests:用于获取get请求Beautiful Soup4：用于网页解析re：正则表达式os：系统相关操作time：获取的时间1.安装BS4：在命令窗口的D:\Python\Scripts目录下(此处的路径为你Pyhon的安装目录里面的Scripts文件夹)，输入pip install beautifulsoup4回车，得到如图1说明安装成功2.安装re
转载
2024-02-23 11:39:43
771阅读
网络爬虫是在互联网上自动获取信息的程序。Python是一种功能强大且易于使用的编程语言，被广泛应用于爬虫编程。如果你想学习如何使用Python编写一个简单的爬虫，本指南将为你提供入门级的教程，帮助你从零开始创建一个基本的网络爬虫。第一步是了解HTTP请求和响应。Python的 requests 库是一个方便且好用的HTTP请求库，你可以使用它来发送 HTTP 请求并处理响应。通过 requests
转载
2023-07-07 10:56:18
60阅读
没来做翻页，只爬第一页 import loggingimport requestsimport bs4import jsonimport psycopg2from io import StringIOlogging.basicConfig(level=logging.INFO, format='%( ...
转载
2021-09-09 16:58:00
320阅读
2评论
相信在座各位应该没有几个不看小说的吧，嘿嘿~一般来说咱们书荒的时候怎么办？自然是去起某点排行榜先找到小说名字，然后再找度娘一搜，哎 ，笔趣阁就出来答案了，美滋滋~但是那多麻烦，咱们直接用python，直接全部下载下来慢慢看不就好了~小孩子才做选择，成年人选择都要…好了，不啰嗦了，等下大家要骂我了~准备工作环境模块咱们没装软件的装一下软件，没装模块的装一下模块，软件我就不讲了。模块咱们用到的是这两个
转载
2024-01-09 13:55:18
66阅读
起点中文网，在“数字”上设置了文字反爬，使用了自定义的文字文件ttf
通过浏览器的“检查”显示的是“□”，但是可以在网页源代码中找到映射后的数字
正则爬的是网页源代码，xpath是默认utf-8解析网页数据，用xpath爬出来的也是方框，因此只能使用正则匹配爬取关键数字信息本例以小说《斗罗大陆》为例 https://book.qidian.com/info/1115277，爬取阅读量等数字信息爬取
转载
2023-08-06 21:39:47
1477阅读
前言：本篇博客将爬取顶点小说网站全部小说、涉及到的问题有：Scrapy架构、断点续传问题、Mongodb数据库相关操作。背景：Python版本：Anaconda3运行平台：WindowsIDE：数据库：MongoDB浏览器工具： Chrome浏览器前面的博客中已经对Scrapy作了相当多的介绍所以这里不再对Scrapy技术作过多的讲解。一、爬虫准备工作：此次我们爬取的是免费小说网站：
转载
2023-11-19 10:28:03
640阅读
一、选题背景通过爬取起点中文网热门小说信息，可以时实的了解到现在，热门小说的写作方向、主题等，也可以大致了解读者对小说的消费情况。二、主题式网络爬虫设计方案1.主题式网络爬虫名称起点中文网热门小说信息爬取2.主题式网络爬虫爬取的内容与数据特征分析爬取起点中文网 https://www.qidian.com/ 热门小说信息（小说名称，推荐数量），在分析小说的多个特征值时，本文提取了推荐数量
转载
2023-08-09 19:42:17
913阅读
思路：先打开晋江任意一篇小说的第一章，然后爬取该章节的名字、内容，以及该小说的名字，下一章节的链接；利用下一章节的链接实现重复的爬取，其中章节的名字、内容、小说名字存储在item字典中；最后将爬取到的内容进行整理写入txt文件。 其实也可以在目录页提取各个章节的链接进行爬取，实现的是前一种方法。1.创建项目创建Scrapy项目，在shell中使用scrapy startproject命令：scra
转载
2023-09-02 11:20:55
1522阅读
这几天在学习scrapy框架，感觉有所收获，便尝试使用scrapy框架来爬取一些数据，对自己阶段性学习进行一个小小的总结本次爬取的目标数据是起点中文网中的免费作品部分，如下图：本次一共爬取了100本小说，并对爬取结果进行以下两种存储;1.把小说内容分章节写入txt中2.把小说的内容存入sqlserver中如下： 实现的逻辑：1.通过书的列表页获得每本书的具体url；2.通过书
转载
2024-02-22 22:39:11
254阅读
一.概述本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。二.创建项目scrapy startproject name 通过终端进入到你创建项目的目录下输入上面的命令就可以完成项目的创建.name是项目名字. 三.item的编写我这里定义的item中的title用来存书名,desc用来存书的内容.、四.pipelines的编
原创
2024-05-17 16:45:51
160阅读
# Python 起点：探索与学习
Python 是一种广泛应用的高级编程语言，以其简单易用的特性而受到开发人员和初学者的青睐。本篇文章将为初学者提供一个全面的入门指南，涵盖 Python 的基本概念、功能以及如何运行 Python 程序的示例。
## 1. Python 简介
Python 是由 Guido van Rossum 于 1991 年发布的一种编程语言。它的设计理念强调代码的可
原创
2024-08-29 09:09:39
24阅读
【
起点阅读】java小说爬虫写一个可以在
起点网站爬小说的爬虫 缺点就是vip无法完整的爬取 废话不多说，上代码了】pom.xml 完整各种包的引用<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-pa
转载
2023-12-18 18:55:15
54阅读
# Python 爬虫入门指南
随着互联网的迅速发展，各类网站和网络资源的积累，数据采集和自动化处理的需求日益增长。Python 作为一种高效且易于学习的编程语言，成为了许多开发者进行网络爬虫（Web Crawler）开发的首选工具。在本文中，我们将探讨 Python 爬虫的基本原理，并以具体的代码示例来帮助读者快速入门。
## 什么是网络爬虫？
网络爬虫是一种自动访问网页并提取信息的程序
原创
2024-08-09 12:19:51
35阅读
1.动态网页指几种可能：1)需要用户交互，如常见的登录操作；2)网页通过js / AJAX动态生成，如一个html里有<div id="test"></div>，通过JS生成<divid="test"><span>aaa</span></div>；3)点击输入关键字后进行查询，而浏览器url地址不变2.想用Pytho
转载
2023-11-22 16:32:35
104阅读
网络爬虫（一）：抓取网页的含义和URL基本构成 一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，
# Python 起点设置：初学者的必经之路
对于每一个想要学习编程的人来说，Python无疑是一个理想的选择。其语法简洁易懂，功能强大，社区活跃，能够满足从数据分析到人工智能等各个领域的需求。今天，我们将带你走入Python的世界，涵盖Python的安装、环境配置及基本代码示例，帮助你快速搭建起Python的学习环境。
## 一、Python 安装
**步骤一：下载 Python**
首
# Python入门：从起点到目录管理
Python是一种广泛应用的高级编程语言，其简洁的语法和强大的功能使得开发者能够以较少的代码完成复杂的任务。本文将介绍Python的基本概念，重点讨论如何进行目录管理，并通过代码示例展示相关操作。同时，我们还将引入类图以帮助理解，并使用表格总结我们讨论的内容。
## 一、什么是Python？
Python是一种解释型、面向对象、动态数据类型的程序设计语
我们都知道 HTTP 是无状态的，用户每次打开 web 页面时，服务器都打开新的会话，而且服务器也不会自动维护客户的上下文信息，那么服务器是怎么识别用户的呢？这就是本文今天要讲解的内容。当服务端需要记录用户的状态时，就需要用某种机制来识具体的用户，这个机制就是 session 和 cookie。Session 和 Cookiesession 是保存在服务器端的，用于标识用户，并且跟踪用户的一种上下
原标题：QQ第三方登录无法授权错误码110401的解决方法一些网友在注册APP的时候，会选择QQ作为第三方登录方式，但是，最近，一些网友发现：选择QQ第三方登录的时候，会出现无法授权错误码110401的问题，比如：登录起点app，那么，QQ第三方登录无法授权错误码110401怎么办？下面，小编就为大家介绍一下QQ第三方登录无法授权错误码110401的解决方法。qq登陆授权失败110401的原因小编
转载
2023-10-27 09:37:51
128阅读
# 使用Python处理图像中的起点和终点
在计算机视觉中，图像的处理是一个重要的环节，其中涉及到特征提取、对象识别等多个方面。对于某些特定任务，我们可能需要在图像中找到某个起点和终点。本文将介绍如何用Python来实现这一功能，并提供相应的代码示例，帮助读者能够更轻松地理解这一过程。
## 一、需求分析
我们将以一张简单的黑白图像为例，目标是在图像中找到起点（通常是白色像素的最左上角）和终
原创
2024-09-28 05:00:24
61阅读
