使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
111阅读
# 使用Java编写豆瓣读书爬虫：科普与实践
## 引言
在信息化日益发达的今天，数据爬虫作为数据采集的有效工具，逐渐引起了大家的关注。豆瓣读书作为一个著名的读书平台，其中蕴藏着丰富的书籍信息。本文将通过Java语言实现一个简单的豆瓣读书爬虫，帮助大家理解爬虫的基本原理，以及如何应用于实际问题。
## 爬虫的基本原理
爬虫的基本原理是通过HTTP请求获取网页内容，然后从中提取我们需要的信息
原创
2024-08-21 09:52:55
41阅读
Python爬取豆瓣图书250第一页。
一，准备工作。工具：win10+Python3.6爬取目标：爬取图中红色方框的内容。原则：能在源码中看到的信息都能爬取出来。信息表现方式：CSV转Excel。二，具体步骤。先给出具体代码吧：1 import requests
2 import re
3 from bs4 import BeautifulSoup
转载
2023-08-07 20:15:12
189阅读
完整代码见链接：https://github.com/kuronekonano/python_scrapy_movie 实现时使用图形界面、多线程、文件操作、数据库编程、网络编程、统计绘图六项技术。1. 数据采集 （1）用wxPython实现GUI界面，包括登录界面、爬虫界面。爬虫界面上包含： 1）复选框：选择网站页面上要爬取的元素,包括电影名、评论、导演、主演、论坛讨论、电影别名； 2）下拉列表
转载
2023-12-12 18:58:47
138阅读
豆瓣网站禁止了爬虫爬取，需要对其进行简单的反爬虫处理后才可进行提取。 https://book.douban.com/robots.txt 网址：豆瓣读书 (douban.com) F12，找到 User-agent ，在爬虫程序中进行添加。 import requests import re fo ...
转载
2021-08-18 16:27:00
711阅读
2评论
python是解释型、面向对象的高级语言（与java不同，java需要编译生成中间状态，再运行中间状态的文件生成一个中间文件），python写完后就执行的解释型语言。 面向对象特点：封装继承和多态。 优点如下： 缺点如下：运行速度慢 代码不能加密：02第一个python程序exit()
或CTRL+z
可以退出python在命令提示符下的方式在f盘中用记事本写print(‘hello ppp’)
Python爬虫(5):豆瓣读书练手爬虫
我们在之前的文章中基本上掌握了Python爬虫的原理和方法，不知道大家有没有练习呢。今天我就来找一个简单的网页进行爬取，就当是给之前的兵书做一个实践。不然不就是纸上谈兵的赵括了吗。好了，我们这次的目标是豆瓣图书Top250，地址是：https://book.douban.com/top250?start=0准备爬一个网页我们至少要知道自己需要什么
在现代互联网时代，爬虫技术已经成为了数据获取的重要工具。本篇博文将探讨如何使用 Python 爬虫爬取豆瓣读书网。本案例将覆盖从备份策略到案例分析的全面流程，确保我们在进行数据收集的过程中不会遗漏任何细节。
### 备份策略
为了确保抓取的数据安全，我们需要制定一份有效的备份策略。首先，我们将使用甘特图展示备份周期计划，确保可以定时备份抓取的数据。
```mermaid
gantt
# Java 爬虫在豆瓣的应用
随着互联网的发展，网站上的数据也日益丰富。爬虫技术作为数据获取的一种重要手段，得到了广泛的应用。本文将探讨如何使用 Java 语言编写一个简单的爬虫，从豆瓣获取电影信息，包括代码示例和相关图示。
## 爬虫概述
爬虫（Web Crawler）是一种自动访问网页并提取信息的程序。在爬取数据时，爬虫会请求网页并解析返回的 HTML 文档，从中提取需要的信息。
#
原创
2024-09-08 03:19:40
41阅读
前言上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。该排行榜一共有22页，且发现更改网址的 start=0 的 0 为25、50就可以跳到排行榜的第二、第三页，所以后面只需更改这个数字然后通过遍历就可以爬取整个排行榜的书籍信息。本次爬取的内容有书名、评分、评价数、出版社、出版年份以
转载
2023-11-20 23:32:17
63阅读
一、选题背景从古至今,喜爱阅读-直是中华民族的优良传统。自新中国以来,随着社 从古至今，喜爱阅读-直是中华民族的优良传统.自新中国以来，随着社会的稳定,经济的发展,科学的进步,人民物质生活水平和精神生活水平的提高,国民阅读量和阅读效率也有了一定的上升提高，国民阅读量和阅读效率也有了一定的上升。 数据来源：豆瓣读书https://book.douban.com/tag/?view=type&
转载
2023-05-18 10:48:12
389阅读
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
480阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
转载
2024-06-14 09:45:37
73阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
url参数分析eg： 我们看到的：https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&sort=T&range=0,10&tags=电影,爱情&start=20 编码后：https://movie.douban.com/j/new_search_subjects?sort=T&am
Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
126阅读
# Java爬虫豆瓣实例教程
## 1. 整体流程
下面是Java爬虫豆瓣实例的整体流程：
| 步骤 | 动作 | 描述 |
| --- | --- | --- |
| 1 | 发起HTTP请求 | 使用Java的HTTP库发送GET请求到豆瓣网站 |
| 2 | 解析HTML内容 | 使用HTML解析库解析返回的HTML内容 |
| 3 | 提取数据 | 从HTML中提取需要的数据 |
|
原创
2023-11-01 14:59:07
58阅读
图书搜索页面:https://book.douban.com/subject_search?search_text=9787535681942&cat=1001以前写的爬虫使用发现不能用了，检查发现豆瓣也有加密了，有可能是为了防止新手乱爬吧，一看到这个就觉得爬虫越来越不好做了，随便一个页面都有 js 加密。仔细查看了各个页面发现只有搜索页面有加密,其余都是直接放在html上的,那么我们只要
转载
2024-06-23 05:16:43
107阅读
豆瓣读书数据存入Mysql数据库1. 豆瓣数据爬取2. 创建数据库表单3. 插入数据4. 全部代码1. 豆瓣数据爬取这一部分之
原创
2022-07-11 11:25:29
280阅读
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
转载
2024-02-28 22:35:27
82阅读
