前几天做了一个爬取豆瓣Top250电影的爬虫，在爬取了豆瓣Top250的电影后，想试一试根据电影类别爬取所有的豆瓣电影，基本的原理是想通的。代码采用Python，抠取页面内容采用Beautiful Soup。1.豆瓣电影分析以豆瓣爱情类型电影为例，在浏览区中输入http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie?start=0后显示的内容如下图所示
转载
2023-09-21 22:06:26
124阅读
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
108阅读
完整代码见链接：https://github.com/kuronekonano/python_scrapy_movie 实现时使用图形界面、多线程、文件操作、数据库编程、网络编程、统计绘图六项技术。1. 数据采集 （1）用wxPython实现GUI界面，包括登录界面、爬虫界面。爬虫界面上包含： 1）复选框：选择网站页面上要爬取的元素,包括电影名、评论、导演、主演、论坛讨论、电影别名； 2）下拉列表
转载
2023-12-12 18:58:47
138阅读
前一段时间学校有个project，做一个电影购票系统，当时就用springboot做了系统，用python抓了一些电影的基本信息。后来发现如
原创
2022-08-24 14:15:37
365阅读
Python爬取豆瓣图书250第一页。
一，准备工作。工具：win10+Python3.6爬取目标：爬取图中红色方框的内容。原则：能在源码中看到的信息都能爬取出来。信息表现方式：CSV转Excel。二，具体步骤。先给出具体代码吧：1 import requests
2 import re
3 from bs4 import BeautifulSoup
转载
2023-08-07 20:15:12
189阅读
# 使用Java编写豆瓣读书爬虫：科普与实践
## 引言
在信息化日益发达的今天，数据爬虫作为数据采集的有效工具，逐渐引起了大家的关注。豆瓣读书作为一个著名的读书平台，其中蕴藏着丰富的书籍信息。本文将通过Java语言实现一个简单的豆瓣读书爬虫，帮助大家理解爬虫的基本原理，以及如何应用于实际问题。
## 爬虫的基本原理
爬虫的基本原理是通过HTTP请求获取网页内容，然后从中提取我们需要的信息
原创
2024-08-21 09:52:55
41阅读
豆瓣网站禁止了爬虫爬取，需要对其进行简单的反爬虫处理后才可进行提取。 https://book.douban.com/robots.txt 网址：豆瓣读书 (douban.com) F12，找到 User-agent ，在爬虫程序中进行添加。 import requests import re fo ...
转载
2021-08-18 16:27:00
709阅读
2评论
Python爬虫(5):豆瓣读书练手爬虫
我们在之前的文章中基本上掌握了Python爬虫的原理和方法，不知道大家有没有练习呢。今天我就来找一个简单的网页进行爬取，就当是给之前的兵书做一个实践。不然不就是纸上谈兵的赵括了吗。好了，我们这次的目标是豆瓣图书Top250，地址是：https://book.douban.com/top250?start=0准备爬一个网页我们至少要知道自己需要什么
# Python爬虫词云实现指南
## 概述
在这篇文章中，我将向你展示如何使用Python爬虫和词云库来实现生成词云的功能。首先，我将介绍整个实现过程的步骤，然后详细说明每一步需要做什么以及相应的代码。
## 实现步骤
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 导入所需的库和模块 |
| 步骤二 | 获取待处理的文本数据 |
| 步骤三 | 数据预处理 |
| 步
原创
2023-09-05 21:19:59
73阅读
前言上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。该排行榜一共有22页，且发现更改网址的 start=0 的 0 为25、50就可以跳到排行榜的第二、第三页，所以后面只需更改这个数字然后通过遍历就可以爬取整个排行榜的书籍信息。本次爬取的内容有书名、评分、评价数、出版社、出版年份以
转载
2023-11-20 23:32:17
63阅读
在现代互联网时代，爬虫技术已经成为了数据获取的重要工具。本篇博文将探讨如何使用 Python 爬虫爬取豆瓣读书网。本案例将覆盖从备份策略到案例分析的全面流程，确保我们在进行数据收集的过程中不会遗漏任何细节。
### 备份策略
为了确保抓取的数据安全，我们需要制定一份有效的备份策略。首先，我们将使用甘特图展示备份周期计划，确保可以定时备份抓取的数据。
```mermaid
gantt
爬取指定新闻网站，将爬取到的数据做词频统计生成词云图，做相应的词频分析饼状图，柱状图，散点图。最后将词频数据存至MySQL数据库。 编译环境：PyCharm 数据库下载：AppServ
转载
2024-02-29 16:19:46
62阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
转载
2024-06-14 09:45:37
73阅读
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
480阅读
Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
126阅读
一、选题背景从古至今,喜爱阅读-直是中华民族的优良传统。自新中国以来,随着社 从古至今，喜爱阅读-直是中华民族的优良传统.自新中国以来，随着社会的稳定,经济的发展,科学的进步,人民物质生活水平和精神生活水平的提高,国民阅读量和阅读效率也有了一定的上升提高，国民阅读量和阅读效率也有了一定的上升。 数据来源：豆瓣读书https://book.douban.com/tag/?view=type&
转载
2023-05-18 10:48:12
389阅读
词云（wordcloud）图能过滤掉大量的文本信息，使我们能抓住问题的集中点（一般集中点就是经常提到的点，也就是词频数会比较高）。其实制作词云没什么技术含量，主要就是将用于绘制词云的所有词都传给软件，然后软件就会返回一张词云图。本文介绍如何使用python绘制简单的词云图。 文章目录制作基础的词云图jieba分词后制作词云制作词库画词云图叮 制作基础的词云图python中词云可以直接在输入为一大段
转载
2023-07-08 17:27:32
481阅读
第一次爬取的网站就是豆瓣电影 Top 250，网址是：https://movie.douban.com/top250?start=0&filter=分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。以此类推 一、分析网页：明确要爬取的元素 ：排名、名字、导演、评语、评分，在这里利用Chrome浏览器，查看元素的
转载
2024-02-28 16:17:07
157阅读
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
转载
2024-02-28 22:35:27
82阅读
