使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
108阅读
豆瓣网站很人性化，对于新手爬虫比较友好，没有如果调低爬取频率，不用担心会被封 IP。但也不要太频繁爬取。涉及知识点：requests、html、xpath、csv一、准备工作需要安装requests、lxml、csv库爬取目标：https://book.douban.com/top250二、分析页面源码打开网址，按下F12，然后查找书名，右键弹出菜单栏 Copy==> Copy Xpath&
转载
2023-07-10 19:41:47
3443阅读
一.python爬虫简介1.什么是爬虫：网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流的爬取策略。2.爬虫的作用：网络抓取图片，爬取想看的视频，只要通过浏览器访问的数据都可以通过爬虫获取3.爬虫的本质：模拟浏览器打开网页，获取网页中我们想要的那部分数据二.爬取数据1.urllib模块使用impo
转载
2023-12-26 13:25:03
66阅读
马哥原创：用python爬《豆瓣电影》任意电影的短评
目录一、爬虫对象-豆瓣电影短评二、爬取结果三、爬虫代码讲解三、演示视频四、获取完整源码一、爬虫对象-豆瓣电影短评您好！我是@马哥python说，一名10年程序猿。今天分享一期爬虫案例，爬取的目标是：豆瓣上任意一部电影的短评（注意：是短评，不是影评！），以《热烈》这部电影为例：爬取以上6个关键字段，含：
原创
2023-10-24 15:12:10
301阅读
点赞
爬虫目的：随着近年互联网的发展，网络上的信息飞速数量增长。在庞大的数据面前想要获得 期望的信息往往如同大海捞针。通过合理的筛选，在百万甚至数亿计的数据中找到所需 信息，无疑有着非常大的意义。在豆瓣网下，有很多与日常生活相关的模块网站内置的评分评价功能可以为用户提供很大选择空间，以豆瓣读书为例： 其中包含六个大型模块(文学，流行，文化，生活，经管，科技)，内部细分了145个小型模块。 在以数十万计的
转载
2023-11-13 17:53:13
354阅读
前言记录个人的第一个爬虫练习，爬取豆瓣电影评分Top250的数据，并分别生成Excel文件和数据库文件。 一、爬虫爬虫(spider)，又称网络蜘蛛，是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。二、步骤1.引入库代码如下（示例）：import sqlite3 # 进行sql数据库操作
import re # 正则匹配
from bs4 import BeautifulS
转载
2023-10-07 17:05:22
206阅读
使用Python爬取豆瓣短评并绘制词云成果如下(比较丑，凑合看)1.分析网页打开想要爬取的电影，比如《找到你》，其短评如下:查看源代码发现短评存放在<span>标签里 并且class为short，所以通过爬取其里边的内容即可并且通过翻页发现：url改变的仅仅为start,每次翻页增加20，所以只需for循环增加数字即可控制页数2.获取其网页内容我们使用bs4以及requests模块进行
转载
2024-01-02 14:06:03
244阅读
前言上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。该排行榜一共有22页，且发现更改网址的 start=0 的 0 为25、50就可以跳到排行榜的第二、第三页，所以后面只需更改这个数字然后通过遍历就可以爬取整个排行榜的书籍信息。本次爬取的内容有书名、评分、评价数、出版社、出版年份以
转载
2023-11-20 23:32:17
63阅读
由于最近一直在学习爬虫，之前写了一篇爬取图标的文章，其中用到了urllib模块。这里我们将不再使用urllib模块。这里使用requests模块和BeautifulSoup4模块爬取内容为：豆瓣评分前二百五位电影的名字、主演、以及该电影的简介。首先先进入豆瓣电影Top250，打开审查元素，找到所要爬取的电影名、主演以及电影主页的链接都在标签 下面是代码及注释#导入模块
import request
转载
2023-07-06 15:21:45
235阅读
本文主要抓取豆瓣电影top250榜单里面的电影数据，提取的数据包括电影名称、电影的链接、电影的星级、电影引言、电影的评论 人数等。导入包from bs4 import BeautifulSoup as bs---进行网页解析import requests---用于网页请求import time---用于延长时间,防止过于快速抓取数据，封ipimport re---正则表达式使用import csv
转载
2024-02-20 21:06:36
48阅读
在本篇博客中，我们将使用requests+正则表达式来爬取豆瓣电影TOP250电影榜单，获取每部电影的序号、片名、导演、编剧、主演、类型、制作国家/地区、语言、上映日期、片长、又名、豆瓣评分和剧情简介等内容。打开豆瓣Top250，分析URL的变化：发现Top250榜总共包含10页，每页25部电影，并且每一页的URL都是有规律的，如第2页的URL是https://movie.douban.com/t
转载
2023-08-07 21:41:41
88阅读
# coding:utf-8from lxml import
转载
2022-09-08 10:01:09
103阅读
# 用Java爬虫爬取豆瓣的科普文章
## 引言
在互联网时代，信息获取的方式已经发生了翻天覆地的变化。通过网络爬虫，我们可以自动化地从互联网上提取数据。本文将介绍如何使用Java语言编写一个简单的爬虫，从豆瓣网爬取电影信息，并以可视化的方式展示数据。
## 一、准备工作
### 1.1 开发环境
在编写爬虫之前，请确保你已安装好以下工具：
- Java Development Kit
原创
2024-09-19 07:39:48
65阅读
# coding:utf-8from lxml imp
转载
2022-09-08 10:00:32
178阅读
我这里就以女神王祖贤的海报来作为例子。翻页分析在豆瓣电影中搜索“王祖贤”，进入王祖贤主页后，点击全部影人图片，进入到影人图片页面。在该页面点击下一页，可以看到浏览器的URL变化如下：https://movie.douban.com/celebrity/1166896/photos/?type=C&start=30&sortby=like&size=a&subtype
转载
2019-10-09 15:28:31
638阅读
文章目录六、模拟浏览器行为创建 useragent.py 用于选择头部请求代理在 settings.py 中开启七、设置代理 ip (中间件的方式)1、获取的代理 ip 存入 redis 数据库免费代理 ip在 items.py 中新增 ProxyItem 类快代理(kuaiProxy.py)齐云代理(qiYunProxy.py)云代理(yunProxy.py)将获取到的免费代理 ip 存入 r
使用是scrapy爬取豆瓣电影TOP250榜单上的电影信息，环境配置就不说了。 1.在工作空间下cmd,弹出命令窗口2.创建项目，scrapy startproject douban250 3.项目创建成功了 4.用pycharm打开项目 5.爬取序号、电影名称、导演、主演、在items.py中输入代码：6.在spiders文件夹下新建一个douban.py url是我们要爬取的网页，parse方
转载
2024-05-05 11:16:11
277阅读
首先，打开豆瓣电影Top 250，然后进行网页分析。找到它的Host和User-agent，并保存下来。 然后，我们通过翻页，查看各页面的url，发现规律： 第一页：https://movie.douban.com/top250?start=0&filter= 第二页：https://movie.douban.com/top250?start=25&filter= 第三
转载
2023-07-03 17:46:22
103阅读
一、基本思路页面分析我们要爬取的网页是豆瓣Top250 https://movie.douban.com/top250 通过分析页面可以知道 每页显示25部电影 start=0 时从第1部开始显示 start=25时从第26部开始显示 电影的信息都在页面上所以我们要爬取的网页链接是https://movie.douban.com/top250/?start=0https://movie.douba
转载
2023-10-21 10:51:59
831阅读
一、分析网页 打开豆瓣电影 按F12 ，刷新豆瓣网页，会发现Network的XHR中有链接 粘贴出链接 https://movie.douban.com/j/search_tags?type=movie&source= 会出现如下json：{"tags":["热门","最新","经典","可播放","豆瓣高分","冷门佳片","华语","欧美","韩国","日本","动作","喜剧","
转载
2023-08-21 21:02:16
453阅读
