背景：python 版本：3.7.4使用IDEA：pycharm操作系统：Windows64第一步：获取登录状态爬取豆瓣评论是需要用户登录的，所以需要先拿到登陆相关 cookie。进入浏览器（IE浏览器把所有的 cookie 集合到一起了，比较方便取值，其他浏览器需要自己整合所有的 cookie）登陆豆瓣之后，按下 F12 ，拿到请求头里的 cookie 与 user-agent 的数据，保持登陆
转载
2023-12-09 18:30:58
15阅读
前几天做了一个爬取豆瓣Top250电影的爬虫，在爬取了豆瓣Top250的电影后，想试一试根据电影类别爬取所有的豆瓣电影，基本的原理是想通的。代码采用Python，抠取页面内容采用Beautiful Soup。1.豆瓣电影分析以豆瓣爱情类型电影为例，在浏览区中输入http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie?start=0后显示的内容如下图所示
转载
2023-09-21 22:06:26
124阅读
# 利用豆瓣云下载Python包的步骤指南
在Python开发中，我们常常需要依赖第三方库来简化开发过程，而下载这些库的工具通常是`pip`。在中国，由于网络原因，使用`pip`时可能会遇到下载速度慢的问题。幸运的是，豆瓣提供了一个镜像源，能够加速Python包的下载。本文将详细介绍如何利用豆瓣云下载Python包的流程。
## 整体流程
我们可以将整个过程分为以下几个步骤，具体如下所示：
原创
2024-08-25 07:31:57
141阅读
国内的pythoner强烈建议使用豆瓣的pypi源 sudo pip install -i https://pypi.douban.com/simple/ scrapy
sudo pip install scrapy -i http://pypi.douban.com/simple ;--trusted-host pypi.douban.com 注意后面要有/simple目录
转载
2023-05-18 11:03:15
719阅读
小爬怡情，中爬伤身，强爬灰灰。爬虫有风险，使用请谨慎，可能是这两天爬豆瓣电影爬多了，今天早上登录的时候提示号被封了（我用自己帐号爬的，是找死呢还是在找死呢 ...），好在后面发完短信后又解封了，^_^。之前的文章中，已把电影短评数据装进了Mongo中，今天把数据取出来简单分析一下，当下最火的做法是进行词频统计并生成词云，今天说的就是这个。读取 Mongo 中的短评数据，进行中文分词不知道什么原因，
转载
2024-04-19 18:23:33
59阅读
python里面有很多操作都类似于c语言，这里在爬取时主要需要注意用到的是for循环语句和各种库。 个人认为python中主要还是对库的运用比较占大比例。 （这里的软件版本是PyCharm 2020.3.2 x64） 所以，在爬取前先把这里所需要用到的库展示出来：from bs4 import BeautifulSoup #网页解析，获取数据
import sys
import
转载
2024-06-09 07:35:38
17阅读
写在前面本试验通过python爬虫来获取豆瓣评分靠前的图书并下载图书封面。本试验项目代码部分均参考Sunnnnnnnnyin的python:网络爬虫入门经验总结大大大大全一文。配置环境为python v3.6.1。 写在前面思路整理step1downLoadBook对当前页面操作实验代码step2翻页 思路整理完成一项工作，首先是要分步骤。这句话听得多，但是在实际应用却往往忽视，像无头苍蝇到处乱撞
转载
2023-10-29 19:56:17
105阅读
因为最近在工作比较忙，在学习MYsql和Excel数据分析，所以到今天才更新，闲言少叙，进入今天的学习。在前面的两个爬虫项目我们分别抓取了京东的口红图片和糗百的段子，这种爬虫比较低级，算是练练手，今天的抓取豆瓣个人主页则相对困难一些，然后今天的爬虫我们采用了requests库让大家学习。下面我来总结一下抓取过程中的知识点和难点。1、确定真实的登陆地址。因为在豆瓣的登陆界面并不是真实的登陆地址，所以
转载
2023-06-30 12:00:23
100阅读
这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。一、主要用到
转载
2023-09-16 06:31:55
74阅读
image豆瓣网对互联网用户来说是知名的Web 2.0社区，但对开发者而言，更重要的是一个应用Python打造的非常成功的Web 2.0站点。豆瓣网已经达到了300万注册用户，另外还有千万级的非注册用户。访问量每天则超过两千万。豆瓣Python应用开发经验谈豆瓣是一个Web 2.0网站，这类网站的特点就是“Always Beta”，不断有新的产品和功能升级来为用户提供更好的服务。作为使用Pytho
转载
2023-07-26 22:24:07
130阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
转载
2024-06-14 09:45:37
73阅读
视频地址：https://www.bilibili.com/video/BV1xs411Q799?p=4&spm_id_from=pageDriver 笔记内容：001——0040、前期准备官网下载安装IDLE: https://www.python.org/downloads/release/python-3101/电脑左下角搜索“IDLE”即可看到刚安装的工具，先点击File新建文件，
转载
2023-07-05 15:14:09
93阅读
pip 使用豆瓣源由于pip 默认使用Python的官方源pypi.python.org/pypi，导致我们经常使用pip装包时速度过慢或者无法安装（请求超时）等问题，所以国内用户建议使用pip 国内源。目前常用的 pip 国内源有：豆瓣：http://pypi.douban.com/simple/（推荐）清华：http://pypi.tuna.tsinghua.edu.cn/simple
提示：
转载
2023-07-31 15:38:31
298阅读
# 实现“豆瓣Python”教程
“豆瓣Python”通常是指对豆瓣API的调用，能够在Python中获取豆瓣网的数据。对于刚入行的小白开发者，下面将详细介绍如何实现这项任务。整个流程包括以下几个步骤：
## 流程步骤
| 步骤 | 描述 |
|------|---------------------------|
| 1 | 注册豆瓣开放平台
原创
2024-09-04 05:21:58
254阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
本文希望达到以下目标:简要介绍Scarpy使用Scarpy抓取豆瓣电影首先先要回答一个问题。
问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了
转载
2023-12-06 15:05:46
79阅读
目 录第Ⅰ部分 函 数第1章 装饰器 31.1 理解装饰器 31.2 装饰器语法 41.3 在何处使用装饰器 61.4 编写装饰器的理由 61.5 编写装饰器的时机 71.5.1 附加功能 71.5.2 数据的清理或添加 71.5.3 函数注册 71.6 编写装饰器 71.6.1 初始示例：函数注册表81.6.2 执行时封装代码 91.6.3 装饰器参数 161.7 装饰类 201.8 类型转换
转载
2024-01-12 22:06:56
28阅读
前言作为本人的第一篇博客，不知道怎么写才好。同时作为一个编程的菜鸟，第一次分享自己的练习之作，希望能够通过写博客这种方式慢慢的提高自己的表述能力。 本人最近学习python，学习了基本的语法，就想着做点东西练练手，反正大家说起python第一反应都是爬虫，那我就做一个爬虫吧。 本人经常由于上豆瓣看各类电影的评分，从中选出自己想要看的电影，但是豆瓣提供的几种筛选方式都不能满足，所以打算做一个爬虫
转载
2023-12-04 18:49:53
29阅读
这次练习的是抓取动态网页，因为个人喜欢恐怖片，就选了豆瓣的恐怖片来作为爬取对象。网页是动态加载的，点击加载更多就出现更多的信息。所以需要在浏览器用F12工具中打开network，找到XHR，观察加载的内容。通过观察Headers里的Request URL，知道了返回信息的url，点击几次加载更多，会发现url：https://movie.douban.com/j/new_search_subjec
转载
2024-03-07 20:56:05
157阅读
文章目录一、新建scrapy项目二、豆瓣电影实战2.1、存储在CSV2.2、存储在Excel2.3、存储在数据库---sql server 学习记录： 一、新建scrapy项目scrapy下载pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn Scrap
转载
2023-10-23 20:54:25
102阅读
