Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
126阅读
豆瓣评论爬虫 Python是一种通过编程接口提取豆瓣网上用户评论数据的工具。为了帮助其他开发者更好地理解和实现这一工具，本篇博文将详尽记录开发过程中的关键步骤及其相关概念。
## 协议背景
为了有效地抓取豆瓣评论，需要了解一下网络协议及数据交换的背景。豆瓣网站通常采用 HTTP/HTTPS 协议进行数据传输。理解协议的历史背景与发展，对于实现高效的数据提取至关重要。
### 时间轴
```
# 使用Python爬取豆瓣评论的入门指南
Python是一种强大的编程语言，广泛用于数据分析、机器学习和网络爬虫等领域。本文将介绍如何使用Python爬取豆瓣电影的用户评论，帮助大家更好地理解网络爬虫的基本原理和方法。
## 爬虫的基本原理
网络爬虫是自动访问互联网并提取信息的程序。爬虫通常由请求（Request）、解析（Parse）和存储（Store）三个部分组成。我们可以使用Pytho
使用Python爬取豆瓣短评并绘制词云成果如下(比较丑，凑合看)1.分析网页打开想要爬取的电影，比如《找到你》，其短评如下:查看源代码发现短评存放在<span>标签里 并且class为short，所以通过爬取其里边的内容即可并且通过翻页发现：url改变的仅仅为start,每次翻页增加20，所以只需for循环增加数字即可控制页数2.获取其网页内容我们使用bs4以及requests模块进行
转载
2024-01-02 14:06:03
244阅读
这段时间肯定经常听到一句话“我命由我不由天”，没错，就是我们国产动漫---哪咤，今天我们通过python还有上次写的pyquery库来爬取豆瓣网评论内容 爬取豆瓣网评论1、找到我们想要爬取的电影---小哪咤 2、查看影片评论点击查看我们的影评，发现只能查看前200个影评，这里就需要登录了 分析出来全部影评的接口地址好巧用到了上次写的通过requests登录豆瓣网，
转载
2023-05-31 14:47:09
526阅读
在本篇博客中，我们将使用requests+正则表达式来爬取豆瓣电影TOP250电影榜单，获取每部电影的序号、片名、导演、编剧、主演、类型、制作国家/地区、语言、上映日期、片长、又名、豆瓣评分和剧情简介等内容。打开豆瓣Top250，分析URL的变化：发现Top250榜总共包含10页，每页25部电影，并且每一页的URL都是有规律的，如第2页的URL是https://movie.douban.com/t
转载
2023-08-07 21:41:41
88阅读
一、选题的背景想要了解电影的具体短评趋势。通过网络爬虫以及数据的可视化分析，在数据表格以及图表中更加具体明了的看出电影的短评趋势。随着现代化社会的日益进步及其电影业的发展，从无声到有声在逐渐的发展到三维空间的影视效果，电影的发展都是我们生活进步的一个缩影。 二、主题式网络爬虫设计方案 1.主题式网络爬虫名称：爬取豆瓣电影短评 2.主题式网络爬虫
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
480阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
转载
2024-06-14 09:45:37
73阅读
一、背景概述1、豆瓣一次性发5篇影评就要想办法阻止你了，输对了验证码也告诉你是错的。还经常因为语言过激就把影评给和谐了。2、想把影评、体验这一类的数据都转存的到维格表格里面统一管理，再通过api标准接口做可视化。3、然后摸索了一下用浏览器的爬虫插件快速把自己这些年在豆瓣上对各种电影，电视剧，综艺的评价快速爬取下来。具体过程如下。二、准备内容web scraper 浏览器插件豆瓣账户地址三、过程记录
转载
2024-07-30 17:07:40
0阅读
前一段时间学校有个project，做一个电影购票系统，当时就用springboot做了系统，用python抓了一些电影的基本信息。后来发现如
原创
2022-08-24 14:15:37
365阅读
今年的 Google I/O 已经过去一段时间了，大部分人都关注了一些新产品的发布，比如 Allo 和 Duo、Android N、Daydream、Android Studio、Firebase……还有 PWA。
转载
2018-01-29 11:12:05
1492阅读
Python爬取豆瓣影评并生成词云，网上很多案例，我参考的这一篇 Python爬虫实战，具体步骤这篇文章讲解的很详细了，不过我在复现的过程中也遇到了很多问题，所以记录一下。#coding:utf-8
import warnings
warnings.filterwarnings("igno
转载
2024-03-02 07:31:08
0阅读
scrapy初体验Scrapywindows下scrapy安装pippycharm settinganaconda下安装scrapy创建豆瓣电影评论scrapy实战代码运行情况 Scrapyscrapy作为爬虫的框架可以说是方便了很多，至少不用手搓requests，从而模块化的进行爬虫开发。scrapy的模块展示图如下scrapy各个模块及作用如下。Spiders爬虫模块:构建起始请求并响应数据
第一次爬取的网站就是豆瓣电影 Top 250，网址是：https://movie.douban.com/top250?start=0&filter=分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。以此类推 一、分析网页：明确要爬取的元素 ：排名、名字、导演、评语、评分，在这里利用Chrome浏览器，查看元素的
转载
2024-02-28 16:17:07
157阅读
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
转载
2024-02-28 22:35:27
82阅读
python是解释型、面向对象的高级语言（与java不同，java需要编译生成中间状态，再运行中间状态的文件生成一个中间文件），python写完后就执行的解释型语言。 面向对象特点：封装继承和多态。 优点如下： 缺点如下：运行速度慢 代码不能加密：02第一个python程序exit()
或CTRL+z
可以退出python在命令提示符下的方式在f盘中用记事本写print(‘hello ppp’)
因为最近在工作比较忙，在学习MYsql和Excel数据分析，所以到今天才更新，闲言少叙，进入今天的学习。在前面的两个爬虫项目我们分别抓取了京东的口红图片和糗百的段子，这种爬虫比较低级，算是练练手，今天的抓取豆瓣个人主页则相对困难一些，然后今天的爬虫我们采用了requests库让大家学习。下面我来总结一下抓取过程中的知识点和难点。1、确定真实的登陆地址。因为在豆瓣的登陆界面并不是真实的登陆地址，所以
转载
2023-06-30 12:00:23
100阅读
## Python 爬虫爬取豆瓣电影信息
在信息化时代，数据是极其重要的资源。随着网络的不断发展，爬虫技术应运而生，成为获取数据的一种有效手段。在这篇文章中，我们将探讨如何使用Python创建一个简单的爬虫来爬取豆瓣电影的信息。
### 什么是爬虫？
网络爬虫（Web Crawler）是一种自动访问互联网并提取信息的程序。爬虫可以用于抓取网页内容、收集数据、进行数据分析等。Python作为一
原创
2024-10-11 10:43:33
78阅读
