http://kaito-kidd.com/2015/03/30/douban-group-spider/#more起因最近一直没有更新博客了，主要忙什么？一言难尽，相信北漂的IT屌丝们，都会遇到这个问题，那就是找房子！房子到期，加上种种原因，决定撤离待了一年之久的小窝，不过也没什么特别值得留恋的，北漂就这样，工作、找房子、租房子。。找了半个多月的房子，房源信息包括豆瓣、58、搜房网等，看了不下十
转载
2020-09-08 00:30:03
1829阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
107阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
381阅读
Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
117阅读
第一次爬取的网站就是豆瓣电影 Top 250，网址是：https://movie.douban.com/top250?start=0&filter=分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。以此类推 一、分析网页：明确要爬取的元素 ：排名、名字、导演、评语、评分，在这里利用Chrome浏览器，查看元素的
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
2021年春节档热播电影《你好，李焕英》，拿下累计票房54.12亿，一路杀进中国票房榜前五，堪称票房黑马。今天就以《你好，李焕英》这部电影为例，利用Python中的Xpath爬取其豆瓣短评，爬取的字段主要有：评论者、评分、评论日期、点赞数以及评论内容。该案例难度系数不大，刚好作为入门案例，废话不多说，让我们一起去看看吧！注：虽然在《你好，李焕英》豆瓣短评首页中显示共有41万多条短评，但是当浏览时，
爬取豆瓣电影TOP250信息,并存进数据库 技术用到的有requests,pymysql,lxml,xpath爬取内容首先查看网页源码,右键查看网页源代码我们可以发现每部电影的信息都在li标签中： 这就表明我们不需要去抓包分析。思路很简单了：发送请求→获取网页源代码→xpath提取→保存信息。下面附上超详细的源码:????import requests
from lxml import etre
转载
2023-10-03 20:53:30
230阅读
## Python 爬虫爬取豆瓣电影信息
在信息化时代，数据是极其重要的资源。随着网络的不断发展，爬虫技术应运而生，成为获取数据的一种有效手段。在这篇文章中，我们将探讨如何使用Python创建一个简单的爬虫来爬取豆瓣电影的信息。
### 什么是爬虫？
网络爬虫（Web Crawler）是一种自动访问互联网并提取信息的程序。爬虫可以用于抓取网页内容、收集数据、进行数据分析等。Python作为一
因为最近在工作比较忙，在学习MYsql和Excel数据分析，所以到今天才更新，闲言少叙，进入今天的学习。在前面的两个爬虫项目我们分别抓取了京东的口红图片和糗百的段子，这种爬虫比较低级，算是练练手，今天的抓取豆瓣个人主页则相对困难一些，然后今天的爬虫我们采用了requests库让大家学习。下面我来总结一下抓取过程中的知识点和难点。1、确定真实的登陆地址。因为在豆瓣的登陆界面并不是真实的登陆地址，所以
转载
2023-06-30 12:00:23
81阅读
# 用Python实现豆瓣爬虫：新手开发者指南
作为一名新手开发者，爬虫（Web Scraping）可能听起来有些陌生，但它是一种从互联网上获取数据的非常实用的技术。本文将带你逐步了解如何用Python实现一个简单的“豆瓣爬虫”，并给你提供相应的代码和步骤说明。
## 整体流程
在开始之前，我们需要明确整个爬虫项目的基本流程。以下是我们要遵循的步骤：
```mermaid
flowchar
豆瓣网站很人性化，对于新手爬虫比较友好，没有如果调低爬取频率，不用担心会被封 IP。但也不要太频繁爬取。涉及知识点：requests、html、xpath、csv一、准备工作需要安装requests、lxml、csv库爬取目标：https://book.douban.com/top250二、分析页面源码打开网址，按下F12，然后查找书名，右键弹出菜单栏 Copy==> Copy Xpath&
转载
2023-07-10 19:41:47
3205阅读
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
89阅读
本文希望达到以下目标:简要介绍Scarpy使用Scarpy抓取豆瓣电影首先先要回答一个问题。
问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了
前几天做了一个爬取豆瓣Top250电影的爬虫，在爬取了豆瓣Top250的电影后，想试一试根据电影类别爬取所有的豆瓣电影，基本的原理是想通的。代码采用Python，抠取页面内容采用Beautiful Soup。1.豆瓣电影分析以豆瓣爱情类型电影为例，在浏览区中输入http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie?start=0后显示的内容如下图所示
转载
2023-09-21 22:06:26
103阅读
前言作为本人的第一篇博客，不知道怎么写才好。同时作为一个编程的菜鸟，第一次分享自己的练习之作，希望能够通过写博客这种方式慢慢的提高自己的表述能力。 本人最近学习python，学习了基本的语法，就想着做点东西练练手，反正大家说起python第一反应都是爬虫，那我就做一个爬虫吧。 本人经常由于上豆瓣看各类电影的评分，从中选出自己想要看的电影，但是豆瓣提供的几种筛选方式都不能满足，所以打算做一个爬虫
有了上次利用python爬虫抓取糗事百科的经验，这次自己动手写了个爬虫抓取豆瓣电影Top250的简要信息。1.观察url首先观察一下网址的结构 http://movie.douban.com/top250?start=0&filter=&type= ：可以看到，问号?后有三个参数 start、filter、type，其中start代表页码，每页展示25部电影，0代表第一页
转载
2023-11-06 17:13:50
66阅读
一.python爬虫简介1.什么是爬虫：网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流的爬取策略。2.爬虫的作用：网络抓取图片，爬取想看的视频，只要通过浏览器访问的数据都可以通过爬虫获取3.爬虫的本质：模拟浏览器打开网页，获取网页中我们想要的那部分数据二.爬取数据1.urllib模块使用impo
本文探索使用Python获取自如北京所有可见合租和整租房租信息。主要使用selenium+BeautifulSoup 模块进行数据爬取与解析。一、概况 主要流程可以分为：根据查询栏给出的地铁站点，爬取地铁站点以及房租信息链接并保存单击每个链接并解析所有房租信息存储已解析的文本数据二、数据获取2.1 所有地铁站点及租房页面获取 首先根据搜索页爬取
转载
2023-10-11 15:38:15
0阅读
