最近的时间一直花费在一个工程实践项目上，恰好学习上遇到了需求分析和概念原型的问题，刚好拿来学习一番。一、概述目前的工程实践项目是基于Python的智能信息收集系统设计与实现，主要是通过对相关数据进行爬取，归类，格式化存储。再对或得到的数据进行分析处理，得到我们想要的结果。本文将以对豆瓣影评的内容爬取为例 二、需求分析我们的主要目的有以下几点：1、用户可以查找待爬取的数据2、用户可以根据需
转载
2023-08-12 21:10:54
510阅读
转页的实现观察不同页的url规律，如豆瓣图书的url页数信息是最后的start=后面的数字，每一页加25，所以以book.douban.com/top250?star… 为基层URL每一页在后面加页面的页数数字。就可以得到所有的页面 url 了。再以for循环迭代每一个 url，使用上面获取数据的方法，获得所有的数据信息。 获取所有页面URL的代码如下：urllist = []
# 从0到225，
一、项目介绍：本项目是一个小型练手项目，项目目的是通过反爬技术获得豆瓣电影中热门电影前一百部电影的电影名和评分。由于热门电影栏目的显示页面使用AJAX技术渲染数据，而且在同一页面通过单击底部的“加载更多”获得更多电影信息，这里需要绑定鼠标事件实现加载电影。 二、页面分析目标页面：首页--->电影--->选电影 初始页面url为：https://movie.douba
转载
2023-09-12 14:25:59
0阅读
这个博客是结合上课所学进行所用。在学习完成之后，决定对我的工程实践项目进行建模，最终形成概念模型1. 概述 最近学习了需求分析和建模方法，趁热打铁，针对自己的项目进行用例建模，业务领域建模和数据建模，最终形成概念原型。 这个项目是使用爬虫来爬取知乎网数据的一个项目，下面，我们按照流程，一步步的对系统进行建模2. 用例建模什么是用例？ 用例（Use Case）的核心概念中首先它是一个业务过程（bus
文章目录前言数据爬取测试类库1.urllib.request（ 获取网页HTML源代码）2.re（匹配HTML源代码）3.bs4(HTML/XML的解析器)搜索文档树CSS选择器4.xlwt(解析出的数据保存到Excel)5.sqlite3(解析出的数据保存到sqlite数据库)执行流程爬取结果数据可视化Flask框架目录结构词云Echarts图表 前言刚入门python，数据库，html，寻思
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
375阅读
文章目录一、伪装成浏览器进行请求二、随机获取浏览器信息三、总结 豆瓣网一般是新手容易上手的爬虫网站，并不是因为它反爬机制做的不够好，而是因为它采取了内容开放的运营策略，愿意分享给我们它的数据。以前是很容易爬取豆瓣网的电影信息，最近可能是豆瓣网升级了反爬机制，直接请求数据会发生urllib.error.HTTPError: HTTP Error 403/418的错误#!/usr/bin/env p
一、“大数据时代”，数据获取的方式：1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势 有数据意识的中小型企业，也开始积累的数据 2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、 问卷调查、固定的样本监测，和各行各业的公司进行合作、专家对话（数据积累很多年，得到的科研成果） 3. 政府/机构提供的公开数据：政府通过各地政府统计上报的数
一、概述最近课堂《高级软件工程》上老师举例是以带有数据库存储的信息系统为例，是比较典型的例子，但这是一种需求分析和概念原型设计的通用方法，并不局限于信息系统一类的用途，就像“程序=算法+数据结构”也是可以使用用例+数据模型来理解一样。当我们拿到一个需求的时候我们要从四点着手如下（1）用户：谁会用这个功能？（2）场景：用户在什么情况下会用？（3）问题：用户在上述场景下，碰到什
转载
2023-08-12 21:11:12
634阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
107阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
117阅读
近期被《我不是药神》这部国产神剧刷屏了，为了分析观众对于这部电影的真实感受，我爬取了豆瓣电影影评数据。当然本文仅讲爬虫部分（暂不涉及分析部分），属于比较基础的爬虫实现，分Java版本和Python版本，代码结构一致，仅实现语言不同。网页结构分析打开电影影评网页 https://movie.douban.com/subject/26752088/comments 尝试翻几页，可以看出每页的网页结构
# 豆瓣电影爬虫数据分析实现流程
## 1. 概述
在进行豆瓣电影爬虫数据分析之前，我们需要明确整个流程，并逐步指导小白开发者完成每一步。本文将分为以下几个部分进行讲解：
1. 流程概述
2. 步骤详解
3. 代码实现
4. 结果展示
## 2. 流程概述
下面是豆瓣电影爬虫数据分析的基本流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 获取豆瓣电影列表 |
| 步
原创
2023-09-15 10:47:36
54阅读
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
第一次爬取的网站就是豆瓣电影 Top 250，网址是：https://movie.douban.com/top250?start=0&filter=分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。以此类推 一、分析网页：明确要爬取的元素 ：排名、名字、导演、评语、评分，在这里利用Chrome浏览器，查看元素的
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
89阅读
import sslimport bs4import reimport requestsimpor
转载
2022-02-13 11:04:17
110阅读
今天学习了爬虫爬取豆瓣电影信息： import reimport requestsimport csvurl = "https://movie.douban.com/top250"headers = { "user
原创
2022-06-20 11:32:41
112阅读
import sslimport bs4import reimport requestsimport csvimport codecsimport timefrom urllib import request, errorcontext = ssl._create_unverified_context()class DouBanSpider: def __ini...
原创
2021-05-20 20:26:50
268阅读
