image豆瓣网对互联网用户来说是知名的Web 2.0社区，但对开发者而言，更重要的是一个应用Python打造的非常成功的Web 2.0站点。豆瓣网已经达到了300万注册用户，另外还有千万级的非注册用户。访问量每天则超过两千万。豆瓣Python应用开发经验谈豆瓣是一个Web 2.0网站，这类网站的特点就是“Always Beta”，不断有新的产品和功能升级来为用户提供更好的服务。作为使用Pytho
转载
2023-07-26 22:24:07
130阅读
近些年，编程语言Python的热度越来越高，因为Python简单，学起来快，是不少程序员入门的首选语言。那么学习Python后可以有哪些方面的发展呢？0、WEB开发豆瓣使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内有不错的发展。Python在Web开发中的作用不可忽视。Python中有各类Web框架，这使其成为开发web
转载
2023-11-21 15:34:52
61阅读
Python Web开发的百科全书，了解Web工程从开发到上线的完整流程对实际Web项目中大量实战经验的总结，有用、实用本书从Python 开发开始，循序渐进，把网站工程的全貌展现在读者的眼前，是了解Web 工程从开发到上线完整流程的**参考书籍。同时书中的很多实例取自豆瓣工程开发团队的实际工作，对于想了解豆瓣内部技术实现的朋友，也有很大的参考价值。——邢犇(CNBorn)前豆瓣东西技术负责人开卷
转载
2023-10-27 13:35:50
160阅读
Python编程：从入门到实践 Python 从入门到实践，豆瓣评分9.1分，基于Python3.5也兼顾了2.7。 书前半部分(11章)是对Python基础知识的讲解，而后半部分(9章)分别讲述了三个项目实践，从「外星人入侵」游戏，数据可视化，Django WEB开发进行实践。可以说是真的兼顾了「入门」和「实践」。 难能可贵的是作者专门拿出一章来讲如何进行单元测试，单元测试我觉得是
转载
2024-02-10 21:34:30
44阅读
国内的pythoner强烈建议使用豆瓣的pypi源 sudo pip install -i https://pypi.douban.com/simple/ scrapy
sudo pip install scrapy -i http://pypi.douban.com/simple ;--trusted-host pypi.douban.com 注意后面要有/simple目录
转载
2023-05-18 11:03:15
719阅读
写在前面本试验通过python爬虫来获取豆瓣评分靠前的图书并下载图书封面。本试验项目代码部分均参考Sunnnnnnnnyin的python:网络爬虫入门经验总结大大大大全一文。配置环境为python v3.6.1。 写在前面思路整理step1downLoadBook对当前页面操作实验代码step2翻页 思路整理完成一项工作，首先是要分步骤。这句话听得多，但是在实际应用却往往忽视，像无头苍蝇到处乱撞
转载
2023-10-29 19:56:17
105阅读
python里面有很多操作都类似于c语言，这里在爬取时主要需要注意用到的是for循环语句和各种库。 个人认为python中主要还是对库的运用比较占大比例。 （这里的软件版本是PyCharm 2020.3.2 x64） 所以，在爬取前先把这里所需要用到的库展示出来：from bs4 import BeautifulSoup #网页解析，获取数据
import sys
import
转载
2024-06-09 07:35:38
17阅读
小爬怡情，中爬伤身，强爬灰灰。爬虫有风险，使用请谨慎，可能是这两天爬豆瓣电影爬多了，今天早上登录的时候提示号被封了（我用自己帐号爬的，是找死呢还是在找死呢 ...），好在后面发完短信后又解封了，^_^。之前的文章中，已把电影短评数据装进了Mongo中，今天把数据取出来简单分析一下，当下最火的做法是进行词频统计并生成词云，今天说的就是这个。读取 Mongo 中的短评数据，进行中文分词不知道什么原因，
转载
2024-04-19 18:23:33
59阅读
因为最近在工作比较忙，在学习MYsql和Excel数据分析，所以到今天才更新，闲言少叙，进入今天的学习。在前面的两个爬虫项目我们分别抓取了京东的口红图片和糗百的段子，这种爬虫比较低级，算是练练手，今天的抓取豆瓣个人主页则相对困难一些，然后今天的爬虫我们采用了requests库让大家学习。下面我来总结一下抓取过程中的知识点和难点。1、确定真实的登陆地址。因为在豆瓣的登陆界面并不是真实的登陆地址，所以
转载
2023-06-30 12:00:23
100阅读
这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。一、主要用到
转载
2023-09-16 06:31:55
74阅读
背景：python 版本：3.7.4使用IDEA：pycharm操作系统：Windows64第一步：获取登录状态爬取豆瓣评论是需要用户登录的，所以需要先拿到登陆相关 cookie。进入浏览器（IE浏览器把所有的 cookie 集合到一起了，比较方便取值，其他浏览器需要自己整合所有的 cookie）登陆豆瓣之后，按下 F12 ，拿到请求头里的 cookie 与 user-agent 的数据，保持登陆
转载
2023-12-09 18:30:58
15阅读
Python Web开发一：Web开发简介
原创
2022-12-12 21:18:56
733阅读
# 实现“豆瓣Python”教程
“豆瓣Python”通常是指对豆瓣API的调用，能够在Python中获取豆瓣网的数据。对于刚入行的小白开发者，下面将详细介绍如何实现这项任务。整个流程包括以下几个步骤：
## 流程步骤
| 步骤 | 描述 |
|------|---------------------------|
| 1 | 注册豆瓣开放平台
原创
2024-09-04 05:21:58
254阅读
Django:牛刀小试http://www.cnblogs.com/tcheng/p/7021204.html
原创
2018-04-18 16:58:55
918阅读
点赞
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
文章目录一、新建scrapy项目二、豆瓣电影实战2.1、存储在CSV2.2、存储在Excel2.3、存储在数据库---sql server 学习记录： 一、新建scrapy项目scrapy下载pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn Scrap
转载
2023-10-23 20:54:25
105阅读
目 录第Ⅰ部分 函 数第1章 装饰器 31.1 理解装饰器 31.2 装饰器语法 41.3 在何处使用装饰器 61.4 编写装饰器的理由 61.5 编写装饰器的时机 71.5.1 附加功能 71.5.2 数据的清理或添加 71.5.3 函数注册 71.6 编写装饰器 71.6.1 初始示例：函数注册表81.6.2 执行时封装代码 91.6.3 装饰器参数 161.7 装饰类 201.8 类型转换
转载
2024-01-12 22:06:56
28阅读
前言作为本人的第一篇博客，不知道怎么写才好。同时作为一个编程的菜鸟，第一次分享自己的练习之作，希望能够通过写博客这种方式慢慢的提高自己的表述能力。 本人最近学习python，学习了基本的语法，就想着做点东西练练手，反正大家说起python第一反应都是爬虫，那我就做一个爬虫吧。 本人经常由于上豆瓣看各类电影的评分，从中选出自己想要看的电影，但是豆瓣提供的几种筛选方式都不能满足，所以打算做一个爬虫
转载
2023-12-04 18:49:53
29阅读
本文希望达到以下目标:简要介绍Scarpy使用Scarpy抓取豆瓣电影首先先要回答一个问题。
问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了
转载
2023-12-06 15:05:46
79阅读
这次练习的是抓取动态网页，因为个人喜欢恐怖片，就选了豆瓣的恐怖片来作为爬取对象。网页是动态加载的，点击加载更多就出现更多的信息。所以需要在浏览器用F12工具中打开network，找到XHR，观察加载的内容。通过观察Headers里的Request URL，知道了返回信息的url，点击几次加载更多，会发现url：https://movie.douban.com/j/new_search_subjec
转载
2024-03-07 20:56:05
157阅读
