这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。一、主要用到
转载
2023-09-16 06:31:55
74阅读
记录下对 scrapy 框架的认识，以及爬取豆瓣 top250 实战。一、前提编译IDA：pycharm 社区版 python版本：python3.7.4二、Scrapy框架介绍2.1、结构图2.2、模块分析引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心)调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个U
转载
2023-11-14 10:25:05
131阅读
scrapy 简介在此，默认已经安装好Scrapy，如果没有安装可以到scrapy 官网下载安装。注意： 在安装Scrapy之前首先需要安装一下python第三方库：（安装方法并不在本文讲解范围，请自行了解）scrapy 爬取网页scrapy 不同于简单的单线程爬虫，采用scrapy 框架写python爬虫需要生成许多个文件，这一件类似于java里面的web框架，许多工作都可以通过一些配置文件来
转载
2024-06-05 13:51:11
56阅读
Scrapy框架工作原理 项目采用Scrapy框架开发，该框架是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上随处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是定义一个入口页面，然后页面上都会有其他页面的URL，于是从当前页面获
转载
2024-05-10 16:31:48
64阅读
最近想使用python在豆瓣电影上爬一下电影《教父》的影评，但非登录游客只能查看前10页的影评内容，如果想爬取更多影评，需要先模拟登录豆瓣。我搜索了很多模拟登录的文章，但我由于欠缺网页方面的知识基础，并没有能够按照其步骤成功模拟登录，后来发现，是模拟登录需要提交的个人信息对应的关键字变了(后面会具体解释)。因此，我整理了一下自己模拟登录成功的详细步骤。步骤一：安装爬虫所需的requests库直接在
转载
2023-11-07 00:48:54
19阅读
# 如何用Python开发简单的游戏：以“战神”为例
## 引言
“战神”是一款知名的动作冒险游戏，但制作这样一款游戏绝非易事。作为一名刚入行的小白，你可能会想：“战神是用Python做的吗？”虽然“战神”的实际开发涉及多种技术和复杂的图形引擎，但我们可以用Python来开发一个简单的2D游戏，以了解游戏开发的基本流程和相关代码。本文将指导你如何用Python实现一个简单的游戏项目，并提供详细
开源最前线（ID：OpenSourceTop） 猿妹 整编
链接：https://www.itcodemonkey.com/article/827.html
作为一个文艺公司，豆瓣的开源项目却不少。豆瓣的主基因是 Python。其中有一个基于 Python 的 分布式计算框架 DPark。下面就是豆瓣最受欢迎的开源项目汇总： 1DOUAudioStreamer https
转载
2024-05-21 15:57:31
85阅读
# Python中sys模块的使用方法
## 流程图
```mermaid
flowchart TD
A(开始) --> B(导入sys模块)
B --> C(使用sys模块功能)
C --> D(结束)
```
## 状态图
```mermaid
stateDiagram
开始 --> 导入sys模块
导入sys模块 --> 使用sys模块功能
原创
2024-07-12 06:30:30
31阅读
据了解“豆瓣”APP主要分为这几大类：电视、电影、图书、唱片、活动。比较偏重于信息搜索查询工具，汇集了豆瓣旗下电影、电视、书籍、音乐等各类评分评论信息。此外，“豆瓣”APP与PC版本有所不同。不能购票、没有图书的电商购买链接等等，其为用户呈现的功能，也是豆瓣已有13款APP没有内容。
成立于2005年的豆瓣，以其独特的小清新气质在
转载
2023-07-16 11:40:01
161阅读
低并发编程战略上藐视技术，战术上重视技术今天，我想登陆豆瓣，看看电影评论，陶冶陶冶情操。但是，我从来没注册过豆瓣账号，而我又懒得再注册一个，怎么办呢？我打开豆瓣的官网，笑了，原来豆瓣早就为我这种懒人想到了办法。懒人三步第一步：在豆瓣官网点击用 QQ 登陆。第二步：跳转到 qq 登录页面输入用户名密码，然后点授权并登录。第三步：跳回到豆瓣页面，成功登录。太方便了！但这短短的几秒钟，可不简单，我来给你
转载
2024-05-09 16:08:44
37阅读
Python爬取豆瓣电影top250 下面以四种方法去解析数据，前面三种以插件库来解析，第四种以正则表达式去解析。 xpath pyquery beaufifulsoup re 爬取信息：名称 评分 小评 结果显示使用xpath解析数据 #python 使用xpath解析数据
#查询豆瓣top250电
转载
2024-03-05 08:25:15
93阅读
首先，打开豆瓣电影Top 250，然后进行网页分析。找到它的Host和User-agent，并保存下来。 然后，我们通过翻页，查看各页面的url，发现规律： 第一页：https://movie.douban.com/top250?start=0&filter= 第二页：https://movie.douban.com/top250?start=25&filter= 第三
转载
2023-07-03 17:46:22
103阅读
Java初识一，概述1.Java简介Java是一种面向对象的程序设计语言1995年由SUN公司发布2010年sun被oracle公司收购JDK版本是8.02，JVMJVM(java virtual machine)，Java虚拟机是Java平台无关性实现的关键（iOS，Windows，Linux等）3，JDKJDK(java development kit)，Java语言的软件开发工具包俩个主要组
转载
2023-08-12 14:04:44
50阅读
使用是scrapy爬取豆瓣电影TOP250榜单上的电影信息，环境配置就不说了。 1.在工作空间下cmd,弹出命令窗口2.创建项目，scrapy startproject douban250 3.项目创建成功了 4.用pycharm打开项目 5.爬取序号、电影名称、导演、主演、在items.py中输入代码：6.在spiders文件夹下新建一个douban.py url是我们要爬取的网页，parse方
转载
2024-05-05 11:16:11
277阅读
最近这段时间，量化交易非常的火爆，很多的投资者都开始尝试使用量化交易来为自己赚钱。甚至现在有一种结论，就是量化交易万能论，什么意思呢？就是使用量化交易，就能够让你自己一直赚钱，而且永远都赚钱。这种想法就太天真了，要是真的这么容易，这个方法早就被用滥了，为什么现在用的人还这么少？究其原因，并不是有了一套好的量化系统了，就一定能够赚大钱了，实际上，量化交易依然有三个大问题解决不了。问题一：过度拟合。量
转载
2023-10-31 22:22:49
104阅读
为什么学python为什么学习Python？首先python入门简单，容易上手，很适合初学者。python可能应用于哪些方面呢？1、web应用开发在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。 youtube 世界最大的视频网站也是Python开发的哦.还有非常出名的instagram 也是用python
JavaWeb就是在服务器端以Java语言为解释运行基础的web程序。php代码要想在服务器端运行,需要在服务器软件(通常是Apache)上加php的解释器,Java也一样,但是这个解释器是Tomcat。但还是有点不一样,可能与两种语言的特性有关：php是脚本语言,解释执行；而Java需要编译执行。php解释器添加到Apache上就可以了,但是只是将请求转交给Tomcat来执行并返回结果。(具体区
转载
2023-11-01 16:54:41
59阅读
国内的pythoner强烈建议使用豆瓣的pypi源 sudo pip install -i https://pypi.douban.com/simple/ scrapy
sudo pip install scrapy -i http://pypi.douban.com/simple ;--trusted-host pypi.douban.com 注意后面要有/simple目录
转载
2023-05-18 11:03:15
719阅读
1 引言关联规则分析也成为购物篮分析，最早是为了发现超市销售数据库中不同的商品之间的关联关系。例如一个超市的经理想要更多地了解顾客的购物习惯，比如“哪组商品可能会在一次购物中同时购买？”或者“某顾客购买了个人电脑，那该顾客三个月后购买数码相机的概率有多大？”他可能会发现如果购买了面包的顾客同时非常有可能会购买牛奶，这就导出了一条关联规则“面包=>牛奶”，其中面包称为规则的前项，而牛奶称为后项
转载
2023-09-25 09:01:46
47阅读
大家好，本文将围绕如何用python做一个简单的小游戏展开说明，python编写的入门简单小游戏是一个很多人都想弄明白的事情，想搞清楚用python做一个简单的游戏需要先了解以下几个事情。1、Python游戏开发，Python实现贪吃蛇小游戏与吃豆豆 附带源码Python版本： 3.6.4相关模块：pygame模块；以及一些Python自带的模块。安装Python并添加到环境变量，pip
转载
2023-07-03 15:36:43
145阅读
