python是解释型、面向对象的高级语言（与java不同，java需要编译生成中间状态，再运行中间状态的文件生成一个中间文件），python写完后就执行的解释型语言。 面向对象特点：封装继承和多态。 优点如下： 缺点如下：运行速度慢 代码不能加密：02第一个python程序exit()
或CTRL+z
可以退出python在命令提示符下的方式在f盘中用记事本写print(‘hello ppp’)
# Java 爬虫在豆瓣的应用
随着互联网的发展，网站上的数据也日益丰富。爬虫技术作为数据获取的一种重要手段，得到了广泛的应用。本文将探讨如何使用 Java 语言编写一个简单的爬虫，从豆瓣获取电影信息，包括代码示例和相关图示。
## 爬虫概述
爬虫（Web Crawler）是一种自动访问网页并提取信息的程序。在爬取数据时，爬虫会请求网页并解析返回的 HTML 文档，从中提取需要的信息。
#
原创
2024-09-08 03:19:40
41阅读
分享一下最近学习到的豆瓣搜索页爬虫。链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。请求后查看源码，可以发现，搜索结果的内容并没有出现在源码里面。 那么，第一时间反应就是，应该就是aja
转载
2023-09-08 15:44:01
480阅读
最近看了《哪吒之魔童降世》，有搞笑，有温情，有剧情，有理念，强烈推荐，给国漫点赞。然后又在学习python爬虫，就试了下爬取其豆瓣影评涉及：1. requests请求网页2. xpath提取数据3. 爬取遇到“下一页”操作时的处理4. openpyxl将数据写入excel5. matplotlib.pyplot画柱状图和圆形分布图源码：import requests
from lxml impor
转载
2023-08-09 15:03:59
138阅读
Python爬虫入门（爬取豆瓣电影信息小结）1、爬虫概念 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或脚本。爬虫的本质是模拟浏览器打开网页，获取网页中我们想要的那部分数据。2、基本流程（本次主要针对html文件） 具体描述可参考：爬虫基本原理（引用）3、网页结构了解（重要） 由于爬虫的本质是模拟浏览器打开网页，所以我们需要了解HTTP 的操作过程。 HTTP即超文本传输协议。HTTP协
转载
2024-06-14 09:45:37
73阅读
url参数分析eg： 我们看到的：https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&sort=T&range=0,10&tags=电影,爱情&start=20 编码后：https://movie.douban.com/j/new_search_subjects?sort=T&am
Python的学习起源于帮助他人找bug，现阶段可能会做一些不同爬虫相关的Demo，后续如果有时间继续深入学习，近期没有时间，现不列于计划之内。 学习主要途径和内容：廖雪峰的官方网站 学习过程中的一些demo：我的GitHub现在开始总结豆瓣电影 Top 250 爬取数据的过程 豆瓣电影 Top 250 url：https://movie.douban.com/top250 获取的数据包括排名，电
转载
2023-09-05 09:31:10
126阅读
# Java爬虫豆瓣实例教程
## 1. 整体流程
下面是Java爬虫豆瓣实例的整体流程：
| 步骤 | 动作 | 描述 |
| --- | --- | --- |
| 1 | 发起HTTP请求 | 使用Java的HTTP库发送GET请求到豆瓣网站 |
| 2 | 解析HTML内容 | 使用HTML解析库解析返回的HTML内容 |
| 3 | 提取数据 | 从HTML中提取需要的数据 |
|
原创
2023-11-01 14:59:07
58阅读
# 使用Java编写豆瓣读书爬虫：科普与实践
## 引言
在信息化日益发达的今天，数据爬虫作为数据采集的有效工具，逐渐引起了大家的关注。豆瓣读书作为一个著名的读书平台，其中蕴藏着丰富的书籍信息。本文将通过Java语言实现一个简单的豆瓣读书爬虫，帮助大家理解爬虫的基本原理，以及如何应用于实际问题。
## 爬虫的基本原理
爬虫的基本原理是通过HTTP请求获取网页内容，然后从中提取我们需要的信息
原创
2024-08-21 09:52:55
41阅读
第一次爬取的网站就是豆瓣电影 Top 250，网址是：https://movie.douban.com/top250?start=0&filter=分析网址'?'符号后的参数，第一个参数'start=0'，这个代表页数，‘=0’时代表第一页，‘=25’代表第二页。。。以此类推 一、分析网页：明确要爬取的元素 ：排名、名字、导演、评语、评分，在这里利用Chrome浏览器，查看元素的
转载
2024-02-28 16:17:07
157阅读
这里是爬取豆瓣视频信息，用pyquery库(jquery的python库)。一：代码from urllib.request import quote
from pyquery import PyQuery as pq
import requests
import pandas as pd
def get_text_page(movie_name):
'''函数功能：获得指定电影名的源代码参数：电影
转载
2024-02-28 22:35:27
82阅读
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我
转载
2023-09-06 17:05:29
108阅读
# 用Java爬虫爬取豆瓣的科普文章
## 引言
在互联网时代，信息获取的方式已经发生了翻天覆地的变化。通过网络爬虫，我们可以自动化地从互联网上提取数据。本文将介绍如何使用Java语言编写一个简单的爬虫，从豆瓣网爬取电影信息，并以可视化的方式展示数据。
## 一、准备工作
### 1.1 开发环境
在编写爬虫之前，请确保你已安装好以下工具：
- Java Development Kit
原创
2024-09-19 07:39:48
65阅读
import sslimport bs4import reimport requestsimpor
转载
2022-02-13 11:04:17
123阅读
今天学习了爬虫爬取豆瓣电影信息： import reimport requestsimport csvurl = "https://movie.douban.com/top250"headers = { "user
原创
2022-06-20 11:32:41
131阅读
import sslimport bs4import reimport requestsimport csvimport codecsimport timefrom urllib import request, errorcontext = ssl._create_unverified_context()class DouBanSpider: def __ini...
原创
2021-05-20 20:26:50
274阅读
## Python 爬虫爬取豆瓣电影信息
在信息化时代，数据是极其重要的资源。随着网络的不断发展，爬虫技术应运而生，成为获取数据的一种有效手段。在这篇文章中，我们将探讨如何使用Python创建一个简单的爬虫来爬取豆瓣电影的信息。
### 什么是爬虫？
网络爬虫（Web Crawler）是一种自动访问互联网并提取信息的程序。爬虫可以用于抓取网页内容、收集数据、进行数据分析等。Python作为一
原创
2024-10-11 10:43:33
78阅读
一.python爬虫简介1.什么是爬虫：网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析已成为如今主流的爬取策略。2.爬虫的作用：网络抓取图片，爬取想看的视频，只要通过浏览器访问的数据都可以通过爬虫获取3.爬虫的本质：模拟浏览器打开网页，获取网页中我们想要的那部分数据二.爬取数据1.urllib模块使用impo
转载
2023-12-26 13:25:03
66阅读
2021年春节档热播电影《你好，李焕英》，拿下累计票房54.12亿，一路杀进中国票房榜前五，堪称票房黑马。今天就以《你好，李焕英》这部电影为例，利用Python中的Xpath爬取其豆瓣短评，爬取的字段主要有：评论者、评分、评论日期、点赞数以及评论内容。该案例难度系数不大，刚好作为入门案例，废话不多说，让我们一起去看看吧！注：虽然在《你好，李焕英》豆瓣短评首页中显示共有41万多条短评，但是当浏览时，
转载
2023-12-05 21:49:02
485阅读
点赞
爬取豆瓣电影TOP250信息,并存进数据库 技术用到的有requests,pymysql,lxml,xpath爬取内容首先查看网页源码,右键查看网页源代码我们可以发现每部电影的信息都在li标签中： 这就表明我们不需要去抓包分析。思路很简单了：发送请求→获取网页源代码→xpath提取→保存信息。下面附上超详细的源码:????import requests
from lxml import etre
转载
2023-10-03 20:53:30
243阅读
