1. HTTP和HTTPS1.1 HTTP和HTTPS的关系HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。SSL（Secure Sockets Lay
转载
2023-07-21 22:20:05
20阅读
一、爬虫主要是实现对网页上自己喜欢的资源的爬取。 1、python自带的urllib html = urllib.request.urlopen('网站').read() 2、第三方库requests resp = requests.get('网站').text 如果返回的结果没有保存且没有报错，那 ...
转载
2021-07-21 21:22:00
120阅读
2评论
Python爬虫入门笔记
转载
2023-07-17 20:28:56
10阅读
1、引入urllib库。2、发起请求。3、读取返回的内容。4、编码设置。（b'为二进制编码，需要转化为utf-8）5、打印出来。import urllib.requestresponse=urllib.request.urlopen("http://www.baidu.com")html=response.read()html=html.decode("utf-8")p
原创
2022-09-09 10:20:12
105阅读
3 基本库的使用 1）使用 urllib 是python内置的HTTP请求库，包含request、error、parse、robotparser urlopen（） urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, c ...
转载
2021-07-25 20:46:00
228阅读
2评论
# Python爬虫基本逻辑
## 整体流程
```mermaid
journey
title Python爬虫基本逻辑
section 制定计划
开发者和小白一起讨论爬虫需求和目标
section 编写代码
开发者指导小白编写爬虫代码
section 测试代码
开发者和小白一起测试代码，确保功能正常
```
#
原创
2024-06-01 07:06:52
38阅读
爬虫： 请求网站 并 提取数据 的 自动化程序爬虫基本流程：发起请求 -> 获取响应 -> 解析内容 -> 保存数据Request请求方式 Request Method：get post请求url Request URL请求头 Request Headers请求体 Form DataResponse响应状态 Status code 200o...
原创
2022-02-17 15:28:42
106阅读
爬虫： 请求网站 并 提取数据 的 自动化程序爬虫基本流程：发起请求 -> 获取响应 -> 解析内容 -> 保存数据Request请求方式 Request Method：get post请求url Request URL请求头 Request Headers请求体 Form DataResponse响应状态 Status code 200o...
原创
2021-07-12 10:53:54
239阅读
先直接附上一段爬虫代码，最最简单的爬虫网页：import requests
r = requests.get("https://www.baidu.com")
r.status_code
r.encoding = r.apparent_encoding
r.text在python窗口中输入以上代码便可爬取百度首页的全部代码：，是不是很有意思呢。下面我们开始学习python爬虫的第一个库Reques
转载
2024-03-12 23:33:43
757阅读
节约时间，不废话介绍了，直接上例子！！！输入以下代码（共6行） 爬虫结束~~~有木有满满成就感！！！以上代码爬取的是这个页面，红色框框里面的数据，也就是豆瓣电影本周口碑榜。 下面开始简单介绍如何写爬虫。爬虫前，我们首先简单明确两点：1. 爬虫的网址；2. 需要爬取的内容。第一步，爬虫的网址，这个…那就豆瓣吧，我也不知道为啥爬虫教程都要拿豆瓣开刀–！第二部，需要
转载
2023-06-07 16:16:08
313阅读
跟我学习Python爬虫系列开始啦。带你简单快速高效学习Python爬虫。一、快速体验一个简单爬虫以抓取简书首页文章标题和链接为例就是以上红色框内文章的标签，和这个标题对应的url链接。当然首页还包括其他数据，如文章作者，文章评论数，点赞数。这些在一起，称为结构化数据。我们先从简单的做起，先体验一下Python之简单，之快捷。1）环境准备当然前提是你在机器上装好了Python环境，初步掌握和了解P
转载
2023-10-03 20:59:32
95阅读
1、爬取一个简单的网页在我们发送请求的时候，返回的数据多种多样，有HTML代码、json数据、xml数据，还有二进制流。我们先以百度首页为例，进行爬取：import requests # 以get方法发送请求，返回数据 response = requests. get () # 以二进制写入的方式打开一个文件 f = open( 'index.html' , 'wb' ) # 将响应
转载
2023-08-10 17:36:56
112阅读
windows用户，Linux用户几乎一样:打开cmd输入以下命令即可，如果python的环境在C盘的目录，会提示权限不够，只需以管理员方式运行cmd窗口pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requestsLinux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可sudo pip install -i
转载
2023-08-07 21:03:44
129阅读
第三部分 爬虫的基本原理如果说互联网是一张大网，那么爬虫（即网络爬虫）就是在网上爬行的蜘蛛。网的节点就是一个个网页，爬虫到达节点相当于访问网页并获取信息。节点间的连线就是网页和网页之间的链接，顺着线就能到达下一个网页。 一、爬虫概述简单的说，爬虫就是获取网页并提取和保存信息的自动化程序。1、获取网页爬虫获取的网页，是指获取网页的源代码。源代码里包含了部分有用信息，所以只要把
转载
2023-09-06 21:17:19
44阅读
from urllib.request import urlopen,Request
from bs4 import BeautifulSoup
import re
url="https://movie.douban.com/top250?start=50%filter="
hd = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
转载
2023-05-22 16:06:02
355阅读
import requests
from lxml import html
url='https://movie.douban.com/' #需要爬数据的网址
page=requests.Session().get(url)
tree=html.fromstring(page.text)
result=tree.xpath('//td[@class="title"]//a/text()') #
转载
2022-04-19 14:41:00
150阅读
跟我学习Python爬虫系列开始啦。带你简单快速高效学习Python爬虫。一、快速体验一个简单爬虫以抓取简书首页文章标题和链接为例简书首页就是以上红色框内文章的标签，和这个标题对应的url链接。当然首页还包括其他数据，如文章作者，文章评论数，点赞数。这些在一起，称为结构化数据。我们先从简单的做起，先体验一下Python之简单，之快捷。1）环境准备当然前提是你在机器上装好了Python环境，初步掌握
转载
2023-09-21 20:29:19
62阅读
Python编写简单的网络爬虫根据网络上给出的例子，简单总结一下用Python编写网络爬虫程序的基本思路，以百度为例，主要有以下策略：Python提供了许多Module，通过这些Module，可以很简单的做一些工作。比如，要获得NBA这个词在百度搜索结果页中各个搜索结果对应的URL，这就是一个很简单的爬虫需求。1、通过urllib2这个Module获得对应的HTML源码。# -*- encodin
转载
2023-08-16 15:53:39
136阅读
好的，这是一个使用 Python 的爬虫代码的示例：import requests
from bs4 import BeautifulSoup
def crawl(url):
# 通过 requests 库发送 HTTP GET 请求
resp = requests.get(url)
# 将响应的 HTML 代码解析为一个 BeautifulSoup 对象
soup = Beau
转载
2023-07-02 11:44:09
166阅读
爬虫定义爬虫是请求网站并提取自己所需要数据的过程。通过我们的程序，可以代替我们向服务器发送请求，然后进行批量的数据下载。Python爬虫基本流程爬虫基本流程发起请求通过url向服务器发送requests请求，请求可以包含额外的header信息。2.获取响应内容如果服务器正常响应，那么将受到一个response，response即为我们所请求的网页内容，可能包含html\json\二进制数据(图片、
转载
2020-04-26 16:12:05
461阅读
