一。入门知识：1.1.HTTP简介HTTP = HyperText Transfer ProtocolURI = Uniform Resource IdentifierURL = Uniform Resource LocatorURI和URL的区别：URI强调的是资源，而URL强调的是资源的位置。1.2常用请求类型OPTIONS: 返回服务器针对特定资源所支持的http
原创
2022-12-30 16:45:10
94阅读
做数据分析和任何一门技术一样，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，一定要明确学习目的，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过可以肯定的是，学会了爬虫能给你的工作提供很多便利。小白入门必读作为零基础小白，大体上可分为三个阶段去实现。第一阶段
推荐
原创
2018-01-25 06:56:03
8392阅读
点赞
2评论
一。request库 import jsonimport requestsfrom io import BytesIO#显示各种函数相当于api# print(dir(requests))url = 'http://www.baidu.com'r = requests.get(url)print(r.text)print(r.status_code)print(r.encoding)结果：&nbs
原创
2022-12-30 16:45:36
60阅读
https://deerchao.net/tutorials/html/html.htm
转载
2018-02-22 09:45:32
621阅读
pycharm调试快捷键和终止调试快捷键 调试快捷键 shift + Alt + F10 终止快捷键 Ctrl + F2 Shift+F10 运行代码Shift+F9 调试代5261码Alt+Shift+F10 选择4102程1653序文件回并运行代码Alt+Shift+F9 选择程序文件并调试代码
原创
2021-06-04 17:03:20
273阅读
Python爬虫是一种您可以轻松地做的技术，并且可以深入挖掘。例如爬取1000万个数据可能需要一周时间。但是，如果您的爬虫玩得更好，那么您可以在分布式爬虫中完成1000万个数据。虽然它们是爬虫，但菜鸟和大牛之间的区别！这就和太极拳似的，易学难精！
原创
2022-12-01 17:02:59
141阅读
Python爬虫是使用Python编写的程序，可以自动抓取互联网上的数据。常用的Python爬虫框架包括Scrapy、BeautifulSoup、Requests等。Python爬虫可以应用于众多场合，如大数据分析、信息监测、数据挖掘和机器学习等领域。那么新手应该如何学习python爬虫呢？
原创
2023-06-09 10:05:09
98阅读
<!--done--> 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任
原创
2021-05-20 17:39:11
274阅读
来自Scrapy 网络爬虫实战的阅读笔记 ##知识点 scrapy基本类组件说明 scrapy中的Selector选择器 Scrapy通用爬虫介绍与使用 ###Scrapy爬虫的主要实现 Scrapy主要通过Spider类来实现爬虫的相关功能，通俗来讲，Spider类定义了爬取某个或某些网站的规则， ...
转载
2021-10-16 17:36:00
231阅读
2评论
一。scrapy结构数据解释：1.名词解析：o 引擎(Scrapy Engine) o 调度器(Scheduler) o 下载器(Downloader) o 蜘蛛(Spiders) o 项目管道(Item Pipeline) o 下载器中间件(Downloader Middlewares) o 蜘蛛中间件(Spider Middlewares) o 调度中间件(Scheduler
原创
2022-12-30 16:45:52
73阅读
上一篇文中我们用到了Python的几个模块做了百度新闻的爬取，这些模块他们在爬虫中的作用如下：
原创
2023-01-04 09:20:26
291阅读
什么是爬虫如果说把互联网比喻成蜘蛛网，那么爬虫就是在这张网上的蜘蛛，它可以在上面爬来爬去。在互联网中，爬虫就是机器人，你应该对百度和 Google 很熟悉吧，为什么我们可以很快的从它们的搜索引擎中获取到资料呢？原因就是它们都有自己的爬虫，在整个互联网上，24小时不间断的爬取那些愿意让它们爬取的网站内容，爬虫将这些内容的索引保存下来，放到百度自己的数据库里面，所以用户搜索的时候，就能很快的搜到你要的
原创
2021-01-02 11:31:43
238阅读
1. generator #g is a generator and g is iterable g = (x*x for x in range(5)) for n in g: print(n) # or next(g) 定义generator的另一种方法: 如果一个函数定义中包含yield关键字，
转载
2017-01-08 14:50:00
53阅读
2评论
这篇文章是关于Python各类知识点的小结，包括：特殊标识符、特殊方法、list等。望对大家有帮助！
如果文中阐述不全或不对的，多多交流。
列表生成式，lambda表达式，高阶函数：filter，reduce，zip，map，range函数，if三目运算符
原创
2020-08-24 10:56:05
326阅读
函数参数类型： 1、必需参数，位置参数，arguments 2、关键字参数，形式参数，parameter 3、默认参数，需加上‘’=‘’为参数赋上初值 4、不定长参数 位置不定 关键字不定长 函数定义： def 函数名(参数列表， 选项间用‘，‘分割)： 缩进一级，可以写文档字符串，以“””包围‘’
转载
2020-01-16 11:21:00
116阅读
2评论
1、第一个缺点就是运行速度慢，和C程序相比非常慢，因为Python是解释型语言，你的代码在执行时会一行一行地翻译成CPU能理解的机器码，这个翻译过程非常耗时，所以很慢。而C程序是运行前直接编译成CPU能执行的机器码，所以非常快。2、第二个缺点就是代码不能加密。如果要发布你的Python程序，实际上就是发布源代码，这一点跟C语言不同，C语言不用发布源代码，只需要把编译后的机器码（也就是你在Windo
原创
2022-09-27 09:33:10
118阅读
