做数据分析和任何一门技术一样，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，一定要明确学习目的，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过可以肯定的是，学会了爬虫能给你的工作提供很多便利。小白入门必读作为零基础小白，大体上可分为三个阶段去实现。第一阶段
推荐
原创
2018-01-25 06:56:03
8392阅读
点赞
2评论
一。request库 import jsonimport requestsfrom io import BytesIO#显示各种函数相当于api# print(dir(requests))url = 'http://www.baidu.com'r = requests.get(url)print(r.text)print(r.status_code)print(r.encoding)结果：&nbs
原创
2022-12-30 16:45:36
60阅读
一。入门知识：1.1.HTTP简介HTTP = HyperText Transfer ProtocolURI = Uniform Resource IdentifierURL = Uniform Resource LocatorURI和URL的区别：URI强调的是资源，而URL强调的是资源的位置。1.2常用请求类型OPTIONS: 返回服务器针对特定资源所支持的http
原创
2022-12-30 16:45:10
94阅读
pycharm调试快捷键和终止调试快捷键 调试快捷键 shift + Alt + F10 终止快捷键 Ctrl + F2 Shift+F10 运行代码Shift+F9 调试代5261码Alt+Shift+F10 选择4102程1653序文件回并运行代码Alt+Shift+F9 选择程序文件并调试代码
原创
2021-06-04 17:03:20
273阅读
https://deerchao.net/tutorials/html/html.htm
转载
2018-02-22 09:45:32
621阅读
Python爬虫是一种您可以轻松地做的技术，并且可以深入挖掘。例如爬取1000万个数据可能需要一周时间。但是，如果您的爬虫玩得更好，那么您可以在分布式爬虫中完成1000万个数据。虽然它们是爬虫，但菜鸟和大牛之间的区别！这就和太极拳似的，易学难精！
原创
2022-12-01 17:02:59
138阅读
Python爬虫是使用Python编写的程序，可以自动抓取互联网上的数据。常用的Python爬虫框架包括Scrapy、BeautifulSoup、Requests等。Python爬虫可以应用于众多场合，如大数据分析、信息监测、数据挖掘和机器学习等领域。那么新手应该如何学习python爬虫呢？
原创
2023-06-09 10:05:09
98阅读
来自Scrapy 网络爬虫实战的阅读笔记 ##知识点 scrapy基本类组件说明 scrapy中的Selector选择器 Scrapy通用爬虫介绍与使用 ###Scrapy爬虫的主要实现 Scrapy主要通过Spider类来实现爬虫的相关功能，通俗来讲，Spider类定义了爬取某个或某些网站的规则， ...
转载
2021-10-16 17:36:00
231阅读
2评论
<!--done--> 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任
原创
2021-05-20 17:39:11
274阅读
什么是爬虫如果说把互联网比喻成蜘蛛网，那么爬虫就是在这张网上的蜘蛛，它可以在上面爬来爬去。在互联网中，爬虫就是机器人，你应该对百度和 Google 很熟悉吧，为什么我们可以很快的从它们的搜索引擎中获取到资料呢？原因就是它们都有自己的爬虫，在整个互联网上，24小时不间断的爬取那些愿意让它们爬取的网站内容，爬虫将这些内容的索引保存下来，放到百度自己的数据库里面，所以用户搜索的时候，就能很快的搜到你要的
原创
2021-01-02 11:31:43
238阅读
一。scrapy结构数据解释：1.名词解析：o 引擎(Scrapy Engine) o 调度器(Scheduler) o 下载器(Downloader) o 蜘蛛(Spiders) o 项目管道(Item Pipeline) o 下载器中间件(Downloader Middlewares) o 蜘蛛中间件(Spider Middlewares) o 调度中间件(Scheduler
原创
2022-12-30 16:45:52
73阅读
上一篇文中我们用到了Python的几个模块做了百度新闻的爬取，这些模块他们在爬虫中的作用如下：
原创
2023-01-04 09:20:26
291阅读
不同类型变量之间的计算(1)数字型变量之间可以直接计算(2)字符串变量 之间使用 ：拼接字符串(3)字符串变量 可以和 整数 使用*重复拼接相同的字符串(4)数字型变量和 字符串 之间 不能进行其他计算输入：接受键盘的输入Input():输入函数，结果是字符串类型Print():打印Type():查看类型可以将“数值类型字符串（123，66）”转成数值 Int（）：转成整数 Flo
转载
2021-04-28 12:20:34
189阅读
2评论
python 相关命令： 命令 | 作用 | brew search python | 查看安装了几个python版本 which python | python安装位置 python V | 查看python版本（注意：V是大写） python | 进入python交互编程模式 exit() |
转载
2017-12-13 15:07:00
73阅读
2评论
1.使用os.path.realpath(__file__)获取文件所在目录 路径+文件名2.os.path.abspath('.')， 获取当前文
原创
2023-02-07 17:39:06
137阅读
# Python 基础知识点学习指南
作为一名新入行的开发者，了解 Python 的基本知识点是迈向编程的第一步。本文将通过清晰的流程图和代码示例，帮助你认识并掌握 Python 的基础知识。下面是学习 Python 知识点的整体流程：
### 学习流程
| 步骤 | 描述 |
|------|--------------------------|
|
列表生成式，lambda表达式，高阶函数：filter，reduce，zip，map，range函数，if三目运算符
原创
2020-08-24 10:56:05
326阅读
