学Python派森的博客

Python3网络爬虫实战-15、爬虫基础：HTTP基本原理

在写爬虫之前，还是需要了解一些爬虫的基础知识，如HTTP原理、网页的基础知识、爬虫的基本原理、Cookies基本原理等。那么本章内容就对一些在做爬虫之前所需要的基础知识做一些简单的总结。HTTP基本原理在本节我们会详细了解HTTP的基本原理，了解在浏览器中敲入一个URL到获取网页内容发生了一个怎样的过程，了解了这些内容，有助于去进一步了解爬虫的基本原理。1.URI、URL在了解HTTP之前我们先了

Python

爬虫

数据挖掘

原创 2019-07-31 20:15:28 649 阅读 1点赞 1收藏

Python3网络爬虫实战-14、部署相关库的安装：Scrapyrt、Gerapy

Scrapyrt的安装Scrapyrt为Scrapy提供了一个调度的HTTP接口，有了它我们不需要再执行Scrapy命令而是通过请求一个HTTP接口即可调度Scrapy任务，Scrapyrt比Scrapyd轻量级，如果不需要分布式多任务的话可以简单使用Scrapyrt实现远程Scrapy任务的调度。1.相关链接GitHub：https://github.com/scrapinghu...官方文档：

Python

爬虫

数据挖掘

原创 2019-07-31 20:14:23 599 阅读

Python3网络爬虫实战-13、部署相关库ScrapydClient、ScrapydAPI

ScrapydClient的安装在将Scrapy代码部署到远程Scrapyd的时候，其第一步就是要将代码打包为Egg文件，其次需要将Egg文件上传到远程主机，这个过程如果我们用程序来实现是完全可以的，但是我们并不需要做这些工作，因为ScrapydClient已经为我们实现了这些功能。下面我们就来过一下ScrapydClient的安装过程。1.相关链接GitHub：https://github.co

Python

数据挖掘

爬虫

原创 2019-07-31 20:13:15 366 阅读

Python3网络爬虫实战-12、部署相关库的安装：Docker、Scrapyd

如果想要大规模抓取数据，那么一定会用到分布式爬虫，对于分布式爬虫来说，我们一定需要多台主机，每台主机多个爬虫任务，但是源代码其实只有一份。那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行，那么怎么去部署就又是一个值得思考的问题。对于Scrapy来说，它有一个扩展组件叫做Scrapyd，我们只需要安装Scrapyd即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等操作。另外

Python

爬虫

数据挖掘

原创 2019-07-31 20:12:20 423 阅读

Python3网络爬虫实战-11、爬虫框架的安装：ScrapySplash、ScrapyRedis

ScrapySplash的安装ScrapySplash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍一下它的安装方式。ScrapySplash的安装分为两部分，一个是是Splash服务的安装，安装方式是通过Docker，安装之后会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是ScrapySplash的Python库的安装，安装之后

Python

爬虫

数据挖掘

原创 2019-07-31 20:11:26 441 阅读

Python3网络爬虫实战-10、爬虫框架的安装：PySpider、Scrapy

我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会

Python

数据挖掘

爬虫

原创 2019-07-30 16:25:03 678 阅读

Python3网络爬虫实战-9、APP爬取相关库的安装：Appium的安装

Appium是移动端的自动化测试工具，类似于前面所说的Selenium，利用它我们可以驱动Android、iOS等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/，本节来了解一下Appium的安装方式。1.相关链接GitHub：https://github.com/appium/appium官方网站：http://appium.io官方文档：ht

Python

数据挖掘

爬虫

原创 2019-07-30 16:24:28 444 阅读

Python3网络爬虫实战-8、APP爬取相关库的安装：MitmProxy的安装

MitmProxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。同时MitmProxy还有两个关联组件，一个是MitmDump，它是MitmProxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是MitmWeb，它是一个Web程序，通过它我们可以清楚地观察到MitmProxy捕获的请求

Python

数据挖掘

爬虫

原创 2019-07-30 16:23:06 357 阅读

Python3网络爬虫实战-7、APP爬取相关库的安装：MitmProxy的安装

MitmProxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。同时MitmProxy还有两个关联组件，一个是MitmDump，它是MitmProxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是MitmWeb，它是一个Web程序，通过它我们可以清楚地观察到MitmProxy捕获的请求

Python

数据挖掘

爬虫

原创 2019-07-30 16:21:50 268 阅读

Python3网络爬虫实战-6、APP爬取相关库的安装：Charles的安装

除了Web网页，爬虫也可以对APP的数据进行抓取，APP中的页面要加载出来，首先需要获取数据，那么这些数据一般是通过请求服务器的接口来获取的，由于APP端没有像浏览器一样的开发者工具直接比较直观地看到后台的请求，所以对APP来说，它的数据抓取主要用到一些抓包技术。本书介绍的抓包工具有Charles、MitmProxy、MitmDump，APP一些简单的接口我们通过Charles或MitmProxy

Python

数据挖掘

爬虫

原创 2019-07-30 16:15:53 528 阅读

Python3网络爬虫实战-5、Web库的安装：Flask、Tornado

Web想必我们都不陌生，我们现在日常访问的网站都是Web服务程序搭建而成的，Python同样不例外也有一些这样的Web服务程序，比如Flask、Django等，我们可以拿它来开发网站，开发接口等等。在本书中，我们主要要用到这些Web服务程序来搭建一些API接口，供我们的爬虫使用。例如，维护一个代理池，代理保存在Redis数据库中，我们要将代理池作为一个公共的组件使用，那么如何构建一个方便的平台来供

Python

数据挖掘

爬虫

原创 2019-07-29 16:56:48 302 阅读

Python3网络爬虫实战-4、存储库的安装:PyMySQL、PyMongo、RedisPy、Red

在前面一节我们介绍了几个数据库的安装方式，但这仅仅是用来存储数据的数据库，它们提供了存储服务，但如果想要和Python交互的话也同样需要安装一些Python存储库，如MySQL需要安装PyMySQL，MongoDB需要安装PyMongo等等，本节我们来说明一下这些库的安装方式。1.4.1PyMySQL的安装在前面一节我们了解了MySQL的安装方式，在Python3中如果想要将数据存储到MySQL中

Python

数据挖掘

爬虫

原创 2019-07-29 16:56:00 203 阅读

Python3网络爬虫实战-3、数据库的安装：MySQL、MongoDB、Redis

抓取下网页代码之后，下一步就是从网页中提取信息，提取信息的方式有多种多样，可以使用正则来提取，但是写起来会相对比较繁琐。在这里还有许多强大的解析库，如LXML、BeautifulSoup、PyQuery等等，提供了非常强大的解析方法，如XPath解析、CSS选择器解析等等，利用它们我们可以高效便捷地从从网页中提取出有效信息。本节我们就来介绍一下这些库的安装过程。1.2.1LXML的安装LXML是P

Python

爬虫

数据挖掘

原创 2019-07-29 16:55:16 327 阅读

Python3网络爬虫实战-2、请求库安装：GeckoDriver、PhantomJS、Aiohtt

1.1.4GeckoDriver的安装在上一节我们了解了ChromeDriver的配置方法，配置完成之后我们便可以用Selenium来驱动Chrome浏览器来做相应网页的抓取。那么对于Firefox来说，也可以使用同样的方式完成Selenium的对接，这时需要安装另一个驱动GeckoDriver。本节来介绍一下GeckoDriver的安装过程。1.相关链接GitHub：https://github

Python

爬虫

原创 2019-07-29 16:54:47 306 阅读

Python3网络爬虫实战-1、请求库安装：Requests、Selenium、ChromeDriv

爬虫可以简单分为几步：抓取页面、分析页面、存储数据。在第一步抓取页面的过程中，我们就需要模拟浏览器向服务器发出请求，所以需要用到一些Python库来实现HTTP请求操作，在本书中我们用到的第三方库有Requests、Selenium、Aiotttp等。在本节我们介绍一下这些请求库的安装方法。1.1.1Requests的安装由于Requests属于第三方库，也就是Python默认不会自带这个库，需要

Python

爬虫

原创 2019-07-29 16:54:19 429 阅读

Python爬虫入门【23】：scrapy爬取云沃客项目外包网数据！

闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢数据分析官方网址为https://www.clouderwork.com/进入全部项目列表页面，很容易分辨出来项目的分页方式得到异步请求RequestURL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range

Python

数据挖掘

爬虫

原创 2019-07-27 16:47:46 768 阅读

Python爬虫入门【22】：scrapy爬取酷安网全站应用

今天要爬取一个网站叫做酷安，是一个应用商店，大家可以尝试从手机APP爬取，不过爬取APP的博客，我打算在50篇博客之后在写，所以现在就放一放啦~~~酷安网站打开首页之后是一个广告页面，点击头部的应用即可页面分析分页地址找到，这样就可以构建全部页面信息我们想要保存的数据找到，用来后续的数据分析上述信息都是我们需要的信息，接下来，只需要爬取即可，本篇文章使用的还是scrapy，所有的代码都会在文章中出

Python

数据挖掘

爬虫

原创 2019-07-27 16:42:17 836 阅读

Python爬虫入门【21】：知乎网全站用户爬虫 scrapy

全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。你第一步找一个爬取种子，算作爬虫入口https://www.zhihu.com/people/zhang-jia-wei/followin

Python

爬虫

数据挖掘

原创 2019-07-27 16:41:43 654 阅读

Python爬虫入门【20】：掘金网全站用户爬虫 scrapy

获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠加下去。随便打开一个用户的个人中心绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人？那么你还需要继续找一个入口，这个用户一定要关注了别人。选择关注列表，是为了让数据有价值，因为关注者里面可能大量的小号或者不活跃的账号，价值不大。我选了这样一个入口页面，它关注了3个人，你也可以选择多一些的，这个没

Python

爬虫

数据挖掘

原创 2019-07-27 16:40:52 380 阅读

Python爬虫入门【19】： B站博人传评论数据抓取 scrapy

1.B站博人传评论数据爬取简介今天想了半天不知道抓啥，去B站看跳舞的×××姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址：https://www.bilibili.com/bangumi/media/md5978/?from=search&seid=16013388136765436883#short在这个网页看到

Python

数据挖掘

爬虫

原创 2019-07-26 16:29:40 4505 阅读

Python爬虫入门【18】： 36氪(36kr)数据抓取 scrapy

1.36氪(36kr)数据----写在前面今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备36kr让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。网址https://36kr.com/2.36氪(36kr)数据----数据分析36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开

数据挖掘

Python

爬虫

原创 2019-07-26 16:29:07 936 阅读 2评论

Python爬虫入门【17】：高考派大学数据抓取 scrapy

1.高考派大学数据----写在前面写到终于了scrapy爬虫框架了，这个框架可以说是蟒爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。安装过程自己百度一下，就能找到3种以上的安装手法，一个哪都可以安装上可以参考https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html官方说明进行安装。2.高考派大学数据----

Python

数据挖掘

爬虫

原创 2019-07-26 16:28:03 430 阅读

Python爬虫入门【16】：链家租房数据抓取

1.写在前面作为一个活跃在京津冀地区的开发者，要闲着没事就看看石家庄这个国际化大都市的一些数据，这篇博客爬取了链家网的租房信息，爬取到的数据在后面的博客中可以作为一些数据分析的素材。我们需要爬取的网址为：https://sjz.lianjia.com/zufang/2.分析网址首先确定一下，哪些数据是我们需要的可以看到，×××框就是我们需要的数据。接下来，确定一下翻页规律https://sjz.li

Python

数据挖掘

爬虫

原创 2019-07-26 16:26:40 854 阅读

Python爬虫入门【15】：煎蛋网XXOO图片抓取

今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。整体看上去，煎蛋网的妹子图质量还是可以的，不是很多，但是还蛮有味道的，这可能也是爬虫er，一批一批的奔赴上去的原因。1.网站分析这个网站

Python

数据挖掘

爬虫

原创 2019-07-26 16:26:15 6941 阅读

Python爬虫入门【13】：All IT eBooks多线程爬取

AllITeBooks多线程爬取-写在前面对一个爬虫爱好者来说，或多或少都有这么一点点的收集癖~发现好的图片，发现好的书籍，发现各种能存放在电脑上的东西，都喜欢把它批量的爬取下来。然后放着，是的，就这么放着.......然后慢慢的遗忘掉.....AllITeBooks多线程爬取-爬虫分析打开网址http://www.allitebooks.com/发现特别清晰的小页面，一看就好爬在点击一本图书进入

Python

爬虫

原创 2019-07-25 13:54:19 461 阅读

Python爬虫入门【12】：斗图啦表情包多线程爬取

小白适合学Python吗？怎么加入Python开发行列？在最近有相关研究表明，富裕国家(高收入国家)喜欢研究的技术与其他国家的不同。其中，我们看到最大的差异是Python语言。而且伴随着人工智能时代的到来，Python编程语言非常火，了解下为什么小白适合选择Python吧!当我们关注高收入国家的时候，甚至可以看到Python的增长速度甚至比StackOverflowTrends或者其他一些全球软件

Python

爬虫

原创 2019-07-25 13:53:54 852 阅读

Python爬虫入门【11】：半次元COS图爬取

半次元COS图爬取-写在前面今天在浏览网站的时候，忽然一个莫名的链接指引着我跳转到了半次元网站https://bcy.net/打开之后，发现也没有什么有意思的内容，职业的敏感让我瞬间联想到了cosplay，这种网站必然会有这个的存在啊，于是乎，我准备好我的大爬虫了。把上面的链接打开之后，被我发现了吧，就知道我的第八感不错滴。接下来就是找入口，一定要找到图片链接的入口才可以做下面的操作这个页面不断往

Python

爬虫

原创 2019-07-25 13:53:26 405 阅读

Python爬虫入门【10】：电子书多线程爬取

最近想找几本电子书看看，就翻啊翻，然后呢，找到了一个叫做周读的网站，网站特别好，简单清爽，书籍很多，而且打开都是百度网盘可以直接下载，更新速度也还可以，于是乎，我给爬了。本篇文章学习即可，这么好的分享网站，尽量不要去爬，影响人家访问速度就不好了http://www.ireadweek.com/,想要数据的，可以在我博客下面评论，我发给你，QQ，邮箱，啥的都可以。这个网站页面逻辑特别简单，我翻了翻书

Python

爬虫

原创 2019-07-25 13:52:26 519 阅读

Python爬虫入门【9】：图虫网多线程爬取

图虫网-写在前面经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fucklogin类的内容。图虫网-爬取图虫网为什么要爬取这个网站，不知道哎~莫名奇妙的收到了，感觉图片质量不错，不是那些妖艳贱

Python

爬虫

原创 2019-07-25 13:51:54 273 阅读

Python爬虫入门【8】：蜂鸟网图片爬取之三

蜂鸟网图片--啰嗦两句前面的教程内容量都比较大，今天写一个相对简单的，爬取的还是蜂鸟，依旧采用aiohttp希望你喜欢爬取页面`https://tu.fengniao.com前面程还是基于学习的目的，为啥选择蜂鸟，没办法，我瞎选的。一顿熟悉的操作之后，我找到了下面的链接https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&tagsId=

python

爬虫

原创 2019-07-24 22:18:15 542 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

学Python派森的博客