Oneball-51CTO博客

Oneball

33W+
人气
24
文章
4
关注
31
粉丝

关注私信

原创 24
翻译 0
转载 0
评论 22
点赞 32

分享：

全部

578384 发布于：2018-02-25
1

运维学python之爬虫高级篇（七）scrapy爬取知乎关注用户存入mongodb 本篇将要介绍的是从一个用户开始，通过抓关注列表和粉丝列表，实现用户的详细信息抓取并将抓取到的结果存储到MongoDB。1环境需求基础环境沿用之前的环境，只是增加了MongoDB（非关系型数据库）和PyMongo（Python的MongoDB连接库），默认我认为大家都已经安装好并启动了MongoDB服务。项目创建、爬虫创建、禁用ROBOTSTXT_OBEY设置略（可以参考上一篇）2测试爬虫效果我这里

原创

阅读 3659

评论 0

收藏 1
578384 发布于：2018-02-14
2

运维学python之爬虫高级篇（六）scrapy模拟登陆GitHub和51cto 上一篇介绍了如何爬取豆瓣TOP250的相关内容，今天我们来模拟登陆GitHub。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox抓包工具：fiddler爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析分析登陆提交信息分析登陆信息我使用的是fiddler，fiddler的使用方法就不作介绍了，大家可以自行搜索，首先我们打开githu

原创

阅读 4998

评论 3

收藏 3
578384 发布于：2018-02-08
3

运维学python之爬虫高级篇（五）scrapy爬取豆瓣电影TOP250 对于scrapy我们前面已经介绍了简单的应用，今天我们用一个完整的例子，爬取豆瓣电影TOP250来做一个小的练习，把scrapy阶段做一个总结。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析2.1需要保存的数据首先确定我们要获取的内容，在items中定义字段，来将非结构化数据生成结

原创

阅读 10000+

评论 0

收藏 2
578384 发布于：2018-02-03
5

运维学python之爬虫高级篇（四）Item Pipeline介绍(附爬取网站获取图片到本地代码) 荐 1ItemPipeline当spider爬取到item后，它被发送到项目管道（ItemPipeline），通过几个组件按顺序进行处理。每一个ItemPipeline是一个实现了简单方法的Python类，它接收到一个item并对其执行一个操作，也要决定该item是否应该继续通过管道，或者被丢弃，不再进行处理。ItemPipeline典型的用途是：1.清理HTML数据2.验证爬取的数据(检查items

原创

阅读 10000+

评论 1

收藏 4
578384 发布于：2018-01-31
1

运维学python之爬虫高级篇（二）用Scrapy框架实现简单爬虫上一篇内容介绍了爬虫的基础架构及环境配置，这一篇我们将用一个简单的爬虫例子来熟悉一下scrapy框架。1创建项目首先要创建一个项目，注意：在你想要放代码的目录中执行下面的命令（具体如何在pycharm中调试可以看上一篇文章运维学python之爬虫高级篇（一）Scrapy框架入门scrapystartprojectsp创建完成后，项目结构如下：2第一个spider2.1寻找目标并编写spider爬取

原创

阅读 10000+

评论 2

收藏 1
578384 发布于：2018-01-28
5

运维学python之爬虫高级篇（一）Scrapy框架入门 Scrapy是一个应用程序框架，用于抓取web站点和提取结构化数据，这些数据可以用于广泛的应用，如数据挖掘、信息处理。尽管Scrapy最初是为web抓取而设计的，但它也可以使用api(比如AmazonAssociates的web服务)或作为一个通用的web爬虫程序来提取数据。1环境安装最初Scrapy是不支持python3的，现在已经支持了，所以我们主要还是使用python3来实现。1.1Ubun

原创

阅读 7545

评论 1

收藏 3
578384 发布于：2018-01-25
2

运维学python之爬虫中级篇（九）Python3 MySQL 数据库连接最近因为年底，连续两个项目要投产上线，又赶上公司年会，忙的要死，更新有些慢，见谅。今天要说一说python如何对mysql进行操作。在Python3.x版本中用于连接MySQL服务器的库与Python2中使用的mysqldb有所不同。本文我将为大家介绍Python3使用PyMySQL库连接数据库，并实现简单的增删改查。1PyMySQL介绍PyMySql包含一个纯python的MySQL客户端库。P

原创

阅读 3546

评论 2

收藏 3
578384 发布于：2018-01-22
0

运维学python之爬虫中级篇（八）MongoDB 1MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。具有高性能、高可用性和自动扩展性。MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB文档类似于JSON对象的BSON。字段值可以包含其他文档，数组及文档数组。MongoDB最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以

原创

阅读 1729

评论 0

收藏 1
578384 发布于：2018-01-11
1

运维学python之爬虫中级篇（六）基础爬虫通过这么多天对爬虫的介绍，我们对爬虫也有所了解，今天我们将引入一个简单爬虫的技术架构，解释爬虫技术架构中的几个模块，后面的爬虫也多是今天架构的延伸，只不过这个架构是简单的实现，对优化、爬取方式等不是很完善，主要为了方便大家对爬虫的理解和后面的编程。1基础架构和流程简单的爬虫架构由以下几部分构成：爬虫调度器：总体协调其它几个模块的工作URL管理器：负责管理URL，维护已经爬取的URL集合和未爬取的U

原创

阅读 9207

评论 1

收藏 0
578384 发布于：2018-01-09
0

运维学python之爬虫中级篇（五）数据存储（无数据库版）本篇主要介绍，爬取html数据后，将html的正文内容存储为json或csv格式。1json格式存储选定要爬取的网站后，我们利用之前学过的内容，如：BeautifulSoup、xpath等方式解析，来获取我们希望得到的内容。1.1获取数据首先使用urllib访问页面https://www.lagou.com/zhaopin/Python/?labelWords=label获取html内容，代码如下

原创

阅读 3168

评论 0

收藏 1
578384 发布于：2018-01-08
0

运维学python之爬虫中级篇（四）网络编程网络编程，对所有开发语言来说都是一样的，python也不例外。使用python进行网络编程时，其实实在python程序本身的进程内，连接到指定服务器进程通信端口进行通信，所以网络通信也可以称作进程间通信。1socket提到网络编程，我们就不得不提socket（套接字），打开一个socket需要知道目标ip和端口，再指定协议类型即可，应用程序通常通过"套接字"向网络发出请求或者应

原创

阅读 1211

评论 0

收藏 0
578384 发布于：2018-01-07
3

运维学python之爬虫中级篇（三）分布式进程相对线程来说，进程更稳定一些，线程只是在同一台机器上利用多CPU，无法实现不同机器的共享，Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。应用到爬虫上，就例如：我们要爬取网站图片，如果使用多进程的话，则一个进程负责获取图片url，将url放入队列中，另外的进程负责读取和下载，现在把这个进程做成分布式，一台机器负责抓取，另一台

原创

阅读 7185

评论 0

收藏 1
578384 发布于：2018-01-06
0

运维学python之爬虫中级篇（二）线程、协程上一篇讲了多进程，今天我们就继续讲多线程。1简介线程线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发性能。线程没有自己的系统资源，只拥有在运行时必不可少的资源。但线程可以与同属与同一进程的其他线程共享进程所拥有的其他资源。多线程类似同时执行多个不同程序，pyt

原创

阅读 2532

评论 0

收藏 2
578384 发布于：2018-01-05
1

运维学python之爬虫中级篇（一）进程最近流感肆虐京城，各大医院爆满，不巧我也被病毒击中，起初咳嗽小感冒喝了点感冒冲剂以为可以扛过去，结果发展为嗓子干哑，最后又开始发烧，折腾好几天，没办法去医院走了一圈花了大洋，也算是好了些，从今天开始，就要介绍中级篇了，主要内容就是：进程、线程、协程、分布式、网络编程、数据存储（无数据库版）。好吧，就先介绍进程和线程。1进程与线程介绍python开发中，进程与线程是非常重要的，打造分布式爬虫，提高工

原创

阅读 2953

评论 0

收藏 2
578384 发布于：2017-12-29
0

运维学python之爬虫工具篇（六）Pyquery的用法 1简介今天介绍的工具是Pyquery，没错，就是jquery的表哥，是用于python的jquery类库。pyquery允许您在xml文档上进行jquery查询。API类似于jquery。pyquery使用lxml进行快速xml和html操作。Pyquery官方文档jQuery中文在线手册2安装pip安装pipinstallpyquerypycharm安装看以前的文章能找到（略）3初始化您可以使用

原创

阅读 2971

评论 0

收藏 1
578384 发布于：2017-12-26
0

运维学python之爬虫工具篇（四）PhantomJS的用法 1介绍PhantomJS是一个***面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web标准：DOM操作，CSS选择器，JSON，Canvas以及SVG。官方文档2安装PhantomJS分别提供了win、linux等多个平台的安装包，大家可以直接下载相应平台版本安装即可。安装包我是安装在win10下，下载完配置截图如下：记住phantomjs.exe目录，下面要用点击我的电脑右键---属性

原创

阅读 4953

评论 0

收藏 0
578384 发布于：2017-12-25
0

运维学python之爬虫工具篇（三）Xpath语法与lxml库的用法今天介绍一下lxml，lxml是在Python语言中处理XML和HTML的功能最丰富、使用最简单的库（官方文档是这么写）。[官方pdf文档]网盘地址：https://pan.baidu.com/s/1o887fkA密码：ed9k1安装pip方式安装pipinstalllxmlpycharm安装（略，见前文）2Xpath术语2.1节点在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理

原创

阅读 10000+

评论 0

收藏 0
578384 发布于：2017-12-24
0

运维学python之爬虫工具篇（二）Beautiful Soup的用法前面的内容我们都是用正则的方式获取想要的内容，每次写正则匹配时候都要测试好多次，是不是能够获取我们想要的结果，感觉很烦是不是，下面我们就介绍一下更好的方式，通过BeautifulSoup来获取，let'sgo！1BeautifulSoup安装1.1介绍BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改

原创

阅读 10000+

评论 0

收藏 1
578384 发布于：2017-12-23
0

运维学python之爬虫工具篇（一）Requests库的用法前面写都是基于urllib库来写的，今天开始了解python爬虫常用的工具库，今天介绍第一个库Requests中文官网1安装1.1直接安装要安装Requests，只要在你的终端中运行这个简单命令即可：$pipinstallrequests1.2pycharm安装方法如果使用的是pycharm，安装方法见下图（顺序为按照箭头的方向操作）：如果安装完成，导入模块验证一下是否成功即可：>>&

原创

阅读 1854

评论 0

收藏 0
578384 发布于：2017-12-21
2

运维学python之爬虫基础篇实战（七）爬取伯乐在线面向对象图片自己写爬虫主要是用来学习python，请大家不要过分的爬取别人的站点，给浏览网站造成影响上篇讲了如何爬去百度贴吧内容，今天讲一讲图片保存的例子，伯乐在线有个面向对象（就是相亲哦）的网页，里面有很多妹子的个人介绍，我们主要爬取图片，按照编号名称创建文件夹存储在文件夹中。1分析url伯乐在线打开详细页面后的网址为http://date.jobbole.com/4767/其中4767为个人id，每个人的

原创

阅读 1862

评论 0

收藏 0

首页
上一页
1
2
下一页
末页
共24条记录

578384

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：python Mysql 自动化运维
入住博客：2010-01-30 9.8年

七日热门

最近来访

写文章