578384的博客_python,Mysql,自动化运维,云服务,Hadoop,KVM,Go语言,Docker,python

运维学python之爬虫高级篇（七）scrapy爬取知乎关注用户存入mongodb

本篇将要介绍的是从一个用户开始，通过抓关注列表和粉丝列表，实现用户的详细信息抓取并将抓取到的结果存储到MongoDB。1环境需求基础环境沿用之前的环境，只是增加了MongoDB（非关系型数据库）和PyMongo（Python的MongoDB连接库），默认我认为大家都已经安装好并启动了MongoDB服务。项目创建、爬虫创建、禁用ROBOTSTXT_OBEY设置略（可以参考上一篇）2测试爬虫效果我这里

知乎

mongodb

爬取

原创 2018-02-25 21:36:06 4959 阅读 1点赞 1收藏

运维学python之爬虫高级篇（六）scrapy模拟登陆GitHub和51cto

上一篇介绍了如何爬取豆瓣TOP250的相关内容，今天我们来模拟登陆GitHub。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox抓包工具：fiddler爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析分析登陆提交信息分析登陆信息我使用的是fiddler，fiddler的使用方法就不作介绍了，大家可以自行搜索，首先我们打开githu

GitHub

模拟登陆

爬取

原创 2018-02-14 19:48:43 6970 阅读 2点赞 3收藏 3评论

运维学python之爬虫高级篇（五）scrapy爬取豆瓣电影TOP250

对于scrapy我们前面已经介绍了简单的应用，今天我们用一个完整的例子，爬取豆瓣电影TOP250来做一个小的练习，把scrapy阶段做一个总结。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析2.1需要保存的数据首先确定我们要获取的内容，在items中定义字段，来将非结构化数据生成结

豆瓣

top250

爬虫

原创精选 2018-02-08 10:33:56 10000+阅读 3点赞 2收藏

运维学python之爬虫高级篇（四）Item Pipeline介绍(附爬取网站获取图片到本地代码)

1ItemPipeline当spider爬取到item后，它被发送到项目管道（ItemPipeline），通过几个组件按顺序进行处理。每一个ItemPipeline是一个实现了简单方法的Python类，它接收到一个item并对其执行一个操作，也要决定该item是否应该继续通过管道，或者被丢弃，不再进行处理。ItemPipeline典型的用途是：1.清理HTML数据2.验证爬取的数据(检查items

image

pipeline

爬取图片

原创推荐 2018-02-03 22:41:29 10000+阅读 5点赞 4收藏 1评论

运维学python之爬虫高级篇（三）spider和items介绍

1spidersspiders是一个类，定义了如何去爬取一个网站（或一组网站），包括如何执行(跟踪链接)以及如何从他们的页面中提取结构化数据(例如抓取项目)，换句话说，spiders是定义为特定站点爬取和解析页面的定制行为(或者，在某些情况下，是一组站点的定制行为）。对于spiders来说，爬取的流程是这样的：1.首先生成初始请求，以抓取第一个url，然后指定一个回调函数，并使用从这些请求下载的r

spide

爬虫

原创 2018-02-01 12:05:54 5080 阅读 1收藏

运维学python之爬虫高级篇（二）用Scrapy框架实现简单爬虫

上一篇内容介绍了爬虫的基础架构及环境配置，这一篇我们将用一个简单的爬虫例子来熟悉一下scrapy框架。1创建项目首先要创建一个项目，注意：在你想要放代码的目录中执行下面的命令（具体如何在pycharm中调试可以看上一篇文章运维学python之爬虫高级篇（一）Scrapy框架入门scrapystartprojectsp创建完成后，项目结构如下：2第一个spider2.1寻找目标并编写spider爬取

scrapy

shell

request

原创精选 2018-01-31 15:02:29 10000+阅读 1点赞 1收藏 2评论

运维学python之爬虫高级篇（一）Scrapy框架入门

Scrapy是一个应用程序框架，用于抓取web站点和提取结构化数据，这些数据可以用于广泛的应用，如数据挖掘、信息处理。尽管Scrapy最初是为web抓取而设计的，但它也可以使用api(比如AmazonAssociates的web服务)或作为一个通用的web爬虫程序来提取数据。1环境安装最初Scrapy是不支持python3的，现在已经支持了，所以我们主要还是使用python3来实现。1.1Ubun

scrapy

pycharm

报错

原创精选 2018-01-28 19:12:54 9918 阅读 5点赞 3收藏 1评论

运维学python之爬虫中级篇（九）Python3 MySQL 数据库连接

最近因为年底，连续两个项目要投产上线，又赶上公司年会，忙的要死，更新有些慢，见谅。今天要说一说python如何对mysql进行操作。在Python3.x版本中用于连接MySQL服务器的库与Python2中使用的mysqldb有所不同。本文我将为大家介绍Python3使用PyMySQL库连接数据库，并实现简单的增删改查。1PyMySQL介绍PyMySql包含一个纯python的MySQL客户端库。P

mysql

pymysql

原创精选 2018-01-25 22:25:51 4483 阅读 2点赞 3收藏 2评论

运维学python之爬虫中级篇（八）MongoDB

1MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。具有高性能、高可用性和自动扩展性。MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB文档类似于JSON对象的BSON。字段值可以包含其他文档，数组及文档数组。MongoDB最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以

MongoDB

爬虫

原创 2018-01-22 21:51:50 2604 阅读 1收藏

运维学python之爬虫中级篇（七）Sqlite3

前文已经讲过无数据库版本操作（csv，json），今天我们要开始讲有数据库版本的操作，首先就是sqlite3。1介绍SQLite是一个C库，它提供了一个轻量级的基于磁盘的数据库，它不需要单独的服务器进程，并且允许使用SQL查询语言的非标准格式来访问数据库。一些应用程序可以使用SQLite进行内部数据存储。还可以使用SQLite对应用程序进行原型化，然后将代码移植到更大的数据库，如PostgreSQ

sqlite3

python

DB

原创 2018-01-14 13:53:19 3742 阅读

运维学python之爬虫中级篇（六）基础爬虫

通过这么多天对爬虫的介绍，我们对爬虫也有所了解，今天我们将引入一个简单爬虫的技术架构，解释爬虫技术架构中的几个模块，后面的爬虫也多是今天架构的延伸，只不过这个架构是简单的实现，对优化、爬取方式等不是很完善，主要为了方便大家对爬虫的理解和后面的编程。1基础架构和流程简单的爬虫架构由以下几部分构成：爬虫调度器：总体协调其它几个模块的工作URL管理器：负责管理URL，维护已经爬取的URL集合和未爬取的U

爬取

百度百科

原创 2018-01-11 09:10:38 10000+阅读 1点赞 1收藏 1评论

运维学python之爬虫中级篇（五）数据存储（无数据库版）

本篇主要介绍，爬取html数据后，将html的正文内容存储为json或csv格式。1json格式存储选定要爬取的网站后，我们利用之前学过的内容，如：BeautifulSoup、xpath等方式解析，来获取我们希望得到的内容。1.1获取数据首先使用urllib访问页面https://www.lagou.com/zhaopin/Python/?labelWords=label获取html内容，代码如下

json

load

dump

原创 2018-01-09 09:47:11 4017 阅读 1收藏

运维学python之爬虫中级篇（四）网络编程

网络编程，对所有开发语言来说都是一样的，python也不例外。使用python进行网络编程时，其实实在python程序本身的进程内，连接到指定服务器进程通信端口进行通信，所以网络通信也可以称作进程间通信。1socket提到网络编程，我们就不得不提socket（套接字），打开一个socket需要知道目标ip和端口，再指定协议类型即可，应用程序通常通过"套接字"向网络发出请求或者应

网络编程

tcp/udp

socket

原创 2018-01-08 11:15:12 2026 阅读

运维学python之爬虫中级篇（三）分布式进程

相对线程来说，进程更稳定一些，线程只是在同一台机器上利用多CPU，无法实现不同机器的共享，Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。应用到爬虫上，就例如：我们要爬取网站图片，如果使用多进程的话，则一个进程负责获取图片url，将url放入队列中，另外的进程负责读取和下载，现在把这个进程做成分布式，一台机器负责抓取，另一台

queue

分布式进程

原创精选 2018-01-07 12:05:14 7771 阅读 3点赞 1收藏

运维学python之爬虫中级篇（二）线程、协程

上一篇讲了多进程，今天我们就继续讲多线程。1简介线程线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发性能。线程没有自己的系统资源，只拥有在运行时必不可少的资源。但线程可以与同属与同一进程的其他线程共享进程所拥有的其他资源。多线程类似同时执行多个不同程序，pyt

线程

asyncio

await

原创 2018-01-06 22:20:29 3246 阅读 2收藏

运维学python之爬虫中级篇（一）进程

最近流感肆虐京城，各大医院爆满，不巧我也被病毒击中，起初咳嗽小感冒喝了点感冒冲剂以为可以扛过去，结果发展为嗓子干哑，最后又开始发烧，折腾好几天，没办法去医院走了一圈花了大洋，也算是好了些，从今天开始，就要介绍中级篇了，主要内容就是：进程、线程、协程、分布式、网络编程、数据存储（无数据库版）。好吧，就先介绍进程和线程。1进程与线程介绍python开发中，进程与线程是非常重要的，打造分布式爬虫，提高工

多进程

multiprocessing

Pool

原创 2018-01-05 22:02:24 3648 阅读 1点赞 2收藏

运维学python之爬虫工具篇（六）Pyquery的用法

1简介今天介绍的工具是Pyquery，没错，就是jquery的表哥，是用于python的jquery类库。pyquery允许您在xml文档上进行jquery查询。API类似于jquery。pyquery使用lxml进行快速xml和html操作。Pyquery官方文档jQuery中文在线手册2安装pip安装pipinstallpyquerypycharm安装看以前的文章能找到（略）3初始化您可以使用

jquery

pyquery

爬虫

原创 2017-12-29 14:23:30 4071 阅读 1收藏

运维学python之爬虫工具篇（五）Selenium的用法

1介绍Selenium是一组不同的软件工具，每个工具都有不同的方法来支持自动化测试,Selenium支持多种语言开发，比如Java、C、Python等。Selenium有两个版本，Selenium2(也叫SeleniumWebDriver)，它支持WebDriverAPI和底层技术，以及WebDriverAPI下的Selenium1技术，以便在移植测试时具有最大的灵活性。另外，Selenium2仍

selenium

webdriver

爬虫

原创 2017-12-28 21:40:32 5064 阅读

运维学python之爬虫工具篇（四）PhantomJS的用法

1介绍PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web标准：DOM操作，CSS选择器，JSON，Canvas以及SVG。官方文档2安装PhantomJS分别提供了win、linux等多个平台的安装包，大家可以直接下载相应平台版本安装即可。安装包我是安装在win10下，下载完配置截图如下：记住phantomjs.exe目录，下面要用点击我的电脑右键---属性

爬虫

phantomjs

原创 2017-12-26 21:45:27 7260 阅读

运维学python之爬虫工具篇（三）Xpath语法与lxml库的用法

今天介绍一下lxml，lxml是在Python语言中处理XML和HTML的功能最丰富、使用最简单的库（官方文档是这么写）。[官方pdf文档]网盘地址：https://pan.baidu.com/s/1o887fkA密码：ed9k1安装pip方式安装pipinstalllxmlpycharm安装（略，见前文）2Xpath术语2.1节点在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理

lxml

xpath

爬虫

原创 2017-12-25 14:50:40 10000+阅读

运维学python之爬虫工具篇（二）Beautiful Soup的用法

前面的内容我们都是用正则的方式获取想要的内容，每次写正则匹配时候都要测试好多次，是不是能够获取我们想要的结果，感觉很烦是不是，下面我们就介绍一下更好的方式，通过BeautifulSoup来获取，let'sgo！1BeautifulSoup安装1.1介绍BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改

Beautiful Soup

爬虫

find_all

find

原创 2017-12-24 13:18:06 10000+阅读 1收藏

运维学python之爬虫工具篇（一）Requests库的用法

前面写都是基于urllib库来写的，今天开始了解python爬虫常用的工具库，今天介绍第一个库Requests中文官网1安装1.1直接安装要安装Requests，只要在你的终端中运行这个简单命令即可：$pipinstallrequests1.2pycharm安装方法如果使用的是pycharm，安装方法见下图（顺序为按照箭头的方向操作）：如果安装完成，导入模块验证一下是否成功即可：>>&

requests

原创 2017-12-23 23:13:55 3001 阅读

运维学python之爬虫基础篇实战（七）爬取伯乐在线面向对象图片

自己写爬虫主要是用来学习python，请大家不要过分的爬取别人的站点，给浏览网站造成影响上篇讲了如何爬去百度贴吧内容，今天讲一讲图片保存的例子，伯乐在线有个面向对象（就是相亲哦）的网页，里面有很多妹子的个人介绍，我们主要爬取图片，按照编号名称创建文件夹存储在文件夹中。1分析url伯乐在线打开详细页面后的网址为http://date.jobbole.com/4767/其中4767为个人id，每个人的

爬虫

伯乐在线

爬图

原创 2017-12-21 17:31:10 2881 阅读 2点赞

运维学python之爬虫基础篇实战（六）爬取百度贴吧

相对来说，贴吧还是比较好爬一些的，所以就先拿贴吧为例，来做第一个实战。1爬前分析如果要爬取一个网站的内容，我们要先做一般有以下几个步骤：对url进行分析，找到有规律的内容，定义相应的变量；开始爬取内容，对获取的内容进行查看；通过查看，设定正则规则，过滤无用内容；保存我们需要的内容到文件。2url分析因为上大学时候就很迷恋盗墓笔记，一直关注着，所以这次就爬盗墓笔记吧的内容吧,。2.1url分段盗墓笔

爬虫

百度贴吧

爬取贴吧

原创 2017-12-19 22:09:22 3274 阅读 1收藏 2评论

运维学python之爬虫基础篇（五）正则表达式

前面我们已经讲了，如何爬取整个网页的内容，那我就想要我需要的信息，改如何做呢，下面我们就来讲讲正则表达式，用正则表达式来获取我们需要的内容。1正则表达式1.1介绍正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。正则表达式的大致匹配过程是：依次拿出表达式和文本中的字符比较，如果每一个字符都

re

正则

表达式

原创 2017-12-17 12:59:38 2685 阅读 2点赞 1收藏 1评论

运维学python之爬虫基础篇（四）Cookie

最近两天项目投产上线，比较忙，没有及时更新，实在抱歉。在程序中，会话跟踪是很重要的事情。理论上，一个用户的所有请求操作都应该属于同一个会话，而另一个用户的所有请求操作则应该属于另一个会话，二者不能混淆。由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。给客户端们颁发一个通行证，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的

cookie

原创 2017-12-16 11:58:54 2671 阅读 1点赞 2评论

运维学python之爬虫基础篇（三）urllib模块高级用法

1添加头信息1.1User-Agent有些网站，如果你按照urllib.request.urlopen('https://www.baidu.com')这种方式打开，服务器有可能不会响应，所以要完全模仿浏览器访问，我们需要加入User-Agent信息，示例代码如下：fromurllibimportrequestreq=request.Request('https://www.bai

urllib

error

Proxy

原创 2017-12-11 15:43:07 2450 阅读

运维学python之爬虫基础篇（二）urllib模块使用

1何为爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。摘自百度百科2URL2.1URL含义URL（Uniform/UniversalResourceLocator的缩写，统一资源定位符）是对可以从互联网上得到的资源的位置和访问方法的一种简洁

urllib、parse、urlopen

原创 2017-12-10 14:06:08 3712 阅读 1点赞 2收藏 3评论

运维学python之爬虫基础篇（一）开篇

本人现职系统运维，随着技术发展，越来越多的系统开始提倡自动化运维，而且运维职位也不是几年前只懂shell就可以了，前几年找工作任职要求还是熟练shell，会python有加分，现在已经是熟悉shell、python、perl、java等语言任意两种，要求有所提高，所以有些压力的我也一直再搞python，无奈看了很多基础的文档了，最后还是有些无从下手的感觉，所以借着51CTO博客改版，把学习记录一下

爬虫

python3

原创 2017-12-09 20:41:51 5420 阅读 3点赞 5收藏 6评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

Oneball