mb5fe159f193922的博客

跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！

背景用 Python 做过爬虫的小伙伴可能接触过 Scrapy，GitHub：https://github.com/scrapy/scrapy。Scrapy 的确是一个非常强大的爬虫框架，爬取效率高，扩展性好，基本上是使用 Python 开发爬虫的必备利器。如果使用 Scrapy 做爬虫，那么在爬取时，我们当然完全可以使用自己的主机来完成爬取，但当爬取量非常大的时候，我们肯定不能在自己的机器上来运

java

原创点赞0 阅读230 收藏0 评论0 2021-01-19

TensorFlow RNN Cell源码解析

本文介绍下 RNN 及几种变种的结构和对应的 TensorFlow 源码实现，另外通过简单的实例来实现 TensorFlow RNN 相关类的调用。RNNRNN，循环神经网络，Recurrent Neural Networks。人们思考问题往往不是从零开始的，比如阅读时我们对每个词的理解都会依赖于前面看到的一些信息，而不是把前面看的内容全部抛弃再去理解某处的信息。应用到深度学习上面，如果我们想要学

java

原创点赞0 阅读222 收藏0 评论0 2021-01-19

TensorFlow Bi-LSTM实现文本分词

本节我们来尝试使用 TensorFlow 搭建一个双向 LSTM (Bi-LSTM) 深度学习模型来处理序列标注（分词）问题，主要目的是学习 Bi-LSTM 的用法。Bi-LSTM我们知道 RNN 是可以学习到文本上下文之间的联系的，输入是上文，输出是下文，但这样的结果是模型可以根据上文推出下文，而如果输入下文，想要推出上文就没有那么简单了，为了弥补这个缺陷，我们可以让模型从两个方向来学习，这就构

java

原创点赞0 阅读590 收藏0 评论0 2021-01-19

JavaScript加密逻辑分析与Python模拟执行实现数据爬取

本节来说明一下 JavaScript 加密逻辑分析并利用 Python 模拟执行 JavaScript 实现数据爬取的过程。在这里以中国空气质量在线监测分析平台为例来进行分析，主要分析其加密逻辑及破解方法，并利用 PyExecJS 来实现 JavaScript 模拟执行来实现该网站的数据爬取。疑难杂症中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、A

java

原创点赞0 阅读318 收藏0 评论0 2021-01-19

Learning to Rank概述

Learning to Rank，即排序学习，简称为 L2R，它是构建排序模型的机器学习方法，在信息检索、自然语言处理、数据挖掘等场景中具有重要的作用。其达到的效果是：给定一组文档，对任意查询请求给出反映文档相关性的文档排序。本文简单介绍一下 L2R 的基本算法及评价指标。背景随着互联网的快速发展，L2R 技术也越来越受到关注，这是机器学习常见的任务之一。信息检索时，给定一个查询目标，我们需要算出

java

原创点赞0 阅读579 收藏0 评论0 2021-01-19

爬虫代理哪家强？十大付费代理详细对比评测出炉！

前言随着大数据时代的到来，爬虫已经成了获取数据的必不可少的方式，做过爬虫的想必都深有体会，爬取的时候莫名其妙 IP 就被网站封掉了，毕竟各大网站也不想自己的数据被轻易地爬走。对于爬虫来说，为了解决封禁 IP 的问题，一个有效的方式就是使用代理，使用代理之后可以让爬虫伪装自己的真实 IP，如果使用大量的随机的代理进行爬取，那么网站就不知道是我们的爬虫一直在爬取了，这样就有效地解决了反爬的问题。那么问

java

原创点赞0 阅读522 收藏0 评论0 2021-01-19

Selenium的使用方法简介

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本节中，就让我们来感受一下它的强大之处吧。1. 准备工作本节以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好了Chrome浏览器并配置好了Chr

java

原创点赞0 阅读293 收藏0 评论0 2021-01-19

TensorFlow验证码识别

本节我们来用 TensorFlow 来实现一个深度学习模型，用来实现验证码识别的过程，这里我们识别的验证码是图形验证码，首先我们会用标注好的数据来训练一个模型，然后再用模型来实现这个验证码的识别。验证码首先我们来看下验证码是怎样的，这里我们使用 Python 的 captcha 库来生成即可，这个库默认是没有安装的，所以这里我们需要先安装这个库，另外我们还需要安装 pillow 库，使用 pip3

java

原创点赞0 阅读1269 收藏0 评论0 2021-01-19

TensorFlow layers模块用法

TensorFlow 中的 layers 模块提供用于深度学习的更高层次封装的 API，利用它我们可以轻松地构建模型，这一节我们就来看下这个模块的 API 的具体用法。概览layers 模块的路径写法为 tf.layers，这个模块定义在 tensorflow/python/layers/layers.py，其官方文档地址为：https://www.tensorflow.org/api_docs/

java

原创点赞0 阅读117 收藏0 评论0 2021-01-19

Requests库作者Kenneth Reitz的另一神作！虚拟环境及包管理工具Pipenv！

我们在运行 Python 项目的时候经常会遇到一些版本问题，例如 A 项目依赖于 Django 1.5，而 B 项目又依赖 Django 2.0，而我们的系统却只有一个 Python 解释器，我们所有的包都被装在了 Python 安装目录的 site-packages 目录下，所以 Django 只能是某个特定的版本，所以这样就会导致运行的时候导致 A 或 B 项目出现兼容问题。为了解决这个问题，

java

原创点赞0 阅读79 收藏0 评论0 2021-01-19

正则表达式中零宽断言的用法

了解了正则表达式，想必一般情况下的匹配都不会出现什么问题，但是如果一些特殊情况，可能需要用到一些更高级的正则表达式匹配操作，本节我们来说明一下正则表达式的一个较常用又比较重要的知识点——零宽断言。实例引入首先我们来看一个例子，这里有一段问答对话：问：我用的是Windows XP+Service Pack 2，为什么无法安装输入卡号和密码的控件？答：在Windows XP+Service Pack

java

原创点赞0 阅读314 收藏0 评论0 2021-01-19

Scrapy-Redis分布式爬虫源码解析

Scrapy-Redis库已经为我们提供了Scrapy分布式的队列、调度器、去重等功能，其GitHub地址为：https://github.com/rmax/scrapy-redis。本节我们深入了解一下，利用Redis如何实现Scrapy分布式。1. 获取源码可以把源码Clone下来，执行如下命令：git clone https://github.com/rmax/scrapy-redis.gi

java

原创点赞0 阅读352 收藏0 评论0 2021-01-19

Scrapy爬虫去重效率优化之Bloom Filter的算法的对接

首先回顾一下Scrapy-Redis的去重机制。Scrapy-Redis将Request的指纹存储到了Redis集合中，每个指纹的长度为40，例如27adcc2e8979cdee0c9cecbbe8bf8ff51edefb61就是一个指纹，它的每一位都是16进制数。我们计算一下用这种方式耗费的存储空间。每个十六进制数占用4 b，1个指纹用40个十六进制数表示，占用空间为20 B，1万个指纹即占用空

java

原创点赞0 阅读170 收藏0 评论0 2021-01-19

深度学习GPU环境Ubuntu16.04+GTX1080+CUDA9+cuDNN7+TensorFl

本节详细说明一下深度学习环境配置，Ubuntu 16.04 + Nvidia GTX 1080 + Python 3.6 + CUDA 9.0 + cuDNN 7.1 + TensorFlow 1.6。Python 3.6首先安装 Python 3.6，这里使用 Anaconda 3 来安装，下载地址：https://www.anaconda.com/download/#linux，点击 Down

java

原创点赞0 阅读211 收藏0 评论0 2021-01-19

使用requests+正则表达式爬取猫眼电影排行

本节中，我们利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。1. 本节目标本节中，我们要提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的站点URL为http://maoyan.com/board/4，提取的结果会以文件形式保存下来

java

原创点赞0 阅读763 收藏0 评论0 2021-01-19

Session和Cookies的基本原理

在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且很长时间都不会失效，这种情况又是为什么？其实这里面涉及Session和Cookies的相关知识，本节就来揭开它们的神秘面纱。一、静态网页和动态网页在开始之前，我们需要先了解一下静态网页和动态网页的概念

java

原创点赞0 阅读431 收藏0 评论0 2021-01-19

分析Ajax爬取今日头条街拍美图

本节中，我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图，抓取完成之后，将每组图片分文件夹下载到本地并保存下来。1. 准备工作在本节开始之前，请确保已经安装好requests库。如果没有安装，可以自行查阅。2. 抓取分析在抓取之前，首先要分析抓取的逻辑。打开今日头条的首页http://www.toutiao.com/，如下图所示。右上角有一个

java

原创点赞0 阅读301 收藏0 评论0 2021-01-19

中文分词原理及常用Python中文分词库介绍

原理中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。中文分词与英文分词有很大的不同，对英文而言，一个单词就是一个词，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，需要人为切分。根据其特点，可以把分

java

原创点赞0 阅读310 收藏0 评论0 2021-01-19

Attention原理及TensorFlow AttentionWrapper源码解析

本节来详细说明一下 Seq2Seq 模型中一个非常有用的 Attention 的机制，并结合 TensorFlow 中的 AttentionWrapper 来剖析一下其代码实现。Seq2Seq首先来简单说明一下 Seq2Seq 模型，如果搞过深度学习，想必一定听说过 Seq2Seq 模型，Seq2Seq 其实就是 Sequence to Sequence，也简称 S2S，也可以称之为 Encode

java

原创点赞0 阅读189 收藏0 评论0 2021-01-19

用Flask+Aiohttp+Redis维护动态代理池

在网上有大量公开的免费代理，或者我们也可以购买付费的代理IP，但是代理不论是免费的还是付费的，都不能保证都是可用的，因为可能此IP被其他人使用来爬取同样的目标站点而被封禁，或者代理服务器突然发生故障或网络繁忙。一旦我们选用了一个不可用的代理，这势必会影响爬虫的工作效率。所以，我们需要提前做筛选，将不可用的代理剔除掉，保留可用代理。接下来我们就搭建一个高效易用的代理池。一、准备工作首先需要成功安装R

java

原创点赞0 阅读210 收藏0 评论0 2021-01-19

付费代理的使用

相对免费代理来说，付费代理的稳定性更高。本节将介绍爬虫付费代理的相关使用过程。一、付费代理分类付费代理分为两类：一类提供接口获取海量代理，按天或者按量收费，如讯代理；一类搭建了代理隧道，直接设置固定域名代理，如阿布云代理。本节分别以两家代表性的代理网站为例，讲解这两类代理的使用方法，二、讯代理讯代理的代理效率较高（作者亲测），官网为http://www.xdaili.cn/，如下图所示。讯代理上可

java

原创点赞0 阅读173 收藏0 评论0 2021-01-19

轻松获得海量稳定代理！ADSL拨号代理的搭建

我们尝试维护过一个代理池。代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其IP被封的概率很大。另外，这些代理可能有效时间比较短，虽然代理池一直在筛选，但如果没有及时更新状态，也有可能获取到不可用的代理。如果要追求更加稳定的代理，就需要购买专有代理或者自己搭建代理服务器。但是服务器一般都是固定的IP，我们总不能搭建100个代理就用1

java

原创点赞0 阅读245 收藏0 评论0 2021-01-19

App爬虫神器mitmproxy和mitmdump的使用

mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。mitmproxy还有两个关联组件。一个是mitmdump，它是mitmproxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是mitmweb，它是一个Web程序，通过它我们可以清楚观察mitmproxy捕获的请求。下面

java

原创点赞0 阅读249 收藏0 评论0 2021-01-19

妈妈再也不用担心爬虫被封号了！手把手教你搭建Cookies池

很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看全文等，这些页面都需要登录账号才可以查看和爬取。一些页面和接口虽然可以直接请求，但是请求一旦频繁，访问就容易被限制或者IP直接

java

原创点赞0 阅读442 收藏0 评论0 2021-01-19

滑动宫格验证码都给碰上了？没事儿，看完此文分分钟拿下！

本节我们将介绍新浪微博宫格验证码的识别。微博宫格验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了应该的滑动轨迹。我们要按照滑动轨迹依次从起始宫格滑动到终止宫格，才可以完成验证，如下图所示。鼠标滑动后的轨迹会以黄色的连线来标识，如下图所示。访问新浪微博移动版登录页面，就可以看到如上验证码，链接为https://passport.weibo.cn/signin/login。不是每次登

java

原创点赞0 阅读213 收藏0 评论0 2021-01-19

滑动宫格验证码都给碰上了？没事儿，看完此文分分钟拿下！

本节我们将介绍新浪微博宫格验证码的识别。微博宫格验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了应该的滑动轨迹。我们要按照滑动轨迹依次从起始宫格滑动到终止宫格，才可以完成验证，如下图所示。鼠标滑动后的轨迹会以黄色的连线来标识，如下图所示。访问新浪微博移动版登录页面，就可以看到如上验证码，链接为https://passport.weibo.cn/signin/login。不是每次登

java

原创点赞0 阅读42 收藏0 评论0 2021-01-19

App抓包其实没那么复杂！Charles来帮你搞定

Charles是一个网络抓包工具，我们可以用它来做App的抓包分析，得到App运行过程中发生的所有网络请求和响应内容，这就和Web端浏览器的开发者工具Network部分看到的结果一致。相比Fiddler来说，Charles的功能更强大，而且跨平台支持更好。所以我们选用Charles作为主要的移动端抓包工具，用于分析移动App的数据包，辅助完成App数据抓取工作。一、本节目标本节我们以京东App为例

java

原创点赞0 阅读271 收藏0 评论0 2021-01-19

Scrapy对接Docker

环境配置问题可能一直会让我们头疼，包括如下几种情况。我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。我们需要同时管理不同版本的Scrapy项目，如早期的项目依赖于Scrapy 0.25，现在的项目依赖于Scrapy 1.4.0。在这些情况下，我们

java

原创点赞0 阅读98 收藏0 评论0 2021-01-19

Scrapy对接Docker

环境配置问题可能一直会让我们头疼，包括如下几种情况。我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。我们需要同时管理不同版本的Scrapy项目，如早期的项目依赖于Scrapy 0.25，现在的项目依赖于Scrapy 1.4.0。在这些情况下，我们

java

原创点赞0 阅读75 收藏0 评论0 2021-01-19

内网主机从外面连接不了？SSH反向隧道来帮你！

现在我们有一台内网主机 A，在局域网内是可以访问的，但是如果我们现在不处在局域网内，可以选择 VPN 连接，但这样其实并不太方便，所以本节我们来说明一下利用 SSH 反向隧道来实现访问内网主机的方法。准备首先我们需要有一台公网主机作为跳板，这台主机是可以公网访问的，我们将其命名为 B，它的 IP 假设为 10.10.10.10。所以两台机器网络配置如下：A 内网机器IP：192.168.1.2SS

java

原创点赞0 阅读1010 收藏0 评论0 2021-01-19

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

mb5fe159f193922的博客