Network（网络）l Scapy ：一款强大的交互式数据报分析工具，可用作发送、嗅探、解析和伪造网络数据包。l pypcap 、 Pcapy 和 pylibpcap ：配合libpcap一起使用的数据包捕获模块l libdnet ：底层网络工具，含接口查询和以太网帧传输等功能l dpk
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存
导入我们需要的包：1. 画散点图画散点图用plt.scatter(x,y)。画连续曲线在下一个例子中可以看到，用到了plt.plot(x,y)。plt.xticks(loc，label)可以自定义x轴刻度的显示，第一个参数表示的是第二个参数label显示的位置loc。plt.autoscale(tight=True)可以自动调整图像显示的最佳化比例 。画出散点图如下：2. 多项式拟合并画出拟合曲线
一、用Python写一个列举当前目录以及所有子目录下的文件，并打印出绝对路径#!/usr/bin/env pythonimport osfor root,dirs,files in os.walk('/tmp'): for name in files: print (os.path.join(roo
一、Django简介1. web框架介绍具体介绍Django之前，必须先介绍WEB框架等概念。web框架： 别人已经设定好的一个web网站模板，你学习它的规则，然后“填空”或“修改”成你自己需要的样子。一般web框架的架构是这样的：其它基于python的web框架，如tornado、flask、webpy都是在这个范围内进行增删裁剪的。例如tornado用的是自己的异步非阻塞“wsgi”，flas
一：前言本次爬取的是喜马拉雅的热门栏目下全部电台的每个频道的信息和频道中的每个音频数据的各种信息，然后把爬取的数据保存到mongodb以备后续使用。这次数据量在70万左右。音频数据包括音频下载地址，频道信息，简介等等，非常多。二：运行环境IDE：Pycharm 2017Python3.6pymongo 3.4.0requests 2.14.2lxml 3.7.2BeautifulSoup 4.5.
利用selenium+xpath我把它的妹子的栏目下爬取了下来，以图片栏目名称给文件夹命名分类保存到电脑中。这个妹子主页 http://huaban.com/boards/favorite/beauty 是动态加载的，如果想获取更多内容可以模拟下拉，这样就可以更多的图片资源。这种之前爬虫中也做过，但是因为网速不够快所以我就抓了19个栏目，一共500多张美图，也已经很满意了。先看
1. virtualenv的安装virtualenv的安装和其它python上的软件安装一样，有两种方法，pip 和setup方法安装。值得注意的是，我们说virutalenv的安装是为了解决多版本python共存的问题，暗含了，你的至少有一个python版本是已经存在，并且可以正常工作的。我这里的主环境是python2.71.1 pip安装virtualenvpip install virtu
Python for Beginners如果你的Python开发之旅有一段时间了，这门课程可能是一个很好的开始。Python for Beginners课程是由Alex Bowers讲授的最全面的Python课程之一，这套网络教程非常容易学习。是的，它需要付一定的费用，但你是想单独学习，还是和其他30000名学生一起学？报名本课程的好处是你将被授权访问一个只有付费会员的论坛， Alex老师自己就驻
代码放在这里： wzyonggege/python-wechat-itchat词云那里可以换成小黄人图片---------------------------------------------------------------------------------------------------0. itchat最近研究了一些微信的玩法，我们可以通过网页版的微信 微信网页
核心库1）NumPy地址：http://www.numpy.org当使用 Python 开始处理科学任务时，不可避免地需要求助 Python 的 SciPy Stack，它是专门为 Python 中的科学计算而设计的软件的集合（不要与 SciPy 混淆，它只是这个 stack 的一部分，以及围绕这个 stack 的社区）。这个 stack 相当庞大，其中有十几个库，所以我们想聚焦在核心包上（特别是
我先假设你用的是Mac,然后Mac都预装了python2.x,然后呢,你有了python没用,你得有库.没库怎么干活?怎么安装库呢?python界也有个类似于我们iOS开发里cocoapods的东西,这个东西叫做pip.pip和cocoapods用起来的命令都极其类似,我们只需要两个库,一个叫做urllib2,一个叫做Beautifulsoup.urllib2是干什么的呢?它的作用就是把网页dow
下面写一个用Python写的例子，其实不止python语言，同样提供了C#，Java等语言接口。顺便附上C#代码：
一直在学习python， 最近找到一本python神书 500 line or less。有兄弟提到了git的源码，这里不只是源码，而是这么一本书，目前还没出版，但是在网上有已经看到了 review版本。以下是章节目录，每一章都让你热血澎湃，看完介绍你就向往下读。1. A Template Engine （http://aosabook.org/en/500L/a-template-engine.
1. yagmailPython官网上发邮件的例子(Examples - Python 2.7.13 documentation)，大家感受一下。反正我看到这一堆的import就已经被吓退场了。如果使用yagmail，发送一个带附件的邮件，只需要2行代码：2. requestsrequests很多人都推荐过了，不过可能一些同学感受不到requests到底好在哪里。我们就以官网的例子为例简单说明，在
工具的准备需要安装autopy和PIL以及pywin32包。autopy是一个自动化操作的python库，可以模拟一些鼠标、键盘事件，还能对屏幕进行访问，本来我想用win32api来模拟输入事件的，发现这个用起来比较简单，最厉害的是它是跨平台的，请搜索安装；而PIL那是大名鼎鼎了，Python图像处理的No.1，下面会说明用它来做什么；pywin32其实不是必须的，但是为了方便（鼠标它在自己动着呢
Python 条件语句Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程:Python程序语言指定任何非0和非空（null）值为true，0 或者 null为false。Python 编程中 if 语句用于控制程序的执行，基本形式为：其中"判断条件"成立时（非零），则执行后面的语句，而执行内容可以多行，以缩进来区
登陆要评论当然要能够先进行登陆，采用 requests结果跳转到登陆界面，好的那看一下登陆界面是怎么登陆的，找到表单：发现还有一些隐藏的参数，如lt、excution等，好心的程序猿还写明了不能为什么不能直接认证的原因：缺少流水号，那就多访问一次来获取流水号好了，用 BeautifulSoup好了，现在能够得到我的消息信息了，说明已经成功解决登陆问题，那么自动化评论应该就近在眼
使用Python进行MySQL的库主要有三个，Python-MySQL（更熟悉的名字可能是MySQLdb），PyMySQL和SQLAlchemy。 Python-MySQL Python-MySQL资格最老，核心由C语言打造，接口精炼，性能最棒，缺点是环境依赖较多，安装复杂，近两年已停止更新，只支持Python2，不支持Python3。 PyMySQL PyMySQL为替代Python-MySQL
01抓包分析使用Chrome控制台。我们可以轻松的找到评论所在的链接。现在URL算是找到了，下一步就是进行数据抓取了。但是简单尝试了一下，发现并不能获取到详细的信息，而是返回了空空的字符串。 再次查看hreaders的信息，发现浏览器使用的是POST的方式进行的请求。02加密信息处理然后经过我的测试，直接把浏览器上这俩数据拿过来就可以。但是要想真正的解决这个加密处理，还需要有点加解密的知
用Python爬去百度贴吧图片并保存到本地。 说明01获取整个页面数据 Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数: urllib.urlopen()方法用于打开一个URL地址。 read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个
1 Python 的几个自然语言处理工具NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的借口，还有分类、分词、除茎、标注、语法分析、语义推理等类库。Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger)，N元搜索(n-gram search)，情感分析(sentime
一.概述本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。二.创建项目scrapy startproject name 通过终端进入到你创建项目的目录下输入上面的命令就可以完成项目的创建.name是项目名字. 三.item的编写我这里定义的item中的title用来存书名,desc用来存书的内容.、四.pipelines的编
用Python实现思路：1.脚本模拟登陆新浪微博，保存cookie2.有了cookie信息后，访问收藏页面url3.从第一页开始，逐步访问，直到最后，脚本中进行了两步处理 A.直接下载网页（下载到本地，当然，要看的时候需要联网，因为js，图片神马的，都还在） B.解析出微博需要的内容，目前只是存下来，还没有处理后续会用lxml通过xpath读取，转换
准备在设置中开启所有SMTP相关服务.记录发送邮件服务器地址, 连接方式和端口新增一个授权密码并记录起来.连接邮件服务器并登陆 Python中有smtplib模块可供使用, 将它导入进来. 在发送邮件服务器地址信息那里可以看到连接有两种方式, 一种是普通连接, 一种是经过加密的连接. 在脚本中就根据需求去
对于webshell的防护通常基于两点：一是上传和访问时通过特征匹配进行检测拦截或限制文件类型阻止上传；二就是日常基于webshell文件特征的静态查杀（也有基于日志的，在这里不做讨论）。第一种方法不是我们今天要讨论的，waf、安全狗等一系列工具可以实现相应的功能。第二种方式静态查杀，通常会匹配一些关键字、危险函数、一些特征代码及他们的各种加密形式，以遍历文件的方式来进行查杀。然而还有很多种通过破
一. 关联规则挖掘概念及实现过程1.关联规则 关联规则（Association Rules）是反映一个事物与其他事物之间的相互依存性和关联性，如果两个或多个事物之间存在一定的关联关系，那么，其中一个事物就能通过其他事物预测到。关联规则是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。
答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。1.新建项目（Project）在空目录下按住Shift键右击，选择“在此处打开命令窗口”，输入一下命令：其中，tutorial为项目
一、Python使用turtle绘制国旗 代码如下： 运行结果如下所示，它是动态绘制过程。 注意安装第三方包的方法如下所示：在Command Window界面下进入Anaconda2\Scripts文件夹，通过pip安装。二、Python图片转换位字符画&nbs
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
![新浪微博&批量下载收藏内容[Python脚本实现]](https://s2.51cto.com/images/blog/202405/08102719_663ae3070c16456758.jpg?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
