学Python派森的博客_(4)

Python爬虫新手教程：微医挂号网医生数据抓取

1.写在前面今天要抓取的一个网站叫做微医网站，地址为https://www.guahao.com，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer和pyquery首先找到医生列表页https://www.guahao.com/expert/all/全国/all/不限/p5这个页面显示有75952条数据，实际

Python

爬虫

原创 2019-07-20 16:44:44 735 阅读

Python爬虫新手教程：知乎文章图片爬取器

1.知乎文章图片爬取器之二博客背景昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。首先，需要获取任意知乎的问题，只需要你输入问题的ID，就可以获取相关的页面信息，比如最重要的合计有多少人回答问题。问题ID为如下标红数字编写代码，下面的代码用来检测用户输入的是否是正确的ID，并且通过

Python

原创 2019-07-20 16:35:17 711 阅读

利用Python自动化生成逼格高的日历！简单又实用

本次内容有感于《Python编程快速上手-让繁琐工作自动化》。根据书中的「处理Excel电子表格」章节内容，做出一份专属日历。使用的模块为openpyxl，一个能读取和修改Excel电子表格的Pyhton模块。实现自动化处理表格信息，摆脱无趣无味。此外还有calendar模块，通过该模块生成日历信息。最后利用openpyxl和calendar库，实现自动化生成爱豆日历。/01/科普在进行代码操作前

Python

Python开发

原创 2019-07-19 16:19:03 572 阅读

Python爬虫也能用手机进行抓包？没错！这个技巧我只告诉你

今天要说说怎么在我们的手机抓包我们知道了HTTP的请求方式以及在Chrome中摸清了一些套路但是除了对数据进行解析之外有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢？我们经常在用的手机手机里面的数据怎么对它抓包呢？那么...接下来就是学习python的正确姿势我们要用到一款强大免费的抓包工具Fiddler你可以到https://www.telerik.com/download/fiddle

Python

Python爬虫

原创 2019-07-19 16:17:59 662 阅读

教你用Python制作表情包，实现换脸技术！

“表情包”是现在非常流行的交流方式，通过一张图片就能把文字不能表达或不便于表达的情感给表示出来，表情包一经诞生，就统治了中国人的社交圈，尤其是年轻人，他们的社交方式是所谓“天可不聊，图不可不斗”，几乎任何对话都会出现表情包的身影，一言不合就斗图，自己也会在聊天中发几个表情包，可是总会造成一些小误会，比如下面的图有好多朋友看到这个表情包之后误以为这也是我用Python做的，其实不然，这个图就是网上普

Python

Python开发

编程语言

原创 2019-07-19 16:15:47 850 阅读

用Python做了鉴黄模型，内含多20万张“不可描述”图片

GitHub出现一个名为“NSFWModel”的项目。通俗一点来说，就是一个鉴黄模型。这个模型，使用的数据来自前不久量子位介绍的那个数据集，内含多20万张“不可描述”图片。同时，这个模型也被项目的贡献者做成了Demo。既然有了Demo，那肯定是免不了测试一番……Demo效果Demo网站十分简单，进去之后能做什么一目了然。上传图片之后，是自动给出结果，不需要点击其他按钮。但有时候不会给出结果…..还

Python

web开发

编程

原创 2019-07-19 16:15:01 5059 阅读

Python 爬取 4027 条脉脉职言，解读程序员真实的互联网生活！

脉脉是一个实名职场社交平台。之前爬了脉脉职言版块，大概爬了4027条评论，本文对爬取过程给出详细说明，对于评论内容仅做可视化分析。爬虫仍然使用Python编程，对爬虫没兴趣的可直接跳过看下部分，不影响阅读。网址https://maimai.cn/gossip_list，需要先登录才能看到里面的内容。爬取目标：只爬文字部分，图片不考虑。在浏览器内按F12打开开发者，向下滑，会看到很多gossip开头

Python

爬虫

原创 2019-07-19 16:14:03 475 阅读

Python第一个爬虫，爬取当当网 Top 500 本五星好评书籍

来啦，老弟我们已经知道怎么使用Requests]进行各种请求骚操作也知道了对服务器返回的数据如何使用正则表达式来过滤我们想要的内容...那么接下来我们就使用requests和re来写一个爬虫作为一个爱看书的你（说的跟真的似的）怎么能发现好书呢？所以我们爬取当当网的前500本好五星评书籍怎么样？ok接下来就是学习python的正确姿势请在电脑的陪同下边看本文边练习首先我们要对我们的目标网站进行分析先

Python

数据挖掘

编程语言

原创 2019-07-18 16:41:57 1155 阅读

Python从网易云音乐、QQ 音乐、酷狗音乐、虾米音乐等搜索和下载歌曲

music-dl从网易云音乐、QQ音乐、酷狗音乐、百度音乐、虾米音乐等搜索和下载歌曲。Searchanddownloadmusicfromnetease,qq,kugou,baiduandxiami.注意：部分音乐源在一些国家和地区不可用，可以考虑使用中国大陆代理。Note:Somemusicsourcesmaynotbeavailableinsomecountriesandregions.Ifs

Python

爬虫

数据挖掘

原创 2019-07-18 16:39:46 1712 阅读

有趣的Python：Python控制键盘鼠标

这个库让你可以控制和监控输入设备。对于每一种输入设备，它包含一个子包来控制和监控该种输入设备：pynput.mouse：包含控制和监控鼠标或者触摸板的类。pynput.keyboard：包含控制和监控键盘的类。上面提到的子包都已被引入到pynput库中。要使用上面的子包，从pynput中引入即可。下面有详细的示例文档。控制鼠标使用pynput.mouse控制鼠标：监控鼠标事件使用pynput.mo

Python

原创 2019-07-18 16:38:40 2108 阅读 1收藏

使用Python将多个png图片转为gif

前言最近遇到一个问题是，画了一个过程的图，为了更生动地展示出来，于是就想把这几张图合成一个gif图片，这样起来应该是不错的，于是在网上搜索了一些关于python如何将一些png图片转为gif的程序，自己实现更改如下。环境准备系统：win10python版本：3.6所需安装工具包：imageio(pipinstallimageio即可)程序实现程序运行为了以后（如果需要的话），便于集成，主要使用do

Python

原创 2019-07-18 16:35:39 1904 阅读

利用Python库，把Python当PS用！

给大家带来一篇关于PIL的文章，PIL全称是PythonImageLibrary，顾名思义，是用来做图像处理的。用这个库，可以实现很多PS里的效果，比如像图片模糊、寻找轮廓、边缘检测等等。我们来看看具体怎么做到的呢？PS作为世界四大发明之一可以说被广大网友用到了极致，只有你想不到的没有我P不了的，任何正经的图片在都可以变成搞笑图片（比如下图）当然也可以用ps做一点正经的事情。作为一个爱折腾的程序

Python

Python开发

原创 2019-07-18 16:33:07 513 阅读

Python爬虫入门【1】： CentOS环境安装

简介你好，当你打开这个文档的时候，我知道，你想要的是什么！Python爬虫，如何快速的学会Python爬虫，是你最期待的事情，可是这个事情应该没有想象中的那么容易，况且你的编程底子还不一定好，这套课程，没有你想要的Python基础，没有变量，循环，数组等基础知识，因为我不想在那些你可以直接快速学会的地方，去浪费你的时间。好了，这套课程是基于Python3.0以上写的，操作系统我使用的是CentOS

Python

原创 2019-07-16 22:48:02 761 阅读 1点赞

分析月薪4万python工程师招聘岗位，原来学完基础，还要学这些

月薪四万的python工程师我们来看一下月薪2万-4万的python工程师（红圈圈出任职要求），先不看学历、…月薪四万的python工程师我们来看一下月薪2万-4万的python工程师（红圈圈出任职要求），先不看学历、工作经验等因素，要达到月薪4万的技术，我们应该怎么去提升！月薪4万提升方向web安全攻防技术：首先得学习安全测试基础，这个是必须的，核心防御机制、解析应用程序、暴力破解密码、SQL、

Python

Python基础

原创 2019-07-16 22:45:48 513 阅读 1点赞 1收藏

用Python从0开始实现一个中文拼音输入法

众所周知，中文输入法是一个历史悠久的问题，但也实在是个繁琐的活，不知道这是不是网上很少有人分享中文拼音输入法的原因，接着这次NLPProject的机会，我觉得实现一发中文拼音输入法，看看水有多深，结果发现还挺深的，但是基本效果还是能出来的，而且看别的组都做得挺好的，这次就分享一下我们做的结果吧。（注：此文假设读者已经具备一些隐马尔可夫模型的知识）任务描述实现一个中文拼音输入法。经过分析，分为以下几

Python

web开发

原创 2019-07-16 22:43:57 1100 阅读 3评论

同样是学编程，别人成功转行Python，你却失败选择放弃，问题在哪？

随着互联网这几天不断的发展，Python也跟着火了起来，Python是一门简洁易学的一门编程技术，比其他的编程语言来说门槛比较低。而且Python工程师的薪酬比较高，一般Python实习生月薪5-7K，有了2年工作经验，月薪就1W出头了。所以很多人开始学Python，然后投入Python行业。一般应届生月薪¥7-9k，1-3年月薪¥1-3W，3-5年月薪¥3-5w，5-10年月薪¥5-8w，10年

Python

编程语言

原创 2019-07-16 22:40:57 467 阅读

零基础学习Python需要用什么开发工具？

最近有不少读者私信我，这不刚开始学习Python就开始遇到难题了，对于PythonIDE都比较纠结，希望找到一些适合自己的、Python开发工具。本篇给大家分享几款Python开发工具，供正在纠结用哪种开发工具的小伙伴们参考~对于学习Python的小伙伴，小编首推的Pycharm。首先，PyCharm用于一般IDE具备的功能，比如，调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、

Python

编程语言

开发工具

原创 2019-07-15 21:22:18 708 阅读

Python流行度屡创新高，该如何学习？

Python的流行度屡创新高，作为大数据和人工智能时代的必备语言，Python优点颇多，它语言简洁、开发效率高、可移植性强，经过多年的生态建设，Python有了大量的函数库，尤其在数据分析和科学计算领域。另外，函数在Python中是一等公民，所以Python同时也是一种函数式编程语言。为了在大数据和AI时代更具竞争力，学Python的程序员越来越多，甚至不少人把Python当作第一语言来学习。许多

Python

编程语言

原创 2019-07-15 21:19:13 366 阅读

零基础转行Python必看！今年最火的五大Python框架

由于简单的学习曲线、越来越快的应用程序以及机器学习辅助功能等附加优势，Python已经成了IT行业的流行词…由于简单的学习曲线、越来越快的应用程序以及机器学习辅助功能等附加优势，Python已经成了IT行业的流行词。到目前为止，几乎每个IT工程师和开发人员都必须了解Python的强度和功能。Python本身是一种编程语言，也许你已经掌握了这种令人惊叹的编程语言的一些基本编程技能，并且正在寻找更多途

Python

Python开发

原创 2019-07-15 21:13:41 299 阅读

同样是学编程，别人成功转行Python，你却失败选择放弃，问题在哪？

随着互联网这几天不断的发展，Python也跟着火了起来，Python是一门简洁易学的一门编程技术，比其他的编程语言来说门槛比较低。而且Python工程师的薪酬比较高，一般Python实习生月薪5-7K，有了2年工作经验，月薪就1W出头了。所以很多人开始学Python，然后投入Python行业。一般应届生月薪¥7-9k，1-3年月薪¥1-3W，3-5年月薪¥3-5w，5-10年月薪¥5-8w，10年

Python

Python开发

原创 2019-07-15 21:10:51 393 阅读

分析月薪4万python工程师招聘岗位，原来学完基础，还要学这些

月薪四万的python工程师我们来看一下月薪2万-4万的python工程师（红圈圈出任职要求），先不看学历、…月薪四万的python工程师我们来看一下月薪2万-4万的python工程师（红圈圈出任职要求），先不看学历、工作经验等因素，要达到月薪4万的技术，我们应该怎么去提升！月薪4万提升方向web安全攻防技术：首先得学习安全测试基础，这个是必须的，核心防御机制、解析应用程序、暴力破解密码、SQL、

Python

原创 2019-07-15 21:09:21 494 阅读

百万点赞怎么来？Python批量制作抖音的卡点视频原来这么简单！

1目标场景玩抖音的朋友都应该知道，最近「卡点视频」简直不要太火。抖音上很多大神也出了剪辑各种卡点视频的教程。实际上，利用很多手机APP或者PR、FCPX软件也可以制作卡点视频，但是剪辑效率都太慢。如果想实现一篮子剪辑素材，通过运行一段代码，得到一个卡点视频，这种感觉不要太爽。本篇文章的目的是利用Python从一篮子素材中快速地剪辑卡点小视频这一操作。2准备工作首先，对视频的剪辑需要用到「openc

Python

原创 2019-07-13 22:47:30 1544 阅读

Python怎么学，才能薪资翻一翻？

如果你对数据分析有所了解，一定听说过一些亲民的工具如Excel、Tableau、PowerBI等，都能成为数据分析的得力助手。但它们的不足也是显而易见的：操作繁琐，复用性差，功能相对局限单一。怎么解决呢？——PythonPython有很多优点，如果你能很好的运用到工作中，会发现工作效率大大提升，涨薪也是再正常不过的事情。Python优点一：“**流程可控，工作高效**”**举个例子，Excel做分

Python

原创 2019-07-13 22:46:55 549 阅读 1收藏

这个库厉害了，自动补全Python代码，节省50%敲码时间

近日，Reddit上的一篇帖子引起了网友的热议。帖子作者「mlvpj」称：「我们使用深度学习完成了一个简单的项目，可以自动进行Python代码补全。」根据介绍，该项目基于LSTM模型，训练后，负责对代码的缺失部分进行补全。评价模型的方法是判断节省了多少的按键信息——即模型给出长度为L的代码建议，如果和真实的代码匹配，则节省L-1个键入操作。实验结果说明，大约可以节省30%-50%的**时间键入成本

Python

原创 2019-07-13 22:46:16 625 阅读 1收藏

最简洁的Python时间序列可视化：数据科学分析价格趋势，预测价格，探索价格

时间序列数据在数据科学领域无处不在，在量化金融领域也十分常见，可以用于分析价格趋势，预测价格，探索价格行为等。学会对时间序列数据进行可视化，能够帮助我们更加直观地探索时间序列数据，寻找其潜在的规律。本文会利用Python中的matplotlib【1】库，并配合实例进行讲解。matplotlib库是⼀个⽤于创建出版质量图表的桌⾯绘图包（2D绘图库），是Python中最基本的可视化工具。【工具】Pyt

Python

原创 2019-07-13 22:45:37 1403 阅读

受用一生的 PyCharm 技巧大全（五）

大家好，今天是周五晚。刚好有时间来给大家更新PyCharm的使用技巧。这个系列到今天已经是第五篇了，按照惯例，本次还是分享5个。21.随处折叠，实现代码自由PyCharm里代码块的折叠功能，相当的显眼，在代码编辑框的左侧，你可以发现有+也有-，很容易理解+代表代码块被折叠了可以点此展开，而-代表这个代码块处于展开状态可以点此折叠。如果你和我一样是个键盘党，你可以使用快捷（Mac：按住Command

Python

原创 2019-07-12 21:34:53 1002 阅读

受用一生的 PyCharm 技巧大全（四）

16.快速定位到错误行前几天打开PyCharm，发现在导航栏这里出现了很多红色波浪线，有过PyCharm使用经验的同学，这是代码出现了错误。顺着波浪线，我一层一层地展开目录树，终于找到了那个包含错误的文件。由于是手误，我也不知道我改动了哪一行，看了下这个文件，有将近8000行的代码，难道一行一行地去找？不，这绝对不是使用IDE正确的方式。遇到问题，就应该尝试去寻找快捷方法，有没有办法，可以一下子定

Python

原创 2019-07-12 21:33:34 1018 阅读 1收藏

受用一生的 PyCharm 技巧大全（三）

11.一键进行代码性能分析在Python中有许多模块可以帮助你分析并找出你的项目中哪里出现了性能问题。比如，常用的模块有cProfile，在某些框架中，也内置了中间件帮助你进行性能分析，比如Django，WSGI。做为Python的第一IDE，PyCharm本身就支持了这项功能。而且使用非常方便，小白。假设现在要分析如下这段代码的性能损耗情况，找出到底哪个函数耗时最多importtimedeffu

Python

原创 2019-07-12 21:22:32 1094 阅读

受用一生的 PyCharm 技巧大全（二）

这个系列的一些小技巧，对于一些重试用户来说可能是小case，如果你觉得简单，直接略过即可，不是所有人都像你一样，是个天才，在你之外，仍然有许多刚入门的小伙伴。6.神一样的调试技巧假如我们在一个爬虫的项目中，会使用到正则表达式来匹配我们想要抓取的内容。正则这种东西，有几个人能够一步到位的呢，通常都需要经过很多次的调试才能按预期匹配。在我们改了一次正则后，运行了下，需要重新向网站抓取请求，才能发现没有

Python

原创 2019-07-12 21:20:02 599 阅读

受用一生的 PyCharm 技巧大全（一）

大家在学习Python的时候，可以从PyCharm入手，写一些可以明显改善开发效率的使用技巧，一旦学会，受用一生。以下代码演示是在Mac环境下，Windows也类似，Command键相当于Windows上的Control键。1.代码排版，自动PEP8pep8是Python语言的一个代码编写规范。如若你是新手，目前只想快速掌握基础，而不想过多去注重代码的的编写风格（虽然这很重要），那你可以尝试一下这

Python

原创 2019-07-12 21:18:21 483 阅读 1点赞 2收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

学Python派森的博客