适用人群：萌新小白：我连爬虫也不知道是什么入门菜鸟：我对一些爬虫的用法还不是很熟练老司机：我想学习更高级的框架及分布式从环境基础到进阶分布式，由浅入深，逐篇递进。攻城狮课程列表：一、环境篇二、基础篇三、实战篇使用Requests+正则表达式爬取猫眼电影分析Ajax请求并抓取今日头条街拍美图使用Selenium模拟浏览器抓取淘宝商品美食信息使用Redis+Flask维护一个动态代理池使用代理处理反爬
原创
2020-12-26 23:24:00
430阅读
点赞
实现将列表：['a','a','b','a','b','c']输出为字典：{'a':3,'b':2,'c':1}
"""
str_list = ['a', 'a', 'b', 'a', 'b', 'c']
st_set = set(['a', 'a', 'b', 'a', 'b', 'c'])
dic = {}
for i in st_set:
cont = str_list.count(i)
dic[i] = cont
print(dic)
原创
2019-06-20 18:14:09
987阅读
点赞
前言最近要学习python爬虫，发现无法动手，因为不知道咋解析数据，咋过滤自己需要的东东，所以一阵头大，茫茫然不知所终，于是百度，文档无所不用其极的乱找了一遍，算是大概心中有了一点基础，所以本篇将记录我所知道
原创
2022-01-11 11:40:53
221阅读
总结常用的功能小实例,快速学习并掌握python技能
最近发现老用Mac自带的壁纸不爽，就用谷歌去找个可以免费下载壁纸的网站，手动下载图片比较慢，第一网站是国外的第二，家里的网速差（不要装移动的）绝对高清大图直接上代码：导入用到的库获取网站源码的函数返回列表页面的对应图片内容页的网址返回相对应图片的url图片下载函数main函数运行程序计时想要源码的同学私密小编回复025#-*-coding:utf-8-*-"""@Time:2018/1/15@Au
原创
2021-01-04 21:35:23
2526阅读
以下是三种方法 ①First Method 最简单的方法 ②添加data, header 使用Request对象 ③CookieJar import urllib.request from import cookiejar url ='://.baidu.' print("First Method") response1 = urllib.request....
转载
2017-12-07 21:53:00
54阅读
2评论
网络爬虫其实离我们很近，例如我们经常使用的百度搜索引擎就离不开网络爬虫，搜索引擎就是通过爬虫在海量互联网信息中爬取数据并整理，用户搜索时再从收集到的数据中按一定的顺序返回给用户。本质上，爬虫和我们打开浏览器访问网站并无区别，爬虫是通过程序自动浏览抓取网络中的信息，我们可以使用python轻轻松松爬取收集网络上的数据。比如我不小心访问了一下英雄联盟的英雄资料库，如图所示：看到自己心仪的英雄不免想下载
原创
2021-02-26 20:51:08
175阅读
一．parse.urlencode()与parse.unquote()urllib和urllib.request都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：1.urllib仅可以接受URL，不能创建设置了headers的Request类实例；2.但是urllib提供urlencode方法用来GET查询字符串的产生，而urllib.request则没有。（这是urlli
原创
2019-05-04 10:35:28
1915阅读
PHP方式写的一团糟所以就用python3重写了一遍，所以因为第二次写了，思路也更清晰了些。 提醒：可能会有502的错误，所以做了异常以及数据库事务处理，暂时没有想到更好的优化方法，所以就先这样吧。待更懂python再进一步优化哈 欢迎留言赐教~ 来源：https://blog.csdn.net/q
转载
2019-01-06 16:17:00
114阅读
2评论
http://blog.csdn.net/pipisorry/article/details/47948065 实战1：使用cookie登录哈工大ACM站点 获取站点登录地址 http://acm.hit.edu.cn/hoj/system/login 查看要传送的post数据 user和passw
转载
2017-06-01 09:15:00
108阅读
2评论
有些朋友觉得利用 正则表达式提取信息太麻烦了 有一个高效的网页解析库 它的名字叫做BeautifulSoup 它支持多种格式的解析 我们用的比较多的是 lxml 解析器 实例练习 html_doc = """ <html><head><title>学习python的正确姿势</title></hea ...
转载
2021-08-24 10:31:00
54阅读
2评论
0x00准备B站的小姐姐炒鸡漂亮（逃，这个真的是技术贴。第一次抓动态网站：原理是直接模拟浏览器访问。0x01环境1.python3不说了 2.selenium安装报错解决方案：安装：pip install selenium报错1：During handling of the above exception, another exception occurre...
安装scrapy之前，先安装pywin32和TwistedPython3 pip安装包时报错 error: Microsoft Visual C++ 14.0 is required.解决办法https://zhangxueliang.blog..net/article/details/104846521...
原创
2022-01-19 16:09:18
223阅读
安装scrapy之前，先安装pywin32和TwistedPython3 pip安装包时报错 error: Microsoft Visual C++ 14.0 is required.解决办法https://zhangxueliang.blog.csdn.net/article/details/104846521...
原创
2021-07-06 17:27:54
549阅读
python 小技巧记录
我发现
1、str转bool方法
2、python判断文件和文件夹是否存在、创建文件夹
3、文件操作
4、python字典遍历的几种方法
4.1、遍历key值
4.2、遍历value值
4.3、遍历字典项
4.4、遍历字典健值
5、Python 列表(List) 的三种遍历(序号和值)方法
6、python字典判断某个Key是否存在
我发现
好多
原创
2021-08-13 10:28:28
241阅读
python 小技巧记录我发现1、str转bool方法2、python判断文件和文件夹是否存在、创建文件夹3、文件操作4、python字典遍历的几种方法4.1、遍历key值4.2、遍历value值4.3、遍历字典项4.4、遍历字典健值我发现好多有用的小技巧其实都不难，但是每次用的时候，我都要去百度，主要是懒得去记，刚好突然有个想法，总结一些实用小技巧，归类整理，免得到处百度，浪费不必要的时间：...
原创
2022-03-09 16:23:56
108阅读
