骑士救兵的博客_python自动化开发笔记

Python自动化开发学习-分布式爬虫（scrapy-redis）

scrapy-redis：安装模块，通过环境变量指定scrapy的配置文件；连接reids的配置；url去重的规则；调度器设置；数据持久化设置；scrapy-redis模块提供的爬虫和起始url的设置。

python

爬虫

scrapy

原创 2019-01-29 13:27:35 3828 阅读 8评论

Python自动化开发学习-Memcached

Memcached和Redis比较；安装Memcached；安装python-memcached模块；天生支持集群；基本操作

python

memcache

原创 2019-01-13 14:10:50 874 阅读

Python自动化开发学习-TinyScrapy

这里通过代码一步一步的演变，最后完成的是一个精简的Scrapy，这里就叫TinyScrapy。

python

爬虫

scrapy

原创 2019-01-12 15:14:20 768 阅读

Python自动化开发学习-Tornado

Tornado基本操作：模板引擎，加载配置，静态文件；进阶操作：自定义函数，CSRF，上传文件，异步非阻塞，自定义异步非阻塞框架的链接

python

tornado

原创 2018-12-05 21:49:21 1921 阅读 1收藏

Python自动化开发学习-Scrapy

准备：安装，组件介绍，项目结构，启动爬虫，windows编码问题，Robots协议，自定义请求头；xpath选择器：xpath与css的比较；实战：获取首页，爬取所有页，爬取深度，去重规则，cookie，登录抽屉并点赞；格式化处理；中间件；自定义：配置文件详细

python

爬虫

scrapy

原创 2018-11-09 16:37:56 3589 阅读

自定义socket实现HTTP

自定义socket实现HTTP（Web服务的本质3）：HTTP/1.0的数据处理，HTTP/1.1的数据处理；自定义异步IO实现HTTP：fileno方法，selector模块，selector + socket 实现的代码；selector+socket端口扫描

python

socket

selector

原创 2018-10-30 16:55:29 3054 阅读

Python自动化开发学习-爬虫3（性能相关）

爬取多个网页：串行；多线程。异步IO的各种实现方式：asyncio模块，asyncio+aiohttp，asyncio+requests，gevent+requests，grequests，Twisted，tornado

python

爬虫

原创 2018-10-26 11:03:28 995 阅读

Python自动化开发学习-爬虫2

Web服务的本质2：刚学Web前端时有讲过一点；示例：登录GitHub；Web微信：长轮训，获取用户信息、联系人列表，发送消息，接收消息

python

爬虫

微信

原创精选 2018-10-21 23:12:22 2602 阅读 1收藏

Python自动化开发学习-爬虫1

Requests模块；Beautiful Soup模块；实战：爬取汽车之家新网咨询，登录抽屉并点赞；Requests模块详细：所有的参数，Session，优化登录抽屉并点赞

python

爬虫

原创 2018-10-15 16:21:59 1508 阅读

Celery 全面学习笔记

celery介绍、安装、操作；在项目中使用celery的方式；后台启动多个Worker：windows平台不支持；定时任务：3版本和4版本；在Django中使用celery的最佳实践：获取所有用户定义的tasks的方法；Django中使用定时任务：Windows也能用celery4.x

python

celery

django

原创 2018-10-03 18:36:35 10000+阅读 5收藏 6评论

Git 快速入门

Git基本操作；使用远程仓库；分支管理；储藏（git stash）：中断当前工作，立刻投入一个Bug的代码修复；忽略特殊文件；Pull Request：Fork别人的项目，贡献代码；补充内容：git remote prune origin

git

快速入门

原创 2018-09-21 20:01:56 1738 阅读 1收藏

设计模式

接口；设计模式六大原则；创建型模式：工厂方法模式，抽象工厂模式，建造者模式，单例模式；结构型模式：适配器模式，组合模式，代理模式；行为型模式：责任链模式，策略模式，模板方法模式。

python

设计模式

原创精选 2018-08-06 15:55:31 9508 阅读 1收藏

数据结构

数据结构：栈、队列、链表；python中集合和字典的实现：哈希表查找；迷宫问题：深度优先方法和广度优先方法

python

数据结构

原创 2018-08-01 20:08:54 986 阅读 1收藏

算法-排序

算法和时间复杂度；排序：冒泡排序、选择排序、插入排序、快速排序、堆排序、归并排序、希尔排序、heapq模块

python

算法

排序

原创 2018-07-31 16:09:03 2545 阅读

Python自动化开发学习-RESTful API

RESTful API简介；JsonResponse；课上CMDB项目的代码示例：用jQuery的扩展封装自己的方法，前端实现format字符串格式化

python

django

RESTful

原创精选 2018-07-24 16:27:20 10000+阅读 1点赞 1收藏 2评论

Python自动化开发学习-Django Admin

django Admin的使用；django Admin权限的使用和定制；king_admin开发：模仿django Admin自己来把一些功能写出来，django的分页，动态的创建ModelForm。以上都是CRM项目里引出的知识点或注意点

python

django

原创 2018-07-20 22:05:19 5899 阅读 1收藏

Python自动化开发学习25-Django

博客系统实现组合搜索：动态的获取然后生成url；JSONP的实现和使用，解决跨域请求的问题；XSS过滤：beautifulsoup4模块的使用；单例模式；Django的事务操作。

python

django

原创精选 2018-06-22 15:51:22 3767 阅读 1收藏

Python自动化开发学习24-Django下（其他）

在项目使用图片验证码；在项目中使用富文本编辑器；在项目中使用MarkDown组件

python

djangp

KindEditor

Editor.md

原创 2018-05-20 11:15:21 1608 阅读

Python自动化开发学习24-Django中（AJAX）

AJAX请求：原生的Ajax请求，jQuery的Ajax请求（略），伪Ajax请求；上传文件：上传按钮的美化方法，生成上传图片的预览。

python

django

原创 2018-05-18 21:01:36 7345 阅读

Python自动化开发学习24-Django上（ModelForm）

Django的ModelForm组件，需要有之前Form组件和Model组件的学习基础。

python

django

原创 2018-05-16 16:22:33 4858 阅读 1点赞

Python自动化开发学习23-Django下（Form）

回顾Form操作；生成动态更新的Select标签；Form的内置钩子：实现自定制的验证；序列化错误信息：json.dumps进阶，使用自定义的序列化方法 json.JSONEncoder；序列化QuerySet

python

django

原创 2018-05-14 17:01:45 1803 阅读 1点赞

Python自动化开发学习23-Django上（Model）

Django的Model组件：包括之前内容的回顾，以及其他内容的补充。通过元信息自定义表的一些属性；一对一、一对多、多对多；ORM几乎所有的操作：包括Q方法；Model的验证功能，通过重构clean方法实现自定义的验证

python

django

原创精选 2018-05-11 22:18:22 10000+阅读 2点赞 4收藏

Python自动化开发学习22-Django下（Form）

Django的Form组件

python

django

原创 2018-04-17 14:48:38 5943 阅读 1点赞 1收藏

Python自动化开发学习22-Django上

session；CSRF（跨站请求伪造）；中间件；缓存；信号

python

django

自动化

原创精选 2018-04-16 20:21:28 3031 阅读 3点赞 1收藏 1评论

Python自动化开发学习21-Django

url传递参数，路由分发的命名空间，用户请求的其他信息，模板的继承和导入，模板语言的内置函数和自定义函数，分页的示例，XSS攻击和mark_safe方法，自定义功能模块，Cookie实现登录验证，装饰器

python

django

原创精选 2018-04-06 21:50:12 3085 阅读 3点赞 3收藏

Python自动化开发学习20-Django

回顾：从创建项目开始写一个页面、获取数据的3种方式；回顾：ORM的一对多操作、双下划线跨表、for循环的序号；AJAX：使用serialize() 提交、ajax的error回调函数；ORM的多对多操作

python

django

原创 2018-04-01 14:41:25 4007 阅读

Python自动化开发学习19-Django

Django学习：视图（View），上传文件、CBV和FBV、用views包替代views.py；路由系统（URL），模板语言for、正则的url、路由对应名称、路由分发；ORM（Model），建表结构、外键一对多；课后练习

python

django

原创精选 2018-03-26 15:31:11 5027 阅读 3点赞 2收藏

Python自动化开发学习18-Django基础篇

通过自定义一个简单的Web框架来理解什么是Web框架；Django入门基础：安装，然后创建一个项目；Django处理Web请求：逐步完善一个提交表单的页面实现和后端的交互；课后练习；补充：locals()小技巧

python

django

原创 2018-03-15 22:00:00 5285 阅读 1点赞 1收藏 1评论

Python自动化开发学习18-Web前端补充内容

python自动化开发课程Web前端的笔记：javascript正则表达式，表单验证的思路，响应式布局，强制自定义样式效果优先；前端组件介绍，EasyUI，jQuery UI，BootStrap，示例-轮播图（bxSlider）

javascript

jQuery

原创精选 2018-03-12 11:13:43 5151 阅读 2点赞 3收藏

Python自动化开发学习17-jQuery

python自动化开发课程Web前端的笔记：jQuery,以及各种示例；第17周作业

python

jQuery

原创 2018-03-07 15:16:34 7410 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

来玩魔王的咚！

Python自动化开发学习-分布式爬虫（scrapy-redis）

Python自动化开发学习-Memcached

Python自动化开发学习-TinyScrapy

Python自动化开发学习-Tornado

Python自动化开发学习-Scrapy

自定义socket实现HTTP

Python自动化开发学习-爬虫3（性能相关）

Python自动化开发学习-爬虫2

Python自动化开发学习-爬虫1

Celery 全面学习笔记

Git 快速入门

设计模式

数据结构

算法-排序

Python自动化开发学习-RESTful API

Python自动化开发学习-Django Admin

Python自动化开发学习25-Django

Python自动化开发学习24-Django下（其他）

Python自动化开发学习24-Django中（AJAX）

Python自动化开发学习24-Django上（ModelForm）

Python自动化开发学习23-Django下（Form）

Python自动化开发学习23-Django上（Model）

Python自动化开发学习22-Django下（Form）

Python自动化开发学习22-Django上

Python自动化开发学习21-Django

Python自动化开发学习20-Django

Python自动化开发学习19-Django

Python自动化开发学习18-Django基础篇

Python自动化开发学习18-Web前端补充内容

Python自动化开发学习17-jQuery

欢迎