彭世瑜的博客_python(20)

Python爬虫：scrapy辅助功能实用函数

scrapy辅助功能实用函数：get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下，使用scrapy的一些函数做测试extract_links: 解析出所有符合条件的链接代码示例以拉勾首页为例，获取拉勾首页所有职位链接，进一步可以单独解析这些链接，获取职位的详情信息import requestsfrom scra...

html

元组

firefox

原创 2022-02-17 14:47:56 407 阅读

Python编程：命令行python和python -m的区别

参考了很多，总结下Python脚本执行的方式当模块导入直接运行（__name__ == "main"）$ python 运行当前目录下py文件$ python -m 运行已安装库中的模块脚本主要区别在于查找文件的路径不一样参考：PYTHON 和PYTHON-M 的区别...

python

当前目录

查找文件

原创 2022-02-17 14:47:44 375 阅读

Linux环境下安装Python3

1、下载 Python3代码包https://www.python.org/downloads/release/python-365/wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz2、解压安装，指定安装路径tar -zxvf Python-3.6.5.tgzcd Python-3.6.5./config...

python

bash

sqlite

原创 2022-02-17 14:47:35 231 阅读

Python编程：使用defaultdict统计词频

# -*- coding: utf-8 -*-# 要统计的词words = ["腾讯", "百度", "阿里巴巴", "百度", "阿里巴巴"]# 方式一：使用dict方式counter1 = {}for word in words: counter1[word] = counter1.get(word, 0) + 1print(counter1)# {'腾讯': 1...

百度

python

原创 2022-02-17 14:47:20 216 阅读

Python编程：Django中使用Celery执行异步任务和定时任务

使用步骤1、安装pip install django django-celery2、新建工程$ django-admin.py startproject celery_project$ python manage.py startapp course$ cd celery_project3、新建任务course/tasks.py# -*- coding: utf-8 -*-...

python

django

redis

原创 2022-02-17 14:47:07 1192 阅读

Python编程：scrapy中使用logging，日志出现多次

同时使用scrapy.log和logging，日志会多次出现在控制台通过 logger 成功解决import logginglogger = logging.getLogger(__name__)logger.setLevel(level=logging.DEBUG)logger.debug("message")...

ide

日志配置

解决方法

原创 2022-02-17 14:46:11 321 阅读

Python编程：实现tail-n查看日志文件

1、函数实现# -*- coding: utf-8 -*-def tail(filename, n=10): with open(filename, "r") as f: lines = f.readlines()[-n:] return "".join(lines)2、测试文件poetry.txt 为了方便验证，每行之前加上行号数字1. 虞美人·...

函数实现

原创 2022-02-17 14:45:58 255 阅读

Python：设计模式之模板模式

模板模式属于行为模式，通过模板方法来定义程序框架或算方法可以使用抽象类来定义算法步骤，由子类来实现算法中特定步骤适用场景1、当多个算法或类实现类似或相同逻辑的时候2、在子类中实现算法有助于减少重复代码的时候3、可以让子类利用覆盖事项行为来定义多个算法的时候主要意图1、适用基于操作

子类

模板方法模式

抽象类

原创 2022-02-17 14:45:45 158 阅读

Python将时间序列化为json

以下示例将python中的数据结构：字符串，数字，时间，列表，字典都序列化为json数据import jsonfrom datetime import datetimefrom datetime import

json

序列化

python

原创 2022-02-17 14:45:33 477 阅读

Python编程：loguru管理日志输出

项目地址 github: https://github.com/Delgan/loguru文档：https://loguru.readthedocs.io/en/stable/index.html安装pip install loguru1、输出日志from loguru import loggerlogger.debug("这是一条debug日志")终端执行后出现带颜色的日志，...

github

日志文件

html

原创 2022-02-17 14:40:29 396 阅读

Python编程：python-attrs模块的简单使用

文档：http://www.attrs.org/en/stable/index.htmlattrs 可以简单理解为namedtuple的增强版安装pip install attrs代码示例1、定义一个tuplep1 = (1, 2)p2 = (1,

代码示例

html

默认参数

原创 2022-02-17 14:40:16 394 阅读

Python爬虫：requests库基本使用

参考requests网站：Requests: 让 HTTP 服务人类requests 基于urlib库pip install requests用于http测试的网站：http://httpbin.org/需要导入的模块import

ico

jar

json

原创 2022-02-17 14:40:06 203 阅读

Python编程：合并两个字典dict对象

# -*- coding: utf-8 -*-# @File : merge_dict.py# @Date : 2018-05-04# 项目说明：合并两个字典# 要合并的字典a = {"a1": 1, "a2": 2, "c": 3}b = {"b1": 1, "b2":

键值

python

原创 2022-02-17 14:39:48 257 阅读

Python编程：metaclass元类实现简单的ORM

ORM全称“Object Relational Mapping”，即对象-关系映射把关系数据库的一行映射为一个对象，一个类对应一个表这样，写代码更简单，不用直接操作SQL语

sql

表名

数据库

原创 2022-02-17 14:39:34 316 阅读

Python编程：排序算法之快速排序

快速排序取一个元素p（第一个元素）,使元素p归位列表被p分成两部分，左边都比p小，右边都比p大递归完成排序算法关键点整理递归（递归深度）排序方法最好情况一般情况最坏情况快速排序 O(nlogn) O(nlogn) O(n^2) 冒泡排序 O(n) O(n^2) O(n^2)代码实现...

快速排序

递归

冒泡排序

原创 2022-02-17 14:39:19 166 阅读

Python爬虫：scrapy直接运行爬虫

一般教程中教大在命令行运行爬虫：# 方式一$ scrapy crawl spider_name这样，每次都要切换到命令行，虽然可以按向上键得到上次运行的指令，不过至少还要敲一次运行命令还有一种方式是单独配置一个文件，spider_name是具体爬虫名称，通过pycharm运行设置，不过每次都要改爬虫名称，而且不利于git提交#

ide

命令行

快捷键

原创 2022-02-17 14:39:10 1768 阅读

Python编程：将markdown格式转换为rst格式

利用requests库对网络接口的请求，将markdown格式转换为rst格式代码示例# -*- coding: utf-8 -*-# @File : markdown_to_rst.py# @Date : 2018-08-20# @Author : Peng Shiyuimport requestsdef md_to_rst(from_file, to_...

代码示例

格式转换

网络接口

原创 2022-02-17 14:39:00 574 阅读

Python：Flask技术栈及Extensions扩展整理

扩展简介文章Flask-BasicAuth访问认证文章Flask-Cors跨域请求文章Flask-RestfulRestfu

flask

github

数据库

原创 2022-02-13 09:21:16 47 阅读

Python爬虫：正文提取第三方库goose

正文提取库goose，效果不是太好，要求不高的话可以试试用github：https://github.com/grangier/python-goose安装git clone https://github.com/grangier/python-goose.gitcd python-goosepip install -r requirements.txtpython setup....

python

github

git

原创 2022-02-09 14:06:56 329 阅读

Python除法运算/、//、%、divmod

# / 浮点除法1/2 # 0.5# // 整除向下取整等同于 math.floor()1//2 # 0-1//2 # -1# % 取模运算1%2 # 1# divmod(a, b)取商和余数 = (a // b, a % b)divmod(1, 2) # (0, 1)...

取模运算

整除

浮点除

原创 2022-02-09 14:06:45 640 阅读

Python爬虫：使用newspaper解析新闻页面信息

github: https://github.com/codelucas/newspaper安装pip3 install newspaper3k代码示例# -*- coding: utf-8 -*-from newspaper import Articleurl = "https://news.sina.com.cn/c/xl/2019-02-25/doc-ihrfqzka909...

github

代码示例

原创 2022-02-09 14:06:36 649 阅读

Python爬虫：常用的爬虫工具汇总

按照网络爬虫的的思路：页面下载页面解析数据存储将工具按照以上分类说明，按照学习路线顺序给出参考文章页面下载器requests(必学)python爬虫入门requests模块Python爬虫：requests库基本使用Python爬虫：使用requests库下载大文件Python爬虫：requests多进程爬取猫眼电影榜单requests InsecureRequestWar...

python爬虫

python

动态网页

mysql

chrome

原创 2021-07-31 16:28:29 5811 阅读

Python编程：腾讯防水墙原理浅析与Flask结合测试

腾讯防水墙地址：https://007.qq.com/基本原理：前端认证 + 后端认证前端认证前端参数：id : 元素的id(必须)data-appid : AppID(必须)data-cbfn : 回调函数名(必须)data-biz-state : 业务自定义透传参数(可选)接口发送的参数比较多，不做列举返回参数ret: 0, // 0 验证成功， 1 未通过验证...

防水墙

客户端

验证码

flask

自定义

原创 2021-07-31 16:26:15 2487 阅读

Python编程：安装python环境以及virtualenv虚拟环境

一路下一步，默认即可实际上，在安装 Python 时，其自动生成：Python framework，即 Python 框架；Python 应用目录；指向 Python 的连接。Mac 自带的 Python，其框架目录为：System/Library/Framewor...

python

virtualenv

虚拟环境

bash

工作空间

原创 2021-07-31 16:25:51 362 阅读

Python编程：pyenv管理多个python版本环境

pyenv 多版本的Python管理工具https://github.com/pypa/pipenvpyenv-virtualenv 虚拟环境管理工具https://github.com/pyenv/pyenv-virtualenv安装mac系统下$ brew install pyenv$ brew install pyenv-virtualenv配置环境变量$ vim ~/...

python

github

virtualenv

git

bash

原创 2021-07-31 16:19:38 1027 阅读

Python编程：查找算法之顺序查找和二分查找

算法Algorithm一个计算过程，解决问题的方法递归：调用自身结束条件时间复杂度：用来估计算法运行时间的一个式子 O(1) < O(logn) < O(n) < O(nlogn) < O(n^2) < O(n2logn) < O(n^3)一般来说，时间复杂度高的算法比复杂度低的算法慢不常见的时间复杂度： O(n!) O(2^...

Python

原创 2021-07-19 11:26:55 669 阅读

Python爬虫：scrapy防止爬虫被禁的策略

爬虫策略: 1、动态User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）,使用中间件 class RandomUserAgentMiddleware(object): def process_request(self, request, spider): request.headers.setdefault('User-Agent', "xxx"

Python

原创 2021-07-19 11:26:40 455 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

彭世瑜的博客