学习内容概要

  • openpyxl 模块读数据
  • 爬取链家二手房数据
  • random 随机数模块
  • hashlib加密模块
  • subprocess 远程命令模块
  • logging 日志模块
  • ATM项目分析

内容详细

openpyxl 模块读取数据

from openpyxl import 
Workbook,load_workbook  # 导入文件的写，读 模式

写：

wb = Workbook()  # 先创建Excel
wb1 = wb.create_sheet('成绩表')  # 工作簿名字
wb2 = wb.create_sheet('出勤表')
wb1.append(['username','password','age'])  # 写入数据 容器类型
wb1.append(['jaosn','good','nineteen'])  # 写入数据 容器类型

wb.save(r'pupil.xlsx')  # 命名Excel

读：
wb = load_workbook(r'pupil.xlsx'）
print(wb.sheetnames)  # 查看Excel表格中所有工作簿的名称  ['Sheet', '成绩表', '出勤表标']
                   
wb1 = wb['成绩表']  # 打开该工作薄
print(wb1.max_row)  # 最多用了几行
print(wb1.max_column)  # 最多用了几列  
print(wb1['A1'].value)  # 第一种取值方式
print(wb1.cell(row=2,column=2).value)  # 第二种取值方式                 
for j in wb1.columns:
    print([i.value for i in j])  # 用列表生成式 循环打印出工作薄里的内容
                   
wb = load_workbook(r'111.xlsx',data_only=True)  # 涉及到工作薄里有的用了公式 功能 可以用此方法拿到公式的结果
  • 总结：
    openpyxl不擅长读数据 擅长写入数据
    pandas模块更加的合适去 读
  • 封装了openpyxl的pandas模块操作excel表格的方式
import pandas
d = {
    '水果名称': ['苹果', '香蕉', '榴莲', '桔子'],
    '生产地址': ['合肥', '蚌埠', '淮南', '芜湖'],
    '单价/kg': [100, 200, 500, 999],
}
df = pandas.DataFrame(d)
df.to_excel(r'Fruit.xlsx')  # 直接写入进去

python读取加密 excel文件 python对excel加密_数据

爬取链接二手房数据

import requests

# res = requests.get('https://sh.lianjia.com/ershoufang/')
# with open(r'lj.html','wb') as f:
#     f.write(res.content)

with open(r'lj.html', 'r', encoding='utf8') as f:
    data = f.read()
# 1.研究目标数据 筛选
home_title_list = re.findall(
    '<a class="" href=".*?" target="_blank" data-log_index=".*?"  data-el="ershoufang" data-housecode=".*?" data-is_focus="" data-sl="">(.*?)</a>',
    data
)
home_name_list = re.findall(
    '<a href=".*?" target="_blank" data-log_index=".*?" data-el="region">(.*?) </a>',
    data
)
home_addr_list = re.findall(
    '   -  <a href=".*?" target="_blank">(.*?)</a>',
    data
)
home_info_list = re.findall(
    '<div class="houseInfo"><span class="houseIcon"></span>(.*?)</div>',
    data
)
home_others_list = re.findall(
    '<div class="followInfo"><span class="starIcon"></span>(.*?)</div>',
    data
)
home_total_price = re.findall(
    '<div class="totalPrice totalPrice2"><i> </i><span class="">(.*?)</span><i>万</i></div>',
    data
)
home_unit_price = re.findall(
    '<div class="unitPrice" data-hid=".*?" data-rid=".*?" data-price=".*?"><span>(.*?)</span></div>',
    data
)
d = {
    '房屋标题':home_title_list,
    '小区名称':home_name_list,
    '所在街道':home_addr_list,
    '具体信息':home_info_list,
    '其他信息':home_others_list,
    '房屋总价':home_total_price,
    '房屋单价':home_unit_price
}
df = pandas.DataFrame(d)
df.to_excel(r'999.xlsx')

random随机数模块

import random

# print(random.random())  # 返回0到1之间随机的小数
# print(random.randint(1, 10))  # 返回1到10之间随机的整数
# print(random.choice(['一等奖', '特等奖', '谢谢惠顾']))  # 随机抽取一个
# print(random.sample(['张三', '李四', '王五', '赵六', '杨七', '魏八', '郑九'], 3))  # 随机抽取 可以自定义抽取个数
# l1 = [2, 3, 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 'A']
# random.shuffle(l1)
# print(l1)




def get_code(n):
    code = ''  # 定义全局变量用于存储所有的验证码
    # 编写python代码 产生五位随机验证码(数字、小写字母、大写字母)
    for i in range(n):
        # 每次循环都应该产生 数字 小写字母 大写字母
        random_int = str(random.randint(0, 9))  # 随机产生一个数字
        random_lower = chr(random.randint(97, 122))  # 随机产生一个小写字母
        random_upper = chr(random.randint(65, 90))  # 随机产生一个大写字母
        # 从上述三个数据值中随机挑选一个作为验证码的一位数据
        temp = random.choice([random_int, random_lower, random_upper])
        code += temp  # 拼接字符串
    return code
res = get_code(11)
print(res)
res1 = get_code(20)
print(res1)

hashlib加密模块

1.什么是加密
	将明文数据(看得懂)经过处理之后变成密文数据(看不懂)的过程
2.为什么要加密
	不想让敏感的数据轻易的泄露
3.如何判断当前数据值是否已经加密
	一般情况下如果是一串没有规则的数字字母符合的组合一般都是加密之后的结果
4.加密算法
	就是对明文数据采用的加密策略
		不同的加密算法复杂度不一样 得出的结果长短也不一样
		通常情况下加密之后的结果越长 说明采用的加密算法越复杂
5.常见加密算法
	md5 sha系列 hmac base64
6.代码实参
	 import hashlib
    md5 = hashlib.md5()  # 选择md5加密算法作为数据的加密策略
    md5.update(b'123')  # 往里面添加明文数据 数据必须是bytes类型
    res = md5.hexdigest()  # 获取加密之后的结果
    print(res)  # 202cb962ac59075b964b07152d234b70

加密模块补充说明

1.加密之后的结果一般情况下不能反解密
	202cb962ac59075b964b07152d234b70
	"""
	所谓的反解密很多时候其实是偷换概念 
		提前假设别人的密码是什么 然后用各种算法算出对应的密文
		之后构造对应关系 然后比对密文 最终映射明文
			{'密文1':123,'密文2':321,...}
	"""
2.只要明文数据是一样的那么采用相同的算法得出的密文肯定一样
	 import hashlib
    md5 = hashlib.md5()  # 选择md5加密算法作为数据的加密策略
    # md5.update(b'123')  # 往里面添加明文数据 数据必须是bytes类型
    # md5.update(b'hello')  # 往里面添加明文数据 数据必须是bytes类型
    # md5.update(b'jason')  # 往里面添加明文数据 数据必须是bytes类型
    # res = md5.hexdigest()
    # print(res)  # 31b9a81dc788368469ee4b78877eb1eb
    md5.update(b'123hellojason')
    res = md5.hexdigest()
    print(res)    # 31b9a81dc788368469ee4b78877eb1eb
3.加盐处理(salt)
	 password = input('password>>>:').strip()
    md5.update('公司设置的盐(干扰项)'.encode('utf8'))
    md5.update(password.encode('utf8'))
    res = md5.hexdigest()
    print(res)  # 78bf5bd131c520b54168206d75f9f9be
4.动态加盐(salt)
	 干扰项每次都不一样 
    	eg:每次获取当前时间 每个用户用户名截取一段
5.加密实际应用场景
	1.用户密码加密
    	注册存储密文 登录也是比对密文
 	2.文件安全性校验
    	正规的软件程序写完之后做一个内容的加密
        	网址提供软件文件记忆该文件内容对应的密文
           用户下载完成后不直接运行 而是对下载的内容做加密
        	然后比对两次密文是否一致 如果一致表示文件没有被改
           不一致则表示改程序有可能被植入病毒
 	3.大文件加密优化
    	程序文件100G 
        	一般情况下读取100G内容然后全部加密 太慢
 			 不对100G所有的内容加密 而是截取一部分加密
                
                
  解决措施:每隔500M读取30bytes

subprocess模块

模拟计算机cmd命令窗口

import subprocess

cmd = input('请输入您的指令>>>:').strip()
sub = subprocess.Popen(cmd,
                       shell=True,
                       stdout=subprocess.PIPE,
                       stderr=subprocess.PIPE
                       )  
# stdout执行命令之后正确的返回结果
print(sub.stdout.read().decode('gbk'))
# stderr执行命令报错之后的返回结果
print(sub.stderr.read().decode('gbk'))

日志模块

注意：日志模块需要你写的代码很少 几乎都是CV
1.什么是日志
	日志就类似于是历史记录 
2.为什么要使用日志
	为了记录事物发生的事实(史官)
3.如何使用日志
	3.1.日志等级
    	  import logging
        logging.debug('debug等级')  # 10
        logging.info('info等级')  # 20
        logging.warning('warning等级')  # 默认从warning级别开始记录日志  30
        logging.error('error等级')  # 40
        logging.critical('critical等级')  # 50
	3.2.基本使用
    	  import logging

        file_handler = logging.FileHandler(filename='x1.log', mode='a', encoding='utf-8',)
        logging.basicConfig(
            format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
            datefmt='%Y-%m-%d %H:%M:%S %p',
            handlers=[file_handler,],
            level=logging.ERROR
        )

        logging.error('真棒')

日志模块组成部分

import logging

# 1.日志的产生(准备原材料)        logger对象
logger = logging.getLogger('购物车记录')
# 2.日志的过滤(剔除不良品)        filter对象>>>:可以忽略 不用使用
# 3.日志的产出(成品)             handler对象
hd1 = logging.FileHandler('a1.log', encoding='utf-8')  # 输出到文件中
hd2 = logging.FileHandler('a2.log', encoding='utf-8')  # 输出到文件中
hd3 = logging.StreamHandler()  # 输出到终端
# 4.日志的格式(包装)             format对象
fm1 = logging.Formatter(
        fmt='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
        datefmt='%Y-%m-%d %H:%M:%S %p',
)
fm2 = logging.Formatter(
        fmt='%(asctime)s - %(name)s:  %(message)s',
        datefmt='%Y-%m-%d',
)
# 5.给logger对象绑定handler对象
logger.addHandler(hd1)
logger.addHandler(hd2)
logger.addHandler(hd3)
# 6.给handler绑定formmate对象
hd1.setFormatter(fm1)
hd2.setFormatter(fm2)
hd3.setFormatter(fm1)
# 7.设置日志等级
logger.setLevel(10)  # debug
# 8.记录日志
logger.debug('写了半天 好累啊 好热啊')


"""
我们在记录日志的时候 不需要向上述一样全部自己写 过于繁琐
所以该模块提供了固定的配置字典直接调用即可
"""

实战应用

# 按照软件开发目录规范编写使用
日志字典数据应该放在哪个py文件内
	字典数据是日志模块固定的配置 写完一次之后几乎都不需要动
  它属于配置文件
  """配置文件中变量名推荐全大写"""
该案例能够带你搞明白软件开发目录规范中所有py文件的真正作用

def get_logger(msg):
    # 记录日志
    logging.config.dictConfig(settings.LOGGING_DIC)  # 自动加载字典中的配置
    logger1 = logging.getLogger(msg)
    # logger1.debug(f'{username}注册成功')  # 这里让用户自己写更好
    return logger1