flask 操作redis flask+redis

代理池介绍

在进行网络爬虫时，由于一些网站的反爬措施会有封ip的现象，可使用代理池来进行代理ip的处理。
代理池的要求：
多站抓取，异步检测。
定时筛选，持续更新。
提供接口，易于提取。
代理池架构：
获取器
过滤器
代理队列
定时检测

参考代理池源码

https://github.com/jhao104/proxy_pool

安装依赖

（将下载的源码解压到自定义目录，使用命令行到该目录下进行安装）

pip install -r requirements.txt

安装时，出现以下情况（说明网速太慢，用以下解决方案也需要耐心等待）

解决方案：

pip install --default-timeout=1000 库名如图：

检查：

Redis安装和配置

下载路径：https://github.com/microsoftarchive/redis/releases 再下载个Redis桌面管理：https://github.com/uglide/RedisDesktopManager/releases/tag/0.8.8

找到redis-desktop-manager.exe可执行文件

下载完安装好后，打开，填写localhost

就可以开始添加键和值了

Redis、Flask维护代理池

pycharm导入所下载的包，设置好相应的环境

配置Config/setting.py:

#Config/setting.py 为项目配置文件
#配置DB
DATABASES = {
    "default": {
        "TYPE": "SSDB",        # 目前支持SSDB或redis数据库
        "HOST": "127.0.0.1",   # db host
        "PORT": 8888,          # db port，例如SSDB通常使用8888，redis通常默认使用6379
        "NAME": "proxy",       # 默认配置
        "PASSWORD": ""         # db password

    }
}

配置 ProxyGetter

PROXY_GETTER = [
    "freeProxy01",      # 这里是启用的代理抓取函数名，可在ProxyGetter/getFreeProxy.py 扩展
    "freeProxy02",
    ....
]

配置 API服务

SERVER_API = {
    "HOST": "0.0.0.0",  # 监听ip, 0.0.0.0 监听所有IP
    "PORT": 5010        # 监听端口
}

上面配置启动后，代理池访问地址为http://127.0.0.1:5010

这里显示有些包不满足条件，可以点击安装，如果已经安装，可以忽视

启动

如果依赖已经安全完成并且具备运行条件,可以在cli下运行通过ProxyPool.py启动

程序分为: schedule 调度程序和 webserver Api服务

首先启动调度程序python proxyPool.py schedule

然后启动webApi服务python proxyPool.py webserver

在爬虫中的使用

#将api封装成函数直接使用
import requests

def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# 爬虫代码

def getHtml():
    # ....
    retry_count = 5
    proxy = get_proxy().get("proxy")
    while retry_count > 0:
        try:
            html = requests.get('https://www.example.com', proxies={"http": "http://{}".format(proxy)})
            # 使用代理访问
            return html
        except Exception:
            retry_count -= 1
    # 出错5次, 删除代理池中代理
    delete_proxy(proxy)
    return None