python redis 如何加锁 python的redis

转载

mob6454cc73e9a6 2023-12-25 12:38:41

文章标签 python redis 如何加锁 redis vim 持久化 文章分类 Python 后端开发

一、Redis介绍

　　什么是redis？一个专门做数据缓存的软件，将数据在服务器的内存上进行存储，提高数据的查询的效率。与memcache不同的是，redis将数据保存在内存中的同时，会定期将数据也会写到文件中，避免服务器关机等时数据消失。电脑开机的会将数据重新新放在内存上。总结如下：

'''
1、用途：
     做缓存和做消息队列
2、本质：
     将数据存放在内存中    

3、特性：
     可做持久化
     支持存放5种数据格式，如下：      
''' 
{"k1":"xxxx"                                    #字符串
"k2":[11,22,33]                                 #列表
"k3":{11,22,33}                                 #集合
"k4":{"k1":"v1","k2":"v2"}                      #哈希散列表
"k5":{("egon",1),("alex",2)}                    #有序集合
}

1、redis特性

python redis 如何加锁 python的redis_持久化

2、redis与memcache比较

'''
在单用户多并发读写，redis性能高
在多用户少读写时，memcache更优

'''
#总结：redis是一个单核的管理机制，生产中一般是，单机多实例的架构。

3、redis配置文件示例

#进入配置文件：vim /etc/redis.conf
'''
daemonize no/yes  是否后台运行
port 6379   默认端口
appendonly no/yes  AOF日志开关是否打开
logfile /var/log/redis.log  日志文件位置
dbfilename dump.rdb  RDB持久化数据文件
'''

4、直接在命令行调用redis命令配置

#配置方式：
'''
cd /root
vim .bash_profile
PATH 行添加
:/application/redis-3.2.6/src
保存后执行：
source .bash_profile
'''

#使用实例：
'''
redis-cli                     开启客户端
shutdown                      关闭客户端
redis-server /etc/redis.conf  启动服务
'''

5、安全控制配置

　　通过如下配置，限制连接的用户。

#打开配置文件：vim /etc/redis.conf 
'''
配置实例：
bind 10.0.0.200                   限制ip
requirepass root                  设置密码
'''

　　按照如上方式配置后打开方式实例：

'''
启动redis
redis-server /etc/redis.conf

连接redis：
redis-cli -h 10.0.0.200 -a root
'''
# -h <hostname>   
# -p <port> 
# -a <password>

#说明：
'''
redis-cli  默认情况是以下的方式连接redis-cli -h 127.0.0.1 -p 6379
'''

6、在线更改配置

　　在线修改的配置，下次登录生效，但是重启之后配置会丢失。

'''
获取当前配置：
CONFIG GET *
变更运行配置：
    例子：修改密码
    CONFIG SET requirepass  "123"
查看配置结果：
CONFIG GET requirepass 
'''

二、redis持久化

因为Redis是内存型数据库，所以为了防止因为系统崩溃等原因导致数据丢失的问题，Redis提供了两种不同的持久化方法来将数据存储在硬盘里面，一种方法是快照（RDB），它可以将存在于某一个时刻的所有数据都写入到硬盘里面，另外一种方法是只追加文件（AOF），它会在执行写命令时，将被执行的写命令都写入到硬盘里面。
1、快照持久化
　　Redis可以通过创建快照来获得在内存里面的数据在某一个时间点上的副本。在创建快照之后，用户可以对快照进行备份，可以将快照复制到其它服务器从而创建具有相同数据的服务器副本，还可以将快照留在原地以便重启服务器时使用。在只使用快照持久化来保存数据时，如果系统真的发生崩溃，用户将丢失最近一次生成快照之后更改的所有数据。因此，快照持久化只适用于那些即使丢失一部分数据也不会造成问题的应用程序。

#配置示例
'''
dbfilename dump.rdb
dir "/application/data/6379" 
save 900 1               #900秒（15分钟）内有1个更改
save 300 10              #300秒（5分钟）内有10个更改
save 60 10000            #60秒内有10000个更改
'''

2、文件持久化
　　AOF持久化会将被执行的写命令写到AOF文件的末尾，以此来纪录数据所发生的变化，因此，Redis只要从头到尾重新执行一次AOF文件所包含的所有写命令，就可以恢复AOF文件所记录的数据集。因为Redis会不断的将被执行的写命令纪录到AOF文件里面，所以随着Redis不断执行，AOF文件的体积也会不断增长，极端条件下，AOF甚至可能会用完硬盘的所有可用空间。为了解决上面的缺点，Redis提供了BGREWRITEAOF命令，这个命令会通过移除AOF文件中的冗余命令来重写AOF文件，使得AOF文件尽可能的小。它的原理和BGSAVE命令相似，Redis会创建一个子进程，然后由子进程负责对AOF文件进行重写，因为AOF文件重写也需要用到子进程，所以同样存在快照持久化因为创建子进程所导致的性能问题和内存占用问题。

#配置示例：
'''
appendonly yes
appendfsync everysec     #共有三种方式
'''

三、发布订阅

'''
SUBSCRIBE   weibo           订阅一个频道
PSUBSCRIBE  *                  订阅多个频道
PSUBSCRIBE  beijing.*      订阅所有和北京相关的频道
 
'''
使用实例：（发布消息后，订阅的就会收到）
PUBLISH weibo  hello

四、主从复制

　　主从复制有故障转移（failover）和分担负载（balance），实现高可用。

1、传统主从复制

配置说明：

准备2个以上的redis实例，准备多配置文件（端口、数据路径、日志路径、pid）：
'''
端口：
6380（主）
6381（从）
数据路径（持久化文件存放位置）:
/application/data/6380
/application/data/6381
日志路径：
/var/log/redis6380.log
/var/log/redis6381.log
pid文件
/application/data/6380/redis.pid
/application/data/6381/redis.pid
'''

配置过程：

'''
1、创建目录
　　mkdir -p /application/data/6380
　　mkdir -p /application/data/6381
2、配置文件
　　vim  /application/data/6380/redis.conf
　　port 6380
　　daemonize yes
　　pidfile /application/data/6380/redis.pid
　　logfile "/var/log/redis6380.log"
　　dbfilename dump.rdb
　　dir /application/data/6380

　　vim /application/data/6381/redis.conf
　　port 6381
　　daemonize yes
　　pidfile /application/data/6381/redis.pid
　　logfile "/var/log/redis6381.log"
　　dbfilename dump.rdb
　　dir /application/data/6381
3、启动两个实例
　　redis-server /application/data/6380/redis.conf
　　redis-server /application/data/6381/redis.conf
4、构建主从
　　redis-cli -p 6381
　　slaveof 127.0.0.1 6380
5、验证主从
　　登录主库：
　　redis-cli -p 6380
　　set foo bar
　　登录从库：
　　redis-cli -p 6381
　　get foo
6、主从复制状态查看。
　　role
　　info replication
7、主从复制，手工切换
　　slaveof no one
'''

2、sentinel主从复制

　　传统主从复制有如下缺陷：没有自动监控机制、没有自动切换的功能、对于应用不透明；解决办法就是sentinel主从复制，具有如下功能：自动监控redis所有节点状态；发现主库故障，自动选主切换；自动通知应用端。

配置说明：

#准备，1主2从结构比较合适，所以继续添加6382节点：
'''
mkdir -p /application/data/6382

vim  /application/data/6382/redis.conf

    port 6382
    daemonize yes
    pidfile /application/data/6382/redis.pid
    logfile "/var/log/redis6382.log"
    dbfilename dump.rdb
    dir /application/data/6382

redis-server /application/data/6382/redis.conf
redis-cli -p 6382
slaveof 127.0.0.1 6380
'''

配置过程：

'''
配置：
mkdir -p /application/data/26380

vim /application/data/26380/sentinel.conf
    port 26380
    dir "/application/data/26380"
    sentinel monitor mymaster 127.0.0.1 6380 1
    sentinel down-after-milliseconds mymaster 60000
    sentinel config-epoch mymaster 0
启动：
redis-sentinel /application/data/26380/sentinel.conf
'''

python使用示例：

from redis.sentinel import Sentinel  
sentinel = Sentinel([('127.0.0.1', 26380)], socket_timeout=0.1)  
sentinel.discover_master('mymaster')                          #查看主节点，mymaster是名字，配置中设置
sentinel.discover_slaves('mymaster')                          #查看子节点
 
master = sentinel.master_for('mymaster', socket_timeout=0.1)  #获取主节点  
slave = sentinel.slave_for('mymaster', socket_timeout=0.1)    #获取子节点
#使用实例：
    master.set('foo', 'bar')  
    slave.get('foo')

五、分布式集群

　　主要解决高并发问题。

1、分布式集群部署

'''
1、集群组件安装
    EPEL源安装ruby支持
    yum install ruby rubygems -y
    使用国内源
    gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/


    如果无法使用，可以使用aliyun
    gem sources -a http://mirrors.aliyun.com/rubygems/ 
    gem sources  --remove http://rubygems.org/
    gem sources -l
    gem install redis -v 3.3.3

2、集群节点准备
（1）规划：
        端口：
        7000-7005
        路径:
        /application/data/7000
        /application/data/7001
        /application/data/7002
        /application/data/7003
        /application/data/7004
        /application/data/7005

        日志路径：
        /var/log/redis7000.log
        /var/log/redis7001.log
        /var/log/redis7002.log
        /var/log/redis7003.log
        /var/log/redis7004.log
        /var/log/redis7005.log

        pid文件路径：
        /application/data/7000/redis.pid
        /application/data/7001/redis.pid
        /application/data/7002/redis.pid
        /application/data/7003/redis.pid
        /application/data/7004/redis.pid
        /application/data/7005/redis.pid


（2）创建节点目录：
    mkdir -p /application/data/7000
    mkdir -p /application/data/7001
    mkdir -p /application/data/7002
    mkdir -p /application/data/7003
    mkdir -p /application/data/7004
    mkdir -p /application/data/7005


（3）配置文件添加：
    vim /application/data/7000/redis.conf

        port 7000
        daemonize yes
        pidfile /application/data/7000/redis.pid
        logfile "/var/log/redis7000.log"
        dbfilename dump.rdb
        dir /application/data/7000
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes

    vim /application/data/7001/redis.conf

        port 7001
        daemonize yes
        pidfile /application/data/7001/redis.pid
        logfile "/var/log/redis7001.log"
        dbfilename dump.rdb
        dir /application/data/7001
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes

    vim /application/data/7002/redis.conf

        port 7002
        daemonize yes
        pidfile /application/data/7002/redis.pid
        logfile "/var/log/redis7002.log"
        dbfilename dump.rdb
        dir /application/data/7002
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes

    vim /application/data/7003/redis.conf

        port 7003
        daemonize yes
        pidfile /application/data/7003/redis.pid
        logfile "/var/log/redis7003.log"
        dbfilename dump.rdb
        dir /application/data/7003
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes

    vim /application/data/7004/redis.conf

        port 7004
        daemonize yes
        pidfile /application/data/7004/redis.pid
        logfile "/var/log/redis7004.log"
        dbfilename dump.rdb
        dir /application/data/7004
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes

    vim /application/data/7005/redis.conf

        port 7005
        daemonize yes
        pidfile /application/data/7005/redis.pid
        logfile "/var/log/redis7005.log"
        dbfilename dump.rdb
        dir /application/data/7005
        cluster-enabled yes
        cluster-config-file nodes.conf
        cluster-node-timeout 5000
        appendonly yes


    (4)启动所有节点:
        redis-server /application/data/7000/redis.conf
        redis-server /application/data/7001/redis.conf
        redis-server /application/data/7002/redis.conf
        redis-server /application/data/7003/redis.conf
        redis-server /application/data/7004/redis.conf
        redis-server /application/data/7005/redis.conf


        ps -ef |grep 700   #查看是否启动

3、集群创建
    redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

4、集群状态查看
　　redis-cli -p 7000 cluster nodes | grep master
'''

2、python使用介绍

'''
(1) redis-py并没有提供redis-cluster的支持，去github找了一下，有个叫redis-py-cluster的源码，
　　但是和redis-py不是一个作者，地址为:https://github.com/Grokzen/redis-py-cluster
(2) 安装
   Latest stable release from pypi
$ pip install redis-py-cluster  
    or from source
$ python setup.py install
(3) 使用
     from rediscluster import StrictRedisCluster  
    startup_nodes = [{"host": "127.0.0.1", "port": "7000"}]  
    # Note: decode_responses must be set to True when used with python3  
    rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True)  
    rc.set("foo", "bar")  
 
    print(rc.get("foo"))  #'bar'

'''

六、redis-py连接池

　　redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认，每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池。

1、方式一

　　利用redis中的ConnectionPool创建连接池，然后各视图中使用此连接池，实例如下：

#pool.py文件
import redis
POOL = redis.ConnectionPool(host='47.93.4.198',port=6379)
                    
#views.py文件
from django.shortcuts import render
import redis
from pool import POOL

def index(request):
conn = redis.Redis(connection_pool=POOL)
....

def home(request):
conn = redis.Redis(connection_pool=POOL)
....

2、方式二

　　利用django-redis组件实现连接池，安装django-redis组件方式为：pip3 install django-redis ，使用实例如下：

配置文件：

CACHES = {
        "default": {
                "BACKEND": "django_redis.cache.RedisCache",
                "LOCATION": "redis://47.93.4.198:6379",                           #服务器ip
                "OPTIONS": {
                        "CLIENT_CLASS": "django_redis.client.DefaultClient",
                        "PASSWORD": "",                                            #有密码就设置
                            }
                }
        }

使用实例：

import django_redis
conn = django_redis.get_redis_connection()

七、memcache

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：iOS 模糊定位精确定位 ios定位精度

下一篇：java debug怎么看数据结果 java的debug

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

python redis 如何加锁 python的redis

python redis 如何加锁 python的redis

51CTO博客