Redis 是什么?
Redis 是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python,Ruby,Erlang,PHP客户端,使用很方便,Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。
安装 Python 的 redis-py库
pip install redis
获取一个redis客户端:
redis_conn = redis.Redis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
redis有五种基本类型。包括字符串类型、散列类型、列表类型、集合类型、有序集合类型。每种不同的类型,reids客户端提供了很多不同的操作方法,下面我将记录下平时最常用的一些基于python的操作。。
本文最下方有 新增、修改、增加、减少及删除的操作示例
连接方式 示例
redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
r = redis.Redis(host='192.168.0.110', port=6379,db=0)
r.set('name', 'zhangsan') #添加
print (r.get('name')) #获取
连接池 示例
redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
pool = redis.ConnectionPool(host='192.168.0.110', port=6379)
r = redis.Redis(connection_pool=pool)
r.set('name', 'zhangsan') #添加
print (r.get('name')) #获取
String 操作
redis中的String在在内存中按照一个name对应一个value来存储
set()
#在Redis中设置值,默认不存在则创建,存在则修改
r.set('name', 'zhangsan')
'''参数:
set(name, value, ex=None, px=None, nx=False, xx=False)
ex,过期时间(秒)
px,过期时间(毫秒)
nx,如果设置为True,则只有name不存在时,当前set操作才执行,同setnx(name, value)
xx,如果设置为True,则只有name存在时,当前set操作才执行'''
setex(name, value, time)
#设置过期时间(秒)
psetex(name, time_ms, value)
#设置过期时间(豪秒)
mset()
#批量设置值
r.mset(name1='zhangsan', name2='lisi')
#或
r.mget({"name1":'zhangsan', "name2":'lisi'})
get(name) 获取值
mget(keys, *args)
#批量获取
print(r.mget("name1","name2"))
#或
li=["name1","name2"]
print(r.mget(li))
getset(name, value)
#设置新值,打印原值
print(r.getset("name1","wangwu")) #输出:zhangsan
print(r.get("name1")) #输出:wangwu
getrange(key, start, end)
#根据字节获取子序列
r.set("name","zhangsan")
print(r.getrange("name",0,3))#输出:zhan
setrange(name, offset, value)
#修改字符串内容,从指定字符串索引开始向后替换,如果新值太长时,则向后添加
r.set("name","zhangsan")
r.setrange("name",1,"z")
print(r.get("name")) #输出:zzangsan
r.setrange("name",6,"zzzzzzz")
print(r.get("name")) #输出:zzangszzzzzzz
setbit(name, offset, value)
#对二进制表示位进行操作
''' name:redis的name
offset,位的索引(将值对应的ASCII码变换成二进制后再进行索引)
value,值只能是 1 或 0 '''
str="345"
r.set("name",str)
for i in str:
print(i,ord(i),bin(ord(i)))#输出 值、ASCII码中对应的值、对应值转换的二进制
'''
输出:
3 51 0b110011
4 52 0b110100
5 53 0b110101'''
r.setbit("name",6,0)#把第7位改为0,也就是3对应的变成了0b110001
print(r.get("name"))#输出:145
getbit(name, offset)
#获取name对应值的二进制中某位的值(0或1)
r.set("name","3") # 对应的二进制0b110011
print(r.getbit("name",5)) #输出:0
print(r.getbit("name",6)) #输出:1
bitcount(key, start=None, end=None)
#获取对应二进制中1的个数
r.set("name","345")#0b110011 0b110100 0b110101
print(r.bitcount("name",start=0,end=1)) #输出:7
''' key:Redis的name
start:字节起始位置
end:字节结束位置'''
strlen(name)
#返回name对应值的字节长度(一个汉字3个字节)
r.set("name","zhangsan")
print(r.strlen("name")) #输出:8
incr(self, name, amount=1)
#自增mount对应的值,当mount不存在时,则创建mount=amount,否则,则自增,amount为自增数(整数)
print(r.incr("mount",amount=2))#输出:2
print(r.incr("mount"))#输出:3
print(r.incr("mount",amount=3))#输出:6
print(r.incr("mount",amount=6))#输出:12
print(r.get("mount")) #输出:12
incrbyfloat(self, name, amount=1.0)
'''类似 incr() 自增,amount为自增数(浮点数)'''
decr(self, name, amount=1)
'''自减name对应的值,当name不存在时,则创建name=amount,否则,则自减,amount为自增数(整数)'''
append(name, value)
#在name对应的值后面追加内容
r.set("name","zhangsan")
print(r.get("name")) #输出:'zhangsan
r.append("name","lisi")
print(r.get("name")) #输出:zhangsanlisi
Hash 操作
redis中的Hash 在内存中类似于一个name对应一个dic来存储
hset(name, key, value)
#name对应的hash中设置一个键值对(不存在,则创建,否则,修改)
r.hset("dic_name","a1","aa")
hget(name,key)
r.hset("dic_name","a1","aa")
#在name对应的hash中根据key获取value
print(r.hget("dic_name","a1"))#输出:aa
hgetall(name)
#获取name对应hash的所有键值
print(r.hgetall("dic_name"))
hmset(name, mapping)
#在name对应的hash中批量设置键值对,mapping:字典
dic={"a1":"aa","b1":"bb"}
r.hmset("dic_name",dic)
print(r.hget("dic_name","b1"))#输出:bb
hmget(name, keys, *args)
# 在name对应的hash中获取多个key的值
li=["a1","b1"]
print(r.hmget("dic_name",li))
print(r.hmget("dic_name","a1","b1"))
hlen(name)、hkeys(name)、hvals(name)
dic={"a1":"aa","b1":"bb"}
r.hmset("dic_name",dic)
#hlen(name) 获取hash中键值对的个数
print(r.hlen("dic_name"))
#hkeys(name) 获取hash中所有的key的值
print(r.hkeys("dic_name"))
#hvals(name) 获取hash中所有的value的值
print(r.hvals("dic_name"))
hexists(name, key)
#检查name对应的hash是否存在当前传入的key
print(r.hexists("dic_name","a1"))#输出:True
hdel(name,*keys)
#删除指定name对应的key所在的键值对
r.hdel("dic_name","a1")
hincrby(name, key, amount=1)
#自增hash中key对应的值,不存在则创建key=amount(amount为整数)
print(r.hincrby("demo","a",amount=2))
hincrbyfloat(name, key, amount=1.0)
'''自增hash中key对应的值,不存在则创建key=amount(amount为浮点数)'''
hscan(name, cursor=0, match=None, count=None)
hscan_iter(name, match=None, count=None)
List 操作
redis中的List在在内存中按照一个name对应一个List来存储
lpush(name,values)
# 在name对应的list中添加元素,每个新的元素都添加到列表的最左边
r.lpush("list_name",2)
r.lpush("list_name",3,4,5)#保存在列表中的顺序为5,4,3,2
rpush(name,values)
'''同lpush,但每个新的元素都添加到列表的最右边'''
lpushx(name,value)
'''在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边'''
rpushx(name,value)
'''在name对应的list中添加元素,只有name已经存在时,值添加到列表的最右边'''
llen(name)
# name对应的list元素的个数
print(r.llen("list_name"))
linsert(name, where, refvalue, value))
# 在name对应的列表的某一个值前或后插入一个新值
r.linsert("list_name","BEFORE","2","SS")#在列表内找到第一个元素2,在它前面插入SS
'''参数:
name: redis的name
where: BEFORE(前)或AFTER(后)
refvalue: 列表内的值
value: 要插入的数据'''
r.lset(name, index, value)
#对list中的某一个索引位置重新赋值
r.lset("list_name",0,"bbb")
r.lrem(name, value, num)
#删除name对应的list中的指定值
r.lrem("list_name","SS",num=0)
''' 参数:
name: redis的name
value: 要删除的值
num: num=0 删除列表中所有的指定值;
num=2 从前到后,删除2个;
num=-2 从后向前,删除2个'''
lpop(name)
#移除列表的左侧第一个元素,返回值则是第一个元素
print(r.lpop("list_name"))
lindex(name, index)
#根据索引获取列表内元素
print(r.lindex("list_name",1))
lrange(name, start, end)
#分片获取元素
print(r.lrange("list_name",0,-1))
ltrim(name, start, end)
#移除列表内没有在该索引之内的值
r.ltrim("list_name",0,2)
rpoplpush(src, dst)
''' 从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边'''
src 要取数据的列表
dst 要添加数据的列表
brpoplpush(src, dst, timeout=0)
#同rpoplpush,多了个timeout, timeout:取数据的列表没元素后的阻塞时间,0为一直阻塞
r.brpoplpush("list_name","list_name1",timeout=0)
blpop(keys, timeout)
#将多个列表排列,按照从左到右去移除各个列表内的元素
r.lpush("list_name",3,4,5)
r.lpush("list_name1",3,4,5)
while True:
print(r.blpop(["list_name","list_name1"],timeout=0))
print(r.lrange("list_name",0,-1),r.lrange("list_name1",0,-1))
'''keys: redis的name的集合
timeout: 超时时间,获取完所有列表的元素之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞'''
r.brpop(keys, timeout)
'''同blpop,将多个列表排列,按照从右像左去移除各个列表内的元素'''
Set 操作
Set集合就是不允许重复的列表
sadd(name,values)
#给name对应的集合中添加元素
r.sadd("set_name","aa")
r.sadd("set_name","aa","bb")
smembers(name)
'''获取name对应的集合的所有成员'''
scard(name)
#获取name对应的集合中的元素个数
r.scard("set_name")
sdiff(keys, *args)
#在第一个name对应的集合中且不在其他name对应的集合的元素集合
r.sadd("set_name","aa","bb")
r.sadd("set_name1","bb","cc")
r.sadd("set_name2","bb","cc","dd")
print(r.sdiff("set_name","set_name1","set_name2"))#输出:{aa}
sdiffstore(dest, keys, *args)
'''相当于把sdiff获取的值加入到dest对应的集合中'''
sinter(keys, *args)
# 获取多个name对应集合的并集
r.sadd("set_name","aa","bb")
r.sadd("set_name1","bb","cc")
r.sadd("set_name2","bb","cc","dd")
print(r.sinter("set_name","set_name1","set_name2"))#输出:{bb}
sinterstore(dest, keys, *args)
'''获取多个name对应集合的并集,再讲其加入到dest对应的集合中'''
sismember(name, value)
'''检查value是否是name对应的集合内的元素'''
smove(src, dst, value)
'''将某个元素从一个集合中移动到另外一个集合'''
spop(name)
'''从集合的右侧移除一个元素,并将其返回'''
srandmember(name, numbers)
# 从name对应的集合中随机获取numbers个元素
print(r.srandmember("set_name2",2))
srem(name, values)
#删除name对应的集合中的某些值
print(r.srem("set_name2","bb","dd"))
sunion(keys, *args)
#获取多个name对应的集合的并集
r.sunion("set_name","set_name1","set_name2")
sunionstore(dest,keys, *args)
'''获取多个name对应的集合的并集,并将结果保存到dest对应的集合中'''
有序集合:
在集合的基础上,为每元素排序,元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。
zadd(name, *args, **kwargs)
# 在name对应的有序集合中添加元素
r.zadd("zset_name", "a1", 6, "a2", 2,"a3",5)
#或
r.zadd('zset_name1', b1=10, b2=5)
zcard(name)
'''获取有序集合内元素的数量'''
zcount(name, min, max)
#获取有序集合中分数在[min,max]之间的个数
print(r.zcount("zset_name",1,5))
zincrby(name, value, amount)
#自增有序集合内value对应的分数
r.zincrby("zset_name","a1",amount=2)#自增zset_name对应的有序集合里a1对应的分数
zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引范围获取name对应的有序集合的元素
aa=r.zrange("zset_name",0,1,desc=False,withscores=True,score_cast_func=int)
print(aa)
'''参数:
name redis的name
start 有序集合索引起始位置
end 有序集合索引结束位置
desc 排序规则,默认按照分数从小到大排序
withscores 是否获取元素的分数,默认只获取元素的值
score_cast_func 对分数进行数据转换的函数'''
zrevrange(name, start, end, withscores=False, score_cast_func=float)
'''同zrange,集合是从大到小排序的'''
zrank(name, value)、zrevrank(name, value)
#获取value值在name对应的有序集合中的排行位置(从0开始)
print(r.zrank("zset_name", "a2"))
print(r.zrevrank("zset_name", "a2"))#从大到小排序
zscore(name, value)
#获取name对应有序集合中 value 对应的分数
print(r.zscore("zset_name","a1"))
zrem(name, values)
#删除name对应的有序集合中值是values的成员
r.zrem("zset_name","a1","a2")
zremrangebyrank(name, min, max)
'''根据排行范围删除'''
zremrangebyscore(name, min, max)
'''根据分数范围删除'''
zinterstore(dest, keys, aggregate=None)
r.zadd("zset_name", "a1", 6, "a2", 2,"a3",5)
r.zadd('zset_name1', a1=7,b1=10, b2=5)
# 获取两个有序集合的交集并放入dest集合,如果遇到相同值不同分数,则按照aggregate进行操作
# aggregate的值为: SUM MIN MAX
r.zinterstore("zset_name2",("zset_name1","zset_name"),aggregate="MAX")
print(r.zscan("zset_name2"))
zunionstore(dest, keys, aggregate=None)
'''获取两个有序集合的并集并放入dest集合,其他同zinterstore,'''
其他常用操作
delete(*names)
'''根据name删除redis中的任意数据类型'''
exists(name)
'''检测redis的name是否存在'''
keys(pattern='*')
'''根据* ?等通配符匹配获取redis的name'''
expire(name ,time)
'''为某个name设置超时时间'''
rename(src, dst)
'''重命名'''
move(name, db))
'''将redis的某个值移动到指定的db下'''
randomkey()
'''随机获取一个redis的name(不删除)'''
type(name)
'''获取name对应值的类型'''
管道
redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
pool = redis.ConnectionPool(host='192.168.0.110', port=6379)
r = redis.Redis(connection_pool=pool)
pipe = r.pipeline(transaction=True)
r.set('name', 'zhangsan')
r.set('name', 'lisi')
pipe.execute()
发布和订阅
首先定义一个RedisHelper类,连接Redis,定义频道为monitor,定义发布(publish)及订阅(subscribe)方法。
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import redis
class RedisHelper(object):
def __init__(self):
self.__conn = redis.Redis(host='192.168.0.110',port=6379)#连接Redis
self.channel = 'monitor' #定义名称
def publish(self,msg):#定义发布方法
self.__conn.publish(self.channel,msg)
return True
def subscribe(self):#定义订阅方法
pub = self.__conn.pubsub()
pub.subscribe(self.channel)
pub.parse_response()
return pub
发布者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#发布
from RedisHelper import RedisHelper
obj = RedisHelper()
obj.publish('hello')#发布
订阅者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#订阅
from RedisHelper import RedisHelper
obj = RedisHelper()
redis_sub = obj.subscribe()#调用订阅方法
while True:
msg= redis_sub.parse_response()
print (msg)
主要是为了方便查阅,因为很久不用又忘记,每次查阅太慢成本太高这种事情本来坐起来就应该无脑又高效,好开始。
注:以下将我上面得到的客户端 redis_conn赋值给x,下面x代表python redis客户端。
字符串类型:
In [15]: x.set("foo", 1)
True
In [16]: x.get("foo")
'1'
In [17]: x.set("foo", "today I want to apologize to myself")
True
In [18]: x.get("foo")
'today I want to apologize to myself'
# 因为和python里面的关键字del冲突,所以这里python的客户端redis-py是用了delete替代del作为删除的关键字
In [19]: x.delete("foo")
1
In [20]: x
Redis<ConnectionPool<Connection<host=devdb,port=6379,db=0>>>
In [21]: x.get("foo")
字符串的增删改查的方法都非常简单。特别注意的是,当你调用删除delete方法的时候返回的是操作成功了多少个对象。另外还有一个递增key的值的操作,但是我觉得只要不拿redis当数据库使用基本上很难用上但是这里也介绍一下:
In [27]: x.incr("num")
1
In [28]: x.incr("num")
2
In [29]: x.incr("num")
3
In [30]: x.incr("num")
4
当key num还没有被set的时候直接使用incr函数可以直接将其置为1,然后再调用会依次递增,而且这个操作是原子操作所以不会出现竞态条件。一般可以用来记录一下访问次数打点什么的,速度也比往数据库直接插来得要快。当然字符串还涉及到一套二进制的操作方法,包括get\set方法等,由于不常用所以这里就不记录了,有兴趣可以自己去查一下。
散列类型:
首先直接展示最简单的,设置一个car键的字典为{"price": 400} 然后使用hget方法去得到这个键下面对应的字段的值。
In [44]: x.hset("car", "price", 400)
1L
In [45]: x.hget("car", "price")
'400'
下面要展示判断键和键值是否存在:
# 判断键是否存在
In [47]: x.exists("car")
True
In [48]: x.exists("m")
False
# 判断键值是否存在
In [50]: x.hexists("car", "price")
True
In [51]: x.hexists("car", "name")
False
当字段不存在的时候才赋值:
In [52]: x.hsetnx("car", "name", "hahaha")
1L
In [53]: x.hsetnx("car", "name", "hahaha")
0L
In [54]: x.hsetnx("car", "name", "xixiix")
0L
In [56]: x.hget("car", "name")
'hahaha'
可以看到,当键为car的属性name不存在的时候第一个操作成功了,但是第二次执行同样的操作就失败了。这是因为hsetnx只是当字段不存在的时候才赋值。成功之后返回被影响的条数。当数据存在的时候,使用hsetnx是无法修改值的。
查看某个键下面的全部属性和值可以使用hkeys 和 hval或者使用hlen查看键的属性数量:
In [58]: x.hkeys("car")
['price', 'name']
In [59]: x.hvals("car")
['400', 'hahaha']
In [60]: x.hlen("car")
2
列表类型:
redis的列表实现使用了一个双端链表,所以redis的列表类型支持从左右两边插入数据。由于是双端链表所以不管从哪边插入或者查询的效率跟列表本身多大是没有关系的。
下面演示插入和弹出和索引数据:
In [61]: x.lpush("challenge", 1)
1L
In [62]: x.rpush("challenge", 2)
2L
In [63]: x.lrange("challenge", 0, 20)
['1', '2']
In [64]: x.lpop("challenge")
'1'
In [65]: x.rpop("challenge")
'2'
In [66]: x.lrange("challenge", 0, 20)
[]
这里展示了插入弹出还有索引数组数据需要使用到的方法,其实还有llen,llen方法可以直接拿到该数组有多少个的存在,而且算法时间复杂度是O(1),因为是常量读取,而并不是传统关系数据库一样的需要去计算。
下面单独说说lrange这个命令,也就是操作列表数据读取的命令,除了刚才上面展示的用法,lrange还支持负索引,要是你是python的玩家的话会不会觉得特别亲切?但是这里的负索引并不能逆向列表。下面演示一下:
In [77]: x.lrange("challenge", 0, 20)
['8', '7', '6', '5', '4', '3', '2', '1']
In [81]: x.lrange("challenge", -20, -1)
['8', '7', '6', '5', '4', '3', '2', '1']
另外删除方法有点类似于python里面的remove方法,是查找对应的值删除,而不是索引删除这里要注意而且这个查找在列表大了之后效率会很低:
In [101]: x.lrange("challenge", 0, -1)
['8', '7', '6', '5', '4', '3', '2']
In [102]: x.lrem("challenge", 4)
1L
In [103]: x.lrange("challenge", 0, -1)
['8', '7', '6', '5', '3', '2']
还有一批基于列表索引操作的命令:
In [103]: x.lrange("challenge", 0, -1)
['8', '7', '6', '5', '3', '2']
In [104]: x.lindex("challenge", 1)
'7'
In [105]: x.lindex("challenge", 2)
'6'
In [109]: x.lset("challenge", 1, 22)
True
In [110]: x.lrange("challenge", 0, -1)
['8', '22', '6', '5', '3', '2']
除了这里的索引操作赋值和看对应索引上的值以外,还有几个比较特别一点的操作功能不过也不是太常用 这里介绍一下:
# 只保留这个列表区间里面的值
In [112]: x.ltrim("challenge", 0, 4)
True
In [113]: x.lrange("challenge",0, -1)
['8', '22', '6', '5', '3']
# 列表中插入元素
In [131]: x.lrange("challenge", 0, -1)
['8', '22', '6', '5', '3']
In [132]: x.linsert("challenge", "before", 22, 3)
6
In [133]: x.lrange("challenge", 0, -1)
['8', '3', '22', '6', '5', '3']
这里要注意linsert方法的第三个参数,是查找第一个符合条件的数值并向他的第二个参数(前面或者后面)插入元素。
对string类型;sorted set类型的新增、修改、增加、减少及删除的操作示例
import redis
pool = redis.ConnectionPool(host='192.168.1.1',port=7379,db=0)
r = redis.StrictRedis(connection_pool=pool)
sname='StringTest'
stname='SortedTest'
member='abc'
modify_score=8 #修改值
add_score=1 #增加值
#操作string数据示例
r.set(sname, 123) #设置
print r.get(sname) #获取
r.incr(sname,456) #增加
print r.get(sname)
r.decr(sname,123) #减少
print r.get(sname)
r.delete(sname) #删除
print r.get(sname)
#操作Sorted set数据示例
r.zadd(stname,modify_score,member) #修改
print member,r.zscore(stname, member) #获取
r.zincrby(stname, member, add_score) #增加
print member,r.zscore(stname, member)
r.zrem(stname, member) #删除
print member,r.zscore(stname, member)
执行结果:
>>>
123
579
456
None
abc 8.0
abc 9.0
abc None
更多参考资料
Redis教程(可以查看相关类型操作命令)http://www.runoob.com/redis/redis-tutorial.html