List存储
链表:存储非紧密摆放 修改新增方便 查询性能稍慢
封装的List存储的redis类:
/// <summary> /// Redis list的实现为一个双向链表,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销, /// Redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。 /// </summary> public class RedisListService : RedisBase { #region 赋值 /// <summary> /// 从左侧向list中添加值 /// </summary> public void LPush(string key, string value) { base.iClient.PushItemToList(key, value); } /// <summary> /// 从左侧向list中添加值,并设置过期时间 /// </summary> public void LPush(string key, string value, DateTime dt) { base.iClient.PushItemToList(key, value); base.iClient.ExpireEntryAt(key, dt); } /// <summary> /// 从左侧向list中添加值,设置过期时间 /// </summary> public void LPush(string key, string value, TimeSpan sp) { base.iClient.PushItemToList(key, value); base.iClient.ExpireEntryIn(key, sp); } /// <summary> /// 从右侧向list中添加值 /// </summary> public void RPush(string key, string value) { base.iClient.PrependItemToList(key, value); } /// <summary> /// 从右侧向list中添加值,并设置过期时间 /// </summary> public void RPush(string key, string value, DateTime dt) { base.iClient.PrependItemToList(key, value); base.iClient.ExpireEntryAt(key, dt); } /// <summary> /// 从右侧向list中添加值,并设置过期时间 /// </summary> public void RPush(string key, string value, TimeSpan sp) { base.iClient.PrependItemToList(key, value); base.iClient.ExpireEntryIn(key, sp); } /// <summary> /// 添加key/value /// </summary> public void Add(string key, string value) { base.iClient.AddItemToList(key, value); } /// <summary> /// 添加key/value ,并设置过期时间 /// </summary> public void Add(string key, string value, DateTime dt) { base.iClient.AddItemToList(key, value); base.iClient.ExpireEntryAt(key, dt); } /// <summary> /// 添加key/value。并添加过期时间 /// </summary> public void Add(string key, string value, TimeSpan sp) { base.iClient.AddItemToList(key, value); base.iClient.ExpireEntryIn(key, sp); } /// <summary> /// 为key添加多个值 /// </summary> public void Add(string key, List<string> values) { base.iClient.AddRangeToList(key, values); } /// <summary> /// 为key添加多个值,并设置过期时间 /// </summary> public void Add(string key, List<string> values, DateTime dt) { base.iClient.AddRangeToList(key, values); base.iClient.ExpireEntryAt(key, dt); } /// <summary> /// 为key添加多个值,并设置过期时间 /// </summary> public void Add(string key, List<string> values, TimeSpan sp) { base.iClient.AddRangeToList(key, values); base.iClient.ExpireEntryIn(key, sp); } #endregion #region 获取值 /// <summary> /// 获取list中key包含的数据数量 /// </summary> public long Count(string key) { return base.iClient.GetListCount(key); } /// <summary> /// 获取key包含的所有数据集合 /// </summary> public List<string> Get(string key) { return base.iClient.GetAllItemsFromList(key); } /// <summary> /// 获取key中下标为star到end的值集合 /// </summary> public List<string> Get(string key, int star, int end) { return base.iClient.GetRangeFromList(key, star, end); } #endregion #region 阻塞命令 /// <summary> /// 阻塞命令:从list为key的尾部移除一个值,并返回移除的值,阻塞时间为sp /// </summary> public string BlockingPopItemFromList(string key, TimeSpan? sp) { return base.iClient.BlockingPopItemFromList(key, sp); } /// <summary> /// 阻塞命令:从多个list中尾部移除一个值,并返回移除的值&key,阻塞时间为sp /// </summary> public ItemRef BlockingPopItemFromLists(string[] keys, TimeSpan? sp) { return base.iClient.BlockingPopItemFromLists(keys, sp); } /// <summary> /// 阻塞命令:从list中keys的尾部移除一个值,并返回移除的值,阻塞时间为sp /// </summary> public string BlockingDequeueItemFromList(string key, TimeSpan? sp) { return base.iClient.BlockingDequeueItemFromList(key, sp); } /// <summary> /// 阻塞命令:从多个list中尾部移除一个值,并返回移除的值&key,阻塞时间为sp /// </summary> public ItemRef BlockingDequeueItemFromLists(string[] keys, TimeSpan? sp) { return base.iClient.BlockingDequeueItemFromLists(keys, sp); } /// <summary> /// 阻塞命令:从list中一个fromkey的尾部移除一个值,添加到另外一个tokey的头部,并返回移除的值,阻塞时间为sp /// </summary> public string BlockingPopAndPushItemBetweenLists(string fromkey, string tokey, TimeSpan? sp) { return base.iClient.BlockingPopAndPushItemBetweenLists(fromkey, tokey, sp); } #endregion #region 删除 /// <summary> /// 从尾部移除数据,返回移除的数据 /// </summary> public string PopItemFromList(string key) { var sa = base.iClient.CreateSubscription(); return base.iClient.PopItemFromList(key); } /// <summary> /// 从尾部移除数据,返回移除的数据 /// </summary> public string DequeueItemFromList(string key) { return base.iClient.DequeueItemFromList(key); } /// <summary> /// 移除list中,key/value,与参数相同的值,并返回移除的数量 /// </summary> public long RemoveItemFromList(string key, string value) { return base.iClient.RemoveItemFromList(key, value); } /// <summary> /// 从list的尾部移除一个数据,返回移除的数据 /// </summary> public string RemoveEndFromList(string key) { return base.iClient.RemoveEndFromList(key); } /// <summary> /// 从list的头部移除一个数据,返回移除的值 /// </summary> public string RemoveStartFromList(string key) { return base.iClient.RemoveStartFromList(key); } #endregion #region 其它 /// <summary> /// 从一个list的尾部移除一个数据,添加到另外一个list的头部,并返回移动的值 /// </summary> public string PopAndPushItemBetweenLists(string fromKey, string toKey) { return base.iClient.PopAndPushItemBetweenLists(fromKey, toKey); } /// <summary> /// 清理数据,保持list长度 /// </summary> /// <param name="key"></param> /// <param name="start">起点</param> /// <param name="end">终结点</param> public void TrimList(string key, int start, int end) { base.iClient.TrimList(key, start, end); } #endregion #region 发布订阅 public void Publish(string channel, string message) { base.iClient.PublishMessage(channel, message);//取消订阅 } public void Subscribe(string channel, Action<string, string, IRedisSubscription> actionOnMessage) { var subscription = base.iClient.CreateSubscription(); subscription.OnSubscribe = c => { Console.WriteLine($"订阅频道{c}"); Console.WriteLine(); }; //取消订阅 subscription.OnUnSubscribe = c => { Console.WriteLine($"取消订阅 {c}"); Console.WriteLine(); }; subscription.OnMessage += (c, s) => { actionOnMessage(c, s, subscription); }; Console.WriteLine($"开始启动监听 {channel}"); subscription.SubscribeToChannels(channel); //blocking } public void UnSubscribeFromChannels(string channel) { var subscription = base.iClient.CreateSubscription(); subscription.UnSubscribeFromChannels(channel); } #endregion }
下面我们进行一些简单的api的调用展示:
using (RedisListService service = new RedisListService()) { service.FlushAll(); service.Add("article", "Richard1234"); service.Add("article", "kevin"); service.Add("article", "大叔"); service.Add("article", "C卡"); service.Add("article", "触不到的线"); service.Add("article", "程序错误"); service.FlushAll(); service.LPush("article", "Richard1234");//头部插入 service.LPush("article", "kevin"); service.LPush("article", "大叔"); service.LPush("article", "C卡"); service.LPush("article", "触不到的线"); service.LPush("article", "程序错误"); service.FlushAll(); service.RPush("article", "Richard1234");//尾部插入 service.RPush("article", "kevin"); service.RPush("article", "大叔"); service.RPush("article", "C卡"); service.RPush("article", "触不到的线"); service.RPush("article", "程序错误"); var result11 = service.Get("article"); //获取索引0到3的数据,包括0,3 注意list存储中没有索引,这里的索引是经过内部处理之后给外界显示的。 var result2 = service.Get("article", 0, 3); //限制article中数据最大有多少 service.TrimList("article", 0, 3); service.FlushAll(); ////队列:生产者消费者模型 service.Add("article", "Richard1234"); service.Add("article", "kevin"); service.Add("article", "大叔"); service.Add("article", "C卡"); service.Add("article", "触不到的线"); service.Add("article", "程序错误"); for (int i = 0; i < 5; i++) { //PopItemFromList 从尾部移除数据,每次移除一个 Console.WriteLine(service.PopItemFromList("article")); var result1 = service.Get("article"); } }
这是redis可视化工具看到的具体数据:
ServiceStack程序集中有一个GetRangeFromList(string listId, int startingFrom, int endingAt)方法,根据这个方法可以实现分页。比如说知乎,每天都有几万条问答的数据进入到平台,如果我每次都去数据里去查询;数据库肯定是扛不住,可以通过List 来存储。将key存储一个文章的id(可以是数据库中的主键),value存储Id_标题,首页获取最新的数据,我就可以通过前20条数据,至于详情就可以根据主键到数据库中查询,减少数据库压力。
消息队列
它的List存储天生支持消息队列。
一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现。
定义:
生产者消费者模式:生产者生产消息放到队列里,多个消费者同时监听队列,谁先抢到消息谁就会从队列中取走消息;即对于每个消息只能被最多一个消费者拥有。
发布者订阅者模式:发布者生产消息放到队列里,多个监听队列的消费者都会收到同一份消息;即正常情况下每个消费者收到的消息应该都是一样的。
生产者消费者模式
一个进程在向Redis写入数据,可以来多个进程在Redis 里面去获取数据;
生产者进程:
#region 生产者消费者 //一个进程在向Redis写入数据 //可以来多个进程在Redis 里面去获取数据; using (RedisListService service = new RedisListService()) { service.FlushAll(); List<string> stringList = new List<string>(); for (int i = 0; i < 10; i++) { stringList.Add(string.Format($"放入任务{i}")); } service.Add("test", "task1 这是一个学生Add1"); service.Add("test", "task1 这是一个学生Add2"); service.Add("test", "task1 这是一个学生Add3"); service.LPush("test", "task1 这是一个学生LPush1"); service.LPush("test", "task1 这是一个学生LPush2"); service.LPush("test", "task1 这是一个学生LPush3"); service.LPush("test", "task1 这是一个学生LPush4"); service.LPush("test", "task1 这是一个学生LPush5"); service.LPush("test", "task1 这是一个学生LPush6"); service.RPush("test", "task1 这是一个学生RPush1"); service.RPush("test", "task1 这是一个学生RPush2"); service.RPush("test", "task1 这是一个学生RPush3"); service.RPush("test", "task1 这是一个学生RPush4"); service.RPush("test", "task1 这是一个学生RPush5"); service.RPush("test", "task1 这是一个学生RPush6"); service.Add("test", "task2 这是一个学生Add1"); service.Add("test", "task2 这是一个学生Add2"); service.Add("test", "task2 这是一个学生Add3"); service.LPush("test", "task2 这是一个学生LPush1"); service.LPush("test", "task2 这是一个学生LPush2"); service.LPush("test", "task2 这是一个学生LPush3"); service.LPush("test", "task2 这是一个学生LPush4"); service.LPush("test", "task2 这是一个学生LPush5"); service.LPush("test", "task2 这是一个学生LPush6"); service.RPush("test", "task2 这是一个学生RPush1"); service.RPush("test", "task2 这是一个学生RPush2"); service.RPush("test", "task2 这是一个学生RPush3"); service.RPush("test", "task2 这是一个学生RPush4"); service.RPush("test", "task2 这是一个学生RPush5"); service.RPush("test", "task2 这是一个学生RPush6"); service.Add("test", "这是一个学生Add1"); service.Add("test", "这是一个学生Add2"); service.Add("test", "这是一个学生Add3"); service.LPush("test", "这是一个学生LPush1"); service.LPush("test", "这是一个学生LPush2"); service.LPush("test", "这是一个学生LPush3"); service.LPush("test", "这是一个学生LPush4"); service.LPush("test", "这是一个学生LPush5"); service.LPush("test", "这是一个学生LPush6"); service.RPush("test", "这是一个学生RPush1"); service.RPush("test", "这是一个学生RPush2"); service.RPush("test", "这是一个学生RPush3"); service.RPush("test", "这是一个学生RPush4"); service.RPush("test", "这是一个学生RPush5"); service.RPush("test", "这是一个学生RPush6"); service.Add("task", stringList); Console.WriteLine(service.Count("test")); Console.WriteLine(service.Count("task")); var list = service.Get("test"); list = service.Get("task", 2, 4); Action act = new Action(() => { while (true) { Console.WriteLine("************请输入数据**************"); string testTask = Console.ReadLine(); service.LPush("test", testTask); } }); //EndInvoke等待异步完成 act.EndInvoke(act.BeginInvoke(null, null)); } #endregion
消费者:
public class ServiceStackProcessor { public static void Show() { string path = AppDomain.CurrentDomain.BaseDirectory; string tag = path.Split('/', '\\').Last(s => !string.IsNullOrEmpty(s)); Console.WriteLine($"这里是 {tag} 启动了。。"); using (RedisListService service = new RedisListService()) { Action act = new Action(() => { while (true) { //阻塞命令:从多个list中尾部移除一个值,并返回移除的值&key,阻塞时间为sp var result = service.BlockingPopItemFromLists(new string[] { "test", "task" }, TimeSpan.FromHours(3)); Thread.Sleep(100); Console.WriteLine($"这里是 {tag} 队列获取的消息 {result.Id} {result.Item}"); } }); act.EndInvoke(act.BeginInvoke(null, null)); } } }
我们开启多个消费者进程,其中2个显示如下:
类似于12306买票系统或者美团买票,如果是高峰期,你买票是肯定不会立即就能买到,可能需要你等待一段时间,用户将买票信息申请传到服务器,服务器将信息存到队列中,然后会有多个专门的进程来处理队列中的数据。
通过这种方式可以实现下面的优点
1.可以控制并发数量
2.以前要求立马处理完,现在可以在一个时段完成
比如说等待一段时间,服务器处理完成之后会告诉用户。
3.失败还能重试
比如说消息队列中的这个任务失败了,我们可以重新将这个任务加入到消息队列中再次进行处理。
4.流量削峰,降低高峰期的压力
因为有多个服务器来处理消息队列中的任务,所以降低压力
5.高可用
比如说处理消息队列中服务器中存在某几个崩溃了,或者需要升级,对真正的服务器是没什么影响的,问题处理完成之后再接着处理消息队列中的任务就行,用户实际不会感受到问题。
6.可扩展
缺点:
不能立即处理、即时性不高;事务问题
发布者订阅者模式
比如微信公众号之类的关注系统
订阅了对应的频道之后可以接收到这个频道发布的所有信息
#region 发布订阅:观察者,一个数据源,多个接受者,只要订阅了就可以收到的,能被多个数据源共享 这里的是用多个线程代表多个进程订阅, Task.Run(() => { using (RedisListService service = new RedisListService()) {
//这个线程订阅Richard频道 service.Subscribe("Richard", (c, message, iRedisSubscription) => { Console.WriteLine($"注册{1}{c}:{message},Dosomething else"); //如果传的消息是exit,那么就取消订阅 if (message.Equals("exit")) iRedisSubscription.UnSubscribeFromChannels("Richard"); });//blocking } }); Task.Run(() => { using (RedisListService service = new RedisListService()) { service.Subscribe("Richard", (c, message, iRedisSubscription) => { Console.WriteLine($"注册{2}{c}:{message},Dosomething else"); if (message.Equals("exit")) iRedisSubscription.UnSubscribeFromChannels("Richard"); });//blocking } }); Task.Run(() => { using (RedisListService service = new RedisListService()) { service.Subscribe("Twelve", (c, message, iRedisSubscription) => { Console.WriteLine($"注册{3}{c}:{message},Dosomething else"); if (message.Equals("exit")) iRedisSubscription.UnSubscribeFromChannels("Twelve"); });//blocking } }); using (RedisListService service = new RedisListService()) { Thread.Sleep(1000); service.Publish("Richard", "Richard123"); service.Publish("Richard", "Richard234"); service.Publish("Richard", "Richard345"); service.Publish("Richard", "Richard456"); service.Publish("Twelve", "Twelve123"); service.Publish("Twelve", "Twelve234"); service.Publish("Twelve", "Twelve345"); service.Publish("Twelve", "Twelve456"); Console.WriteLine("**********************************************"); service.Publish("Richard", "exit"); service.Publish("Richard", "123Richard"); service.Publish("Richard", "234Richard"); service.Publish("Richard", "345Richard"); service.Publish("Richard", "456Richard"); service.Publish("Twelve", "exit"); service.Publish("Twelve", "123Twelve"); service.Publish("Twelve", "234Twelve"); service.Publish("Twelve", "345Twelve"); service.Publish("Twelve", "456Twelve"); } #endregion