为什么要把REDIS已经持久化的数据还要插入MySQL呢,原因就不说了.....相信大神各有见解.....

首先来了解基础信息:

一一般来说,消息队列有两种场景:一种是发布者订阅者模式;一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现,定义:

  • 生产者消费者模式:生产者生产消息放到队列里,多个消费者同时监听队列,谁先抢到消息谁就会从队列中取走消息;即对于每个消息只能被最多一个消费者拥有。(常用于处理高并发写操作)

  • 发布者订阅者模式:发布者生产消息放到队列里,多个监听队列的消费者都会收到同一份消息;即正常情况下每个消费者收到的消息应该都是一样的。(常用来作为日志收集中一份原始数据对多个应用场景)简单实现redis数据实时插入MySQL过程_redis

    该方式借助redis的list结构实现的,aa调用redis的lpush/rpush往特定key里塞入消息,Consumer调用brpop(阻塞方法)去不断监听该key。(aa为后面代码使用的key)

  • ###list实现的原则是FIFO

二、实现阻塞队列的原理

    

  • redis中有一个blpop、brpop的命令,阻塞的从列表(list)中取数据,当列表为空,则阻塞知道取到数据或超时。

  • blpop命令后面参数中可以跟多个list的key,内部是按照顺序进行访问的,基于这个原理可以实现高优先级队列。

三、简单实战过程

    ##最好安装一个PYCHARM的编程小工具,实用简单实现redis数据实时插入MySQL过程_简单实现_02

    实战要求:一台redis服务器、一个DB实例即可、一个简单的python脚本、一个简单验证

LET 'S GO.....简单实现redis数据实时插入MySQL过程_redis简单实现redis数据实时插入MySQL过程_redis

1、redis服务器(精简操作)

    a、测试环境直接用yum安装即可使用:yum -y  install redis

    b、登录redis命令为:redis-cli

简单实现redis数据实时插入MySQL过程_数据_05

c、具体更多操作请度娘去

2、MySQL安装(略),

    a、安装好后,添加库和表,后面的脚本会用到。

    b、事例库表为

简单实现redis数据实时插入MySQL过程_简单实现_06

Create Table: CREATE TABLE `redis_data` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `id_type` varchar(20) DEFAULT NULL,

  `name` varchar(20) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=latin1

3、一个简单的PYTHON脚本:

#!/usr/bin/env python
#_*_ coding:utf-8 _*_
import redis
import time
import json
import MySQLdb
import MySQLdb
pool=redis.ConnectionPool(host='192.168.60.21',port=6379,db=0)
r=redis.StrictRedis(connection_pool=pool)
#key='_'.join(["gamelog_queue",str(date),str(log),str(cmd),str(response),str(sname),str(uid)])
while True:
    aa=r.brpop("aa",0)

    if aa == None:
        continue

    #print "list brpop:",aa
    bb=aa[0]
    cc=aa[1]
    #print type(bb),cc
    value=[bb,cc]
    #print value
    try:
        dbcon = MySQLdb.connect(host='192.168.9.63', user='dlan', port=3306, passwd='root123', db='suo', charset='utf8')
        db_cursor = dbcon.cursor()
        db_insert="insert into redis_test.redis_data values(null,%s,%s)"
        db_cursor.execute(db_insert,value)
        db_cursor.execute('commit')
    except MySQLdb.Error, e:
        print "error%s", e
    1、从redis写数据:lpush aa redis_mysql_python
    2、可以从PyCharm查看,可以把#号去掉,就可以显示
    3、到数据库查看