java pig 集成redis

目录

• 简介

• 安装步骤

• 五大数据类型

• key（键 非五大数据类型之一）
• String
• List
• Set
• Hash
• zset

• java操作redis
• 事务

• 悲观锁与乐观锁
• 常用指令：

• 持久化

• RDB
• AOF
• 二者比较

• 主从复制

• 一主二从
• 薪火相传
• 反客为主
• 哨兵模式

• 集群
• 集群的Jedis开发

简介

Redis是一个开源的，使用C语言编写的一个缓存数据库。他的数据是存储在内存中的（当然也可以持久化存储），所以操作效率比较高。Redis会周期性的把数据写入磁盘中，基于此实现了主从复制。

安装步骤

1. 下载获得redis-3.2.5.tar.gz后将它放入我们的Linux目录/opt
2. 解压命令:tar -zxvf redis-3.2.5.tar.gz
3. 解压完成后进入目录:cd redis-3.2.5
4. 在redis-3.2.5目录下执行make命令
5. 执行完make后，可跳过Redis test步骤，直接执行 make install

五大数据类型

key（键 非五大数据类型之一）

常用操作：

操作	功能
keys *	查看当前库的所有键
exists <key>	判断某个键是否存在
type <key>	查看键的类型
del <key>	删除某个键
expire <key> <seconds>	为键值设置过期时间，单位秒
ttl <key>	查看还有多久过期,-1表示永不过期,-2表示已过期
dbsize	查看当前数据库中key的数量
flushdb	清空当前库
Flushall	通杀全部库

String

是Redis中最基本的类型，一个key对应一个value，一个字符串的最大长度是512M。
常用操作：

操作	功能
get <key>	查询对应键值
set <key> <value>	添加键值对
append <key> <value>	将给定的<value>追加到原值的末尾
strlen <key>	获取值的长度
senx <key> <value>	只有在key 不存在时设置key的值
incr <key>	将key中存储的数字值增1 只能对数字值操作，如果为空，新增值为1
decr <key>	将key中存储的数字值减1 只能对数字之操作，如果为空,新增值为-1
incrby /decrby <key> 步长	将key中存储的数字值增减，自定义步长
mset <key1> <value1> <key2> <value2>	同时设置一个或多个key-value对
mget <key1> <key2> <key3>	同时获取一个或多个value
msetnx <key1> <value1> <key2> <value2>	同时设置一个或多个key-value对，当且仅当所有给定的key都不存在
getrange <key> <起始位置> <结束位置>	获得值的范围,类似java中的substring
setrange <key> <起始位置> <value>	用<value>覆盖<key>所存储的字符串值，从<起始位置>开始
setex <key> <过期时间> <value>	设置键值的同时，设置过去时间，单位秒
getset <key> <value>	以新换旧,设置了新值的同时获取旧值

List

一个键有多个值，是有序的（插入的顺序） 可以重复
它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差
是Redis中最基本的类型，一个key对应一个value，一个字符串的最大长度是512M。
常用操作：

操作	功能
lpush/rpush <key> <value1> <value2>	从左边/右边插入一个或多个值。
lpop/rpop <key>	从左边/右边吐出一个值。值在键在，值光键亡。
rpoplpush <key1> <key2>	从<key1>列表右边吐出一个值，插到<key2>列表左边
lrange <key> <start> <stop>	按照索引下标获得元素(从左到右)
lindex <key> <index>	按照索引下标获得元素(从左到右)
llen <key>	获得列表长度
linsert <key> before <value> <newvalue>	在<value>的后面插入<newvalue> 插入值
lrem <key> <n> <value>	从左边删除n个value(从左到右)

Set

与List类似，只不过是无序的 并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的
它底层其实是一个value为null的hash表,所以添加，删除，查找的复杂度都是O(1)。
常用操作：

操作	功能
sadd <key> <value1> <value2> …	将一个或多个 member 元素加入到集合 key 当中，已经存在于集合的 member 元素将被忽略。
smembers <key>	取出该集合的所有值。
sismember <key> <value>	判断集合<key>是否为含有该<value>值，有返回1，没有返回0
scard <key>	返回该集合的元素个数。
srem <key> <value1> <value2> …	删除集合中的某个元素。
spop <key>	随机从该集合中吐出一个值。
srandmember <key> <n>	机从该集合中取出n个值。不会从集合中删除
sinter <key1> <key2>	返回两个集合的交集元素。
sunion <key1> <key2>	返回两个集合的并集元素。
sdiff <key1> <key2>	返回两个集合的差集元素。

Hash

是一个键值对的组合，键不可以重复，重复添加该键的值会被覆盖
常用操作：

操作	功能
hset <key> <field> <value>	给<key>集合中的 <field>键赋值<value>
hget <key1> <field>	从<key1>集合<field> 取出 value
hmset <key1> <field1> <value1> <field2> <value2>…	批量设置hash的值
hexists key <field>	查看哈希表 key 中，给定域 field 是否存在。
hkeys <key>	列出该hash集合的所有field
hvals <key>	列出该hash集合的所有value
hincrby <key> <field> <increment>	为哈希表 key 中的域 field 的值加上增量 increment
hsetnx <key> <field> <value>	将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在
hgetall	获取所有的键值对

zset

没有重复的，关联一个评分，可以根据这个评分来对元素进行排序
常用操作：

操作	功能
zadd <key> <score1> <value1> <score2> <value2>…	将一个或多个 member 元素及其 score 值加入到有序集 key 当中
zrange <key> <start> <stop> [WITHSCORES]	返回有序集 key 中，下标在<start> <stop>之间的元素带WITHSCORES，可以让分数一起和值返回到结果集。
zrangebyscore key min max [withscores] [limit offset count]	返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
zrevrangebyscore key max min [withscores] [limit offset count]	同上，改为从大到小排列。
zincrby <key> <increment> <value>	为元素的score加上增量
zrem <key> <value>	删除该集合下，指定值的元素
zcount <key> <min> <max>	统计该集合，分数区间内的元素个数
zrank <key> <value>	返回该值在集合中的排名，从0开始。

java操作redis

1.导入jar包
Commons-pool-1.6.jar
Jedis-2.1.0.jar
2.

public class Demo01 {
  public static void main(String[] args) {
    //连接本地的 Redis 服务
    Jedis jedis = new Jedis("127.0.0.1",6379);
    //查看服务是否运行，打出pong表示OK
    System.out.println("connection is OK==========>: "+jedis.ping());
  }
}

事务

redis中的事务是执行一系列的操作，只要有一条指令执行失败整个事务就会失败。

悲观锁与乐观锁

悲观锁：顾名思义就是很悲观，在访问数据的时候生怕别人会修改，所以就加上一个锁，这样其他线程就不能访问这个数据，连获取都获取不了。
乐观锁：顾明司仪就很乐观，他认为在它访问数据的时候别的数据不会对这个数据进行修改，只有在更新数据的时候才会判断一下自己操作的期间，这个数据有没有发生变化。这里有一个版本号机制，刚开始有一个版本号，如果数据发生的变化版本号就变了，只有自己的版本号和要访问数据的版本号一致才可以进行访问。

常用指令：

Multi：开始一个事务
Exec：执行一个事务
discard：取消一个事务
WATCH key [key …]：监视一个key，只要该key的值发生的改变，那么就会打断事务。

持久化

redis中提供了两种持久化方式，一种是rdb，一种是aof

RDB

rdb方式的默认备份文件名称是dump.rdb，可以在配置文件中更改保存的策略，默认的策略是60秒内修改10000次、300秒内修改10次、900秒内修改1次就会自动保存，也可以使用save vs bgsave命令自动保存。这种方式，redis会单独fork一个子进程来专门备份文件。
把备份文件放到工作目录下，然后再启动redis就会直接加载备份数据。

AOF

以日志的形式来记录每个写操作，将所有指令记录下来，在数据恢复时将这些指令从头到尾执行一遍。
这种备份方式默认不开启，需要在配置文件中手动配置，默认的备份文件名称为appendonly.aof 。
可以在配置文件中设置同步频率，可以设置始终同步（每次写操作都会进行写入日志操作）、每秒同步（每一秒同步一次）。
当文件过大时，redis会fork出一个子进程来对同步文件进行重写，根据数据库的内容来一条一条的重新生成一个aof文件。

二者比较

当两个都启动的时候，redis默认为aof方式。

方式	优点	缺点
RDB	节省磁盘空间； 恢复速度快	虽然使用了写时拷贝技术，但是在数据庞大是比较消耗性能； 只能隔一定时间做一次备份，会丢失最后一次快照后的更改
AOF	因为是一条一条指令执行的，所以数据丢失概率比较低； 可以通过操作日志文件来处理误操作	比RDB方式更占用内存空间； 备份恢复速度慢； 存在bug，生成的aof文件不能恢复

主从复制

将主数据库收到的数据自动同步到从从数据库中，实现读写分离，主数据库可读可写，从数据库只能读。从服务器会向主服务器发出SYNC指令，当主服务器接到此命令后，就会调用BGSAVE指令来创建一个子进程专门进行数据持久化工作。主机立刻进行存盘操作，发送RDB文件，给从机，从机收到RDB文件后，进行全盘加载。主从复制减轻的是io的压力
常用命令：
info replication：打印主从复制的信息
slaveof ：设置当前服务器为某一个服务器的从服务器。

一主二从

一主二从就是一个主服务器两个从服务器。

若某一个从服务器下线了再上线将从头同步主服务器的数据，并且不是主服务器的从服务器需要从新配置从服务器才行。

主机下线以后从机仍然是从，主机再次上线之后主机仍然是主机，不需要配置。

薪火相传

薪火相传模式就是从机是下一个从机的主机，这样可以避免一个主机down机之后整个都不能用，去中心化降低风险，

同时风险是只要有一个宕机后面的就都无法备份。

反客为主

当某一个主机宕机之后后面的从机可以通过 slaveof no one 指令将从机状态变成主机状态。

哨兵模式

就是反客为主的自动版，可以设置多个哨兵来检测主机是否宕机，如果指定数量（自己设置）的哨兵都认为主机宕机，那么就会把其中一个从机变为主。

选择从机的条件：

1、选择优先级靠前的

2、选择偏移量最大的

3、选择runid最小的从服务

集群

主从复制减轻的是io的压力，集群减轻的是内存的压力。
配置了集群以后就实现了对redis的扩容，用户输入的数据会分步存储在N个节点之中。
一个集群至少需要三个子节点。
选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个。
redis-cli客户端提供了 –c 参数实现自动重定向。如 redis-cli -c –p 6379 登入后，再录入、查询键值对可以自动重定向。
不在一个slot下的键值，是不能使用mget,mset等多键操作。
主节点下线以后从节点会自动生成主节点。主节点恢复后会变成子节点，不会恢复成主节点。
若某一个节点的主从节点都宕机那个整个redis就不能继续提供服务。

常用指令：

CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。

集群的Jedis开发

public class JedisClusterTest {

  public static void main(String[] args) {
 
     Set<HostAndPort> set =new HashSet<HostAndPort>();
     set.add(new HostAndPort("192.168.31.211",6379));
     JedisCluster jedisCluster=new JedisCluster(set);

     jedisCluster.set("k1", "v1");
     System.out.println(jedisCluster.get("k1"));
  }

}