randy_shandong的博客_分布式架构演练

Spring Data Redis 2 之消息订阅

Spring Data Redis是spring提供了操作Redis键值存储集成方案。简单回顾下<Spring Data Redis 管理Redis 之1> 内容抽象出RedisConnection ，RedisConnectionFactory概念，集成了4个redis客户端提供的RedisTemplate，是一个高层次操作视图主要提供操作视图，主要包括两大类目：*Operation

spring

data

redis

原创 2017-01-07 19:58:00 7959 阅读

Spring Data Redis 管理Redis 之1

redis是一款非常流行的Nosql,提供的功能非常强大，本节不再赘述。本文简单介绍Spring Data框架提供的spring_data_redis模块，所提供的强大功能。虽然，spring_data_redis不具体负责与redis通信，但提供了丰富的外围功能。主要包含以下内容搭建测试环境序列工具认识RedisConnectionFactory&RedisTemplate1.搭建测试环

spring

data

redis

原创精选 2017-01-04 23:18:38 10000+阅读 1收藏

redis应用场景(2)日志记录及指标统计

使用redis存储业务信息，同时也可以存储系统运维信息，比如日志和计数器来收集系统当前的状态信息，挖掘正在使用系统的顾客信息，以及诊断系统问题，发现潜在的问题。当然，系统日志信息及统计信息也可以存储在关系型数据库中，但是存在一个很大的弊端，影响业务性能。1.使用redis记录日志熟悉java的朋友，记录日志往往采用的是log4j,sl4j，大多记录载体选择文本文件。如果使用web集群的话，造成日志

其他

redis

原创精选 2016-09-16 14:01:41 10000+阅读

redis应用场景(1)一个文字投票网站

构建一个文章投票网站，一般具备下面几个功能发布文章文章投票评分（按投票多少进行评分）文章排序（按发布时间，按评分高低）文章分组（如专题）...1.关系型数据库设计其中用户，组两个表简单化处理了。业务实现起来也相当简单。不再赘述。重点是如何使用redis实现类似的业务逻辑。由于redis是基于key-value管理，属于列式数据库。和关系型数据库实现方式差异较大，值得研究。redis的设计，最重要的

设计

redis

原创 2016-09-15 23:04:33 2964 阅读

redis演练(10) redis Cluster 集群节点维护

通过《redis演练(9)》演练，借助自带的redis-trib.rb工具，可“秒出”一个6节点的主从集群；还可以阅读服务器的响应；还演练了下自动failover效果。接上回继续演练。本文演练内容涵盖以下内容。为6节点集群环境，添加新节点删除新增的新节点集群间迁移1.添加新节点#环境清理 [root@hadoop2 create-cluster]# ./create-clust

集群

redis

原创 2016-09-14 21:52:58 3478 阅读 1收藏

redis演练(9) redis Cluster 集群快速部署&failover情况

<redis演练(8) redis Cluster 集群环境安装>,简单阐述了如何安装redis集群环境。集群环境，主要包括2部分。 1.配置每个节点的配置信息(redis.conf),尤其开启cluster2.创建集群redis-trib.rb创建集群。过程非常简单，但非常繁琐，尤其配置各个集群节点的配置信息，如果有一定数量，工作量也不小。没关系，redis提供了一款cluster工

cluster

redis

原创 2016-09-12 22:29:39 5296 阅读

redis演练聚集

redis演练(1) 搭建redis服务redis演练(2) 最全redis命令列表redis演练(3) redis事务管理redis演练(4) redis基准测试 redis演练(5) redis持久化redis演练(6) redis主从模式搭建redis运维命令及参数整理redis演练(7) redis Sentinel实现故障转移redis演练(8) redis Clust

redis

置顶原创 2016-09-11 09:27:25 1404 阅读 2收藏

个人memcached演练内容聚集(共11)

memcached演练(1) 搭建memcached服务memcached演练(2) 访问memcached服务单台tomcat的session信息的2种持久化方式 memcached演练(3) 使用apache+搭建双节点tomcat集群memcached演练(4) 使用apache

其他

memcached

置顶原创 2016-09-11 09:24:40 1432 阅读

redis演练(8) redis Cluster 集群环境安装

redis是个分布式缓存，与传统数据库最大的优势，在于它的“分布式”上。分布式的优势：容易实现容量的扩展数据的均等分布很好的高可用性redis 和memcached是分布式缓存的两款流行方案，他们之间的对比redismemcached主从功能Replication 支持主备自动切换本身不支持，可以通过客户端自己实现键值一致性哈希槽一致性哈希集群服务端支持（但是beta版） unstable由客户端

cluster

redis

原创 2016-09-10 21:54:49 3147 阅读 1收藏

redis演练(7) redis Sentinel实现故障转移

书接上文<redis演练(6) redis主从模式搭建>.<redis演练(6) redis主从模式搭建>中仅仅配置了redis主从环境。分别配置了2个主从结构。分别是1.有向无环，2星型模型。配置起来非常简单。但是，遗留了一个尾巴，没有阐述。如果master宕掉了怎么办？redis如何实现fail-over故障转移？本文，就重点说一下这块。主要内容手动实现fail-ove

redis

sentinel

原创 2016-09-07 22:26:51 7467 阅读

redis运维命令及参数整理

redis作为一个服务，和普通的oracle，mysql服务器运维维护和系统调优是一样的。关注内存，CPU,网络IO，阻塞等。由于不会涉及复杂的SQL业务逻辑，缺少SQL调优这一块。1.通过INFO命令，要清楚了解服务器的现状。参照：http://redisdoc.com/server/info.htmlsectionserver 记录了 Redis 服务器的信息clients记录了已连接客户端的

info

redis

原创 2016-09-04 11:16:02 10000+阅读

redis演练(6) redis主从模式搭建

redis是一款面向分布式的Nosql产品，天生对主备模式有很好的支持，而且配置一套完整的主备模式，非常简单。针对redis，主备模式配置非常简单，但线上意义重大。主要内容1.CAP理论2.简单redis的复制原理3.redis replaction相关配置参数解析4.配置星型模型主备模式5.配置有向无欢模型主备模式1.研磨redis的复制与集群概念redis的复制与集群，刚开始我把两者闹了个误会

replication

redis

原创 2016-09-03 22:19:26 3339 阅读 1收藏

redis演练(5) redis持久化

何谓持久化，就是媳妇让你，持久一些。说白了持久化：就是将内存中的数据保存到磁盘上的过程（数据库也算磁盘的特殊表现），以保证宕机或断电后，可以继续访问。java中常见的持久化框架，如Hibernate,ibatis,jdbc都是持久化实现方式的一种，当然普通文件保存功能也算。拿memcached来说，memcached保存的信息，没有进行持久化，所以只能存活一个进程生命期，下次重新启动，数据全部丢失

持久化

redis

原创精选 2016-09-03 12:02:57 1207 阅读 2收藏

Nginx演练(4)配置内容缓存

Web资源，指的是（如html页面，图片，js，数据等）。一个完整的网页，往往需要访问很多的资源，才能顺利完成，而请求每个资源的都需要耗费时间和带宽。缓存提到了资源的复用率，意义重大。Web缓存的作用使用Web缓存的作用其实是非常显而易见的：减少网络带宽消耗无论对于网站运营者或者用户，带宽都代表着金钱，过多的带宽消耗，只会便宜了网络运营商。当Web缓存副本被使用时，只会产生极小的网络流量，可以有效

proxy

cache

nginx

原创精选 2016-09-02 10:49:31 1379 阅读 1点赞 2收藏

redis演练(4) redis基准测试

redis自带一个很好的基准测试工具，记录一下测试效果，欢迎拍砖。我发现一个奇怪的情况，一些关于开源工具的博客，很少描述当时主机的一些情况，没有主机部分数据的记录，是有些不太完整的。环境介绍1.redis服务器（虚拟机，IP:192.168.163.156）1M内存20G硬盘Linux操作系统2.redis 客户端（虚拟机，IP:192.168.163.146）1M内存20G硬盘3.监控 zabb

其他

redis

原创 2016-09-01 23:02:00 1514 阅读 1点赞 2评论

Nginx演练(3)配置内容压缩

如果对HTTP熟悉的话，对request-response请求过程应该很熟悉。比如访问“www.jd.com"，一个完整页面的访问，往往会经过很多次的HTTP请求共同完成，这中间会涉及到浏览器并发数。具体片段如图客户端请求的资源内容有多种，jpg,css,js,html等。不同文件类型，对应不同MIME_TYPE。每个文件都要通过网络传输到客户端，才能被浏览器渲染，进而展现给用户。想必大家都有给朋

zip

nginx

原创推荐 2016-08-31 10:29:26 2227 阅读 4点赞 1收藏 2评论

redis演练(3) redis事务管理

redis vs memcached。redis与memcached对比，redis不仅适合做缓存，而且可以做存储，这就有点数据库的影子了。说到数据库，事务是一个很重要的一个方面。数据库事务（简称：事务）是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。一个数据库事务通常包含了一个序列的对数据库的读/写操作。它的存在包含有以下两个目的：1.为数据库操作序列提供了一个从失败中

其他

redis

原创 2016-08-29 22:43:37 4349 阅读 1收藏

Nginx演练(2)配置日志访问

在互联网企业中，日志分析是特别重要的一个模块。通过对日志的分析，可以获得网站的一些指标信息，和网站访问情况。另外，日志对于统计排错来说非常有利的。nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。日志相关的配置参数1.access_log

日志

nginx

原创精选 2016-08-29 15:52:38 839 阅读

redis演练(2) 最全redis命令列表

官方The full list of commands官方在线交互学习工具Redis命令参考简体中文版Redis-cli命令最新总结Redis 命令参考（官方中文翻译）Redis命令简明示例下面列表是本人通过程序搜集的help命令整理的聚合列表，希望为redis填把火。COMMANDsummarysincegroupDEL key [key ...] Delete a ke

redis

原创 2016-08-28 20:53:12 1795 阅读 3收藏

redis演练(1) 搭建redis服务

Redis VS Memcached通过对比学习，可以加深理解组件的特性。下面两段文字，摘自各自的官方文档。http://www.redis.io/http://memcached.org/Redis官方简介Redis is an open source (BSD licensed), in-memory data structure store, used as database, cache

redis

原创 2016-08-28 18:31:15 1126 阅读 3收藏

Nginx演练(1)配置虚拟主机

Nginx是一款比较流行Web服务器，和Apache,Lighttpd,IIS属于同类产品。对比而言，Nginx从性能和内存占用方面，都非常优秀，具体对比细节自行百度.三大WEB服务器对比分析（apache ,lighttpd,nginx）本文演练的主要内容是：使用Nginx，实现基于IP的虚拟主机使

虚拟主机

nginx

原创精选 2016-08-24 15:28:56 904 阅读 2点赞 3收藏

(番外篇)spymemcached源码分析

memcached是款优秀的分布式缓存工具。spymemcached的底层实现NIO.从众多招聘网站，看出NIO是众多公司的硬性要求了。研究下spymemcached源码，对开发工程师提高自身NIO功底是非常不错的实践。1.剖析MemcachedConnection 对象 1.1类图 MemcachedConnection -是spymemc

spymemcached

原创精选 2016-08-18 17:42:10 3665 阅读

memcached演练(6) 高可用实例HA（伪集群方案）

本系列文章<memcached的演练>,这是第6篇，前面文章，已经阐述了，memcached的安装，访问，session管理，存储管理。从本篇开始，就分开有几篇演练下memcached的高可用相关。memcached的安全，承载着后台数据库的巨大访问，意义重大。简单介绍下HA的梗概，如果时间允许尽量都演练下个方案，然后横向比较下各方案的优缺点。本篇主要内容伪集群方案的测试明确memca

tomcat

session

集群

cluster

memcached

原创精选 2016-08-16 22:43:26 2536 阅读 1收藏

memcached演练(5) 内存管理

memcached 是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态 Web 应用的速度、提高可扩展性。很显然，弄清楚它的内存存储，很有必要。还是那句话，不需要兜书包了，把自己整理的相关memcached内存管理方面的框架图分享一下。个人喜欢把内存管理，分为3个学习单元。如何分配内存？如何回收内存？如何监控内存？当然，本文的主要演练重点也有了

tomcat

session

memcached

原创精选 2016-08-14 15:01:09 1208 阅读 1点赞 2收藏

memcached演练(4) 使用apache+memcached-session-manager+tomcat集群（续）

memcached演练(4) 使用apache+memcached-session-manager+tomcat集群，存在一些问题。问题列表问题1：2个tomcat节点，apache,memcached服务器均放在一个虚拟机，不能真正模拟真实环境。问题2：不能整整模拟分布式环境。本文，重新设计下物理结构。沿用《memcached演练(4) 使用apache+memcached-session-ma

tomcat

session

memcached

原创 2016-08-13 17:27:30 1113 阅读

memcached演练(4) 使用apache+memcached-session-manager+tomcat集群

继续《memcached演练(3) 使用apache+搭建双节点tomcat集群》,已经简单完成了双节点tomcat集群的搭建。本章在原来集群的基础上，测试session相关内容。主要内容测试apache+mod_jk+2个tomcat集群环境,session管理情况搭建apache+mod_jk+2个tomcat+memcached-session-manager集群环境测试2个环境的吞吐量1

tomcat

session

memcached

原创 2016-08-13 13:43:17 1513 阅读

memcached演练(3) 使用apache+搭建双节点tomcat集群

上篇文章，已经明确了tomcat集群的必要性，主要从高可用和高并发量考虑。一般使用tomcat集群搭建，都要使用前置设一个nginx或apache作个反向代理，将请求转发给后端tomcat。使用tomcat集群，必然会引来session数据共享问题。如何解决这个问题？可借助memcached实现。本章主要搭建一个tomcat双节点集群，算“准备”篇吧。主要内容测试单台tomcat的吞吐率搭建apa

session

集群

cluster

memcached

原创精选 2016-08-12 23:29:19 2563 阅读 2收藏

（apache+tomcat集群+memcached番外篇）单台tomcat的session信息的2种持久化方式

为什么要实现搭建tomcat集群环境呢？主要因为单个tomcat无论从吞吐量和并发数上，会达到一定的极限。如果访问量超过单个tomcat的承受能力的话，tomcat一般要么拒绝提供服务，要么直接宕掉。所以，必须要依靠tomcat集群技术。举个最简单的例子，拿“送快件”比喻，如果一个人，5分钟送一件，一小时之内，送10个，一个人完全能胜任这项工作。假设现在到了双十一，要求1小时，送100个，那怎么办

tomcat

session

原创精选 2016-08-11 07:30:51 1833 阅读 3收藏

memcached演练(2) 访问memcached服务

通过上节《memcached演练(1) 搭建memcached服务》，已经成功在linux虚拟机上安装了memcached服务，并设置了自启动。STAT version 1.4.29 Mem: 1891主要内容使用telnet命令行工具，操作memcached服

架构

分布式

memcached

原创精选 2016-08-07 20:11:53 1626 阅读

memcached演练(1) 搭建memcached服务

memcached已经火了好多年了，现在网上关于memcached的资源相当多了，我就不浪费话语了。干脆写一个实战系列，坚持一切用实施说话。环境介绍Linux虚拟机内核信息[root@hadoop1 ~]# uname -aLinux hadoop1 2.6.32-358.el6.i686内存：1G安装过程1.准备编译环境，安装必须的gcc，make工具，如果没有安装yum，最好安装下。网上有很多

架构

分布式

演练

原创精选 2016-08-06 23:14:18 2113 阅读 3收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

简单