workming的博客_Linux系统管理,系统监控,系统安全

基于Varnish 3.0.4的网站静态加速

Varnish 的一些特点：(1)、是基于内存缓存，重启后数据将消失；(2)、利用虚拟内存方式，I/O 性能好；(3)、支持设置 0~60 秒内的精确缓存时间；(4)、VCL 配置管理比较灵活；(5)、32位机器上缓存文件大小为最大2G；(6)、具有强大的管理功能，例如 top、stat、admin、list 等；(7)、状态机设计巧妙，结构清晰；(8)、利用二叉堆管理缓存文件，达到积极删除目的。

varnish

置顶原创 2013-08-31 22:09:30 6303 阅读 8点赞 5收藏 5评论

OpenResty学习资料收集

1、nginx-lua-module使用https://github.com/iresty/nginx-lua-module-zh-wikihttps://github.com/openresty/lua-nginx-module#readme2、OpenResty最佳实践https://www.gitbook.com/book/moonbingbing/openresty-best-practi

openresy

原创 2016-08-12 15:59:42 10000+阅读 1收藏

Redis源码学习

1、Redis内置数据结构之双向链表listhttp://blog.csdn.net/xiejingfa/article/details/509380282、Redis内置数据结构之字符串sdshttp://blog.csdn.net/xiejingfa/article/details/50972592 3、Redis内置数据结构之字典dicthttp://blog.csdn.net/xiejin

redis

原创 2016-05-20 17:10:39 3991 阅读 2点赞 4收藏

《荒野猎人》影评

如果没有小李子和奥斯卡数十年相爱相杀赚足眼球这件事，《荒野猎人》最大的看点应该是导演亚利桑德罗·冈萨雷斯·伊纳里图和摄影师艾曼努尔·卢贝兹基的再度合作。伊纳里图的电影履历如晴朗夏夜的星空一般漂亮璀璨，执导处女座《爱情是狗娘》一举拿下2000年东京国际电影节最佳影片金麒麟奖和2002年英国电影学院奖最佳影片。并且开创了独具一致的剪辑和叙事风格，算是给电影贴上了自己名字的大写标签。之后他的作品列表里逐

荒野猎人

转载精选 2016-04-03 23:13:07 4746 阅读

Flume日志收集分层架构应用实践

Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：1）模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink；2）组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流管道；3）

flume

转载精选 2016-02-28 14:22:34 4858 阅读 2点赞 4收藏 2评论

Elasticsearch学习 -- 01（2.1.0 版本安装）

1、服务器信息主机名 IP地址内存大小 qc-hermes-es-1 192.1

elasticsearch

原创 2015-12-14 20:40:20 2763 阅读 1点赞 1收藏 1评论

前端nginx时，让后端tomcat记录真实IP

对于nginx+tomcat这种架构，如果后端tomcat配置保持默认，那么tomcat的访问日志里，记录的就是前端nginx的IP地址，而不是真实的访问IP。因此，需要对nginx、tomcat做如下配置：1）nginx配置......proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_hea

tomcat

原创 2015-11-12 11:07:37 4264 阅读 1点赞 2收藏

基于APR模式的Tomcat环境部署

1、版本信息组件名版本号jdk1.8.0_45tomcat8.0.23apr1.5.2apr-iconv1.2.1apr-util1.5.4tomcat-native1.1.33Tomcat的通讯模型总共为3种，分别为BIO、NIO、APR，而本次所采用的模式为APR。3种模式的区别：Java Blocking ConnectorJava Nio Blocking ConnectorAPR/nat

tomcat

原创 2015-11-05 15:12:54 4782 阅读 2点赞 1收藏

采用fpm工具制作rpm包

本次rpm包的制作，采用fpm工具完成，FPM非常易用，此命令可以把rpm包的安装、卸载做得更加优雅，在安装前可以做一些准备工作，安装后可以做一些收尾工作，在卸载前也可以做一些准备，比如检测一下相应的服务是否停止了，在卸载软件再做一些扫尾的工作，只要把这些定义成一个个脚本，fpm中指定相应的选项即可轻松实现。这里涉及的参数是：--pre-install FILE：表示安装之前所要运行的脚本--po

tengine

原创 2015-08-05 22:24:31 4200 阅读 3点赞 2收藏

JVM学习资料收集

JVM实用参数（一）JVM类型以及编译器模式http://ifeve.com/useful-jvm-flags-part-1-jvm-types-and-compiler-modes-2/JVM实用参数（二）参数分类和即时（JIT）编译器诊断http://ifeve.com/useful-jvm-flags-part-2-flag/ JVM实用参数（三）打印所有XX参数及值http://ifeve

jvm

原创 2015-07-24 10:19:37 3268 阅读 1点赞 1收藏 2评论

分布式文件系统（FastDFS+Tengine+fastdfs-nginx-module）

FastDFS介绍FastDFS 服务有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）tracker server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳，T

fastdfs

tengine

分布式文件

原创 2015-05-28 22:45:39 10000+阅读 4点赞 2收藏 4评论

Varnish 4.0.3详细配置

最近在折腾varnish 4.0，话说从3.0到4.0变化挺大的，许多配置做了调整对比Varnish 3.x的主要改进点(1)、完全支持流对象；(2)、可后台获取失效的对象，即Client/backend分离；(3)、新的vanishlog查询语言，允许对请求进行自动分组；(4)、复杂的请求时间戳和字节计数；(5)、安全方面的提升；涉及VCL语法的改变点(1)、vcl配置文件需明确指定版本：即在v

详细配置

varnish

原创 2015-05-21 23:05:11 10000+阅读 5点赞 3收藏

大流量DDoS攻击防护方案探讨

关键词：DDoS 双向异常流量清洗近源协同摘要：随着互联网带宽的增长，DDoS攻击流量越来越大，超过300G的流量型攻击已经开始流行。对于如此大的攻击流量，被攻击客户往往不能独自应对。电信运营商通过在骨干网上部署高性能抗DDoS设备，可以提高抗DDoS大流量攻击的能力，但并非良策。使用主流的抗DDoS设备，并进行近源和近业务主机清洗方式相统一、全网协同的双向

ddos

转载精选 2015-05-10 01:20:24 2233 阅读 2收藏

日志实时分析架构

在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng + rocketmq + storm + redis + 前端展示消息队列部分，我们刚开始采用的是kafka，但 kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数据量也不是很大，已经能够足够支撑，但在rocketmq这层，有时会

日志

flume

实时分析

原创 2015-05-09 18:57:28 7243 阅读 4点赞 1收藏 1评论

千万PV级别WEB站点架构设计2

在上家公司工作时，设计的千万级PV架构，现在放出来，留做纪念：至于架构的具体细节，我就不一一解说了，直接看图吧！

WEB

架构

PV

原创 2015-05-08 01:59:38 4669 阅读 1点赞 2收藏

MongoDB集群部署（副本集模式）

一、需求背景1、现状描述(1)、针对近期出现的mongodb未授权的安全问题，导致mongodb数据会被非法访问。应安全平台部的要求，需要对所有mongodb进行鉴权设置，目前活动侧总共有4台，用于某XX产品；(2)、某XX产品用到4台mongodb，属于2015年机房裁撤的范围；(3)、早期的4台mongodb采用是的M1机型，同时在架构上采取了路由分片的模式。从目前来看，无论是数据量上，还是访

mongodb

集群部署

原创 2015-04-30 02:58:15 10000+阅读 2收藏

文件传输脚本（expect+rsync）

完成此脚本，主要是为了将本地服务器上的文件同步到腾讯云跳板机，然后再中转上传到腾讯云服务器。当然这也只是初步的方案。# vim /data/scripts/put_file.exp#!/usr/bin/expect ######################################################################## # push lo

文件传输

脚本

rsync

原创 2015-04-25 14:26:40 6245 阅读 3收藏

Redis集群初步设计

1、需求背景最近为满足业务推广活动的需求，需要对Redis集群做容灾，刚开始考虑采用最近比较火的开源方案codis。但考虑到可能会有很多坑，暂不推荐使用，作为后期预研方案。我们之前一直在采用Twemproxy做数据分片，也运行得比较稳定，所以本次出于容灾的考虑，我们又引入了Redis Sentinel来做主从切换。但问题又来了，Twemproxy本身不支持平滑重启（也就是所谓的reload）。正常

设计

集群

redis

原创 2015-04-24 23:58:26 3835 阅读 4点赞 1收藏 5评论

使用MySQL-MMM时遇到的一些问题（1）

我们线上DB的高可用部分采用的是官方原版的MySQL-MMM（http://mysql-mmm.org），但在最近几日出现2次写VIP自动切换到了备Master节点上（双Master单写），其实主Master也是正常的，于是就去MySQL-MMM Monitor节点查看了一下日志，# cd /var/log/mysql-mmm# tail -30 mmm_mond.log初步看来是因为存在主从复制

mysql

mysql-mmm

原创 2015-01-13 14:06:05 4740 阅读 3点赞 1收藏 1评论

采用Atlas+Keepalived实现MySQL读写分离、读负载均衡

==========================================================================================一、基础介绍==========================================================================================1、背景描述目前我们的高可用

mysql

atlas

原创 2015-01-10 11:34:51 10000+阅读 23点赞 7收藏 24评论

采用mydumper对MySQL部分数据库进行热备

现有2台DB服务器，分别用于A业务与B业务，其中A业务比较重要，需要对A业务的1个DB（TaeOss）进行热备，大概有40G的数据，并用业务B的DB服务器作为备机，服务器分布如下：10.137.143.151 A业务10.137.143.152 B业务开发那边的要求是：在导出A业务的DB（T

mysql

mydumper

原创 2015-01-09 20:29:12 5948 阅读 2收藏

MySQL数据库迁移详细步骤

==========================================================================================一、背景简介==========================================================================================1、问题描述由于机房搬迁，需

mysql

数据库迁移

原创 2015-01-02 00:40:04 10000+阅读 1点赞 6收藏 2评论

Docker技术学习

貌似Docker这玩意最近挺火，也顺便买了一本《Docker技术入门与实战》，学习学习以下部分是目前收集到的一些学习资料：(1)、Docker 中文社区http://www.dockboard.org/ (2)、史上最全Docker资料集粹http://special.csdncms.csdn.net/BeDocker/ (3)、开源中国的 Docker 优秀文章汇

docker

原创 2014-12-31 23:47:44 2586 阅读 3收藏

自动化运维工具SaltStack详细部署

==========================================================================================一、基础介绍==========================================================================================1、简介SaltStack是

saltstack

原创 2014-12-28 17:30:34 10000+阅读 29点赞 27收藏 19评论

基于Xtrabackup进行MySQL数据库备份

一、Xtrabackup备份恢复原理备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法

xtrabackup

原创 2014-11-28 23:48:18 2247 阅读 1点赞 4收藏 1评论

结合Ansible技术监控Storm集群

1、我的hosts配置# vim /etc/hosts192.168.1.100 storm_zk1 192.168.1.101 storm_zk2 192.168.1.102 storm_zk3 192.168.1.103 storm_nimbus 192.168.1.104&nb

storm

ansible

原创 2014-11-20 01:13:46 8073 阅读 3收藏

自动化运维工具Ansible详细部署

==========================================================================================一、基础介绍==========================================================================================1、简介ansible是新出

ansible

原创 2014-11-20 00:48:40 10000+阅读 81点赞 81收藏 55评论

Flume 1.5.0简单部署试用

================================================================================一、Flume简介================================================================================1、概述Flume 是 Cloudera&

flume

原创 2014-08-30 17:25:34 10000+阅读 2点赞 3收藏 2评论

算法学习与收集

算法可谓计算机程序的灵魂，对于IT人士来说，学习一些算法，可以增强大脑思维活跃度，学会采用数学的方法去分析与解决问题。通过最近学习Redis技术，也顺便搜集了一些常用算法以及算法技术博客，以便随时查阅。。。^_^1、百度经典算法集合排序排序算法：http://baike.baidu.com/view/297739.htm冒泡排序法：http://baike.baidu.com/view

算法

原创 2014-08-16 11:45:47 1731 阅读 1点赞 2收藏

分布式消息队列RocketMQ部署与监控

==========================================================================================一、RocketMQ简介==========================================================================================RocketMQ

rocketmq

分布式消息队列

原创 2014-08-16 01:21:19 10000+阅读 12点赞 8收藏 17评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

人生理想在于坚持不懈

基于Varnish 3.0.4的网站静态加速

OpenResty学习资料收集

Redis源码学习

《荒野猎人》影评

Flume日志收集分层架构应用实践

Elasticsearch学习 -- 01（2.1.0 版本安装）

前端nginx时，让后端tomcat记录真实IP

基于APR模式的Tomcat环境部署

采用fpm工具制作rpm包

JVM学习资料收集

分布式文件系统（FastDFS+Tengine+fastdfs-nginx-module）

Varnish 4.0.3详细配置

大流量DDoS攻击防护方案探讨

日志实时分析架构

千万PV级别WEB站点架构设计2

MongoDB集群部署（副本集模式）

文件传输脚本（expect+rsync）

Redis集群初步设计

使用MySQL-MMM时遇到的一些问题（1）

采用Atlas+Keepalived实现MySQL读写分离、读负载均衡

采用mydumper对MySQL部分数据库进行热备

MySQL数据库迁移详细步骤

Docker技术学习

自动化运维工具SaltStack详细部署

基于Xtrabackup进行MySQL数据库备份

结合Ansible技术监控Storm集群

自动化运维工具Ansible详细部署

Flume 1.5.0简单部署试用

算法学习与收集

分布式消息队列RocketMQ部署与监控