pesen的博客_网络,网络监控,防火墙,容灾,硬件维护,存储,备份,安全,数据恢复,高可用,linux系统杂项,mysql

大型网站系统架构演化之路

前言一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就；不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品

架构

置顶转载精选 2014-09-28 17:04:58 545 阅读

我的友情链接

51CTO博客开发夜的博客fenghao.cn's Softzone!我的soft空间技术成就梦想乐在其钟吟—技术交流

原创 2017-11-22 23:11:07 379 阅读

利用Rsyslog集中收集系统日志和用户操作记录以及相关处理方法

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://cyr520.blog.51cto.com/714067/1214850 相信从事linux服务器运维的筒子们都和我一样，每天都在和各种系统日志、服务日志打交道。这些日志记录了系统或服务每天发生的各种状态。通过观察日志我们可以及时的解决掉

rsyslog

转载精选 2014-12-22 15:37:54 3146 阅读

Percona-mysql-5.5.38双主复制&mmm配置

一、说明解决数据库单mysql主节点的单点故障问题。便于数据库的切换。二、原理从mysql的主从模式延伸而来，两个mysql节点互为主从，可读可写。三、测试环境描述192.168.0.54（db54） &

mmm

mysql

主主复制

原创 2014-12-01 14:08:34 2058 阅读

nginx 的限制连接模块limit_zone与limit_req_zone

nginx 上有两个限制连接的模块一个是 limit_zone 另一个是 limie_req_zone,两个都可以限制连接，但具体有什么不同呢？下面是 nginx 官网上给的解释limit_req_zoneLimit frequency of connections from a client. This module allows you to limit the number of reque

zone

nginx

limit

防刷

原创 2014-09-26 15:00:52 1465 阅读

利用autobench测试web服务器极限并发数

转自：http://zhumeng8337797.blog.163.com/blog/static/10076891420121610439379/一、目的利用autobench工具结合httperf命令对web服务器进行测试，得出该服务器可以承载的最大并发连接数与最佳并发数。二、测试工具工具介绍1、Httperfhttperf 是一款高性能的HTTP测试工具，使用它我们可以准确定位服务器的并发连

autobench httperf 压力

转载精选 2014-09-12 15:47:02 3020 阅读

redis安装部署

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可

redis

转载精选 2014-08-21 19:04:54 779 阅读

添加slave数据库

我们生产环境中会碰到这种情况：备份主机数据，或者添加一台主机。进行双主机的结构。另外就是在线上中途添加更多的从机。而我们知道，从机上设置 slave 时要指定 master_log_file 和 master_log_pos, 即指定binlog文件和偏移值。这也就是说，从机是可以从任意位置的 binlog 文件中进行数据的同步。比如：我们将 binlog 文件备份到其它某处放置，某天，数

mysql

master

slave

转载精选 2014-08-04 16:20:32 595 阅读

20140509-svn安装 post-commit(钩子)部署

1说明SVN采用post-commit方式（钩子文件）实现版本自动发布。2实现方法2.1SVN部署安装：# yum install httpd httpd-devel mysql-server php php-devel php-mysql subversion mod_dav_svn mod_auth_mysql -y修改配置：# vim /etc/httpd/conf/httpd.conf

svn

钩子

post-commit

原创 2014-05-13 18:45:22 1386 阅读

systemtap基础安装

为部署systemtap，除了systemtap安装包，还需要-devel,-debuginfo和-debuginfo-common包；如果系统有多个内核，必须为每个版本内核各安装-devel和-debuginfo包；安装systemtap需要systemtap和systemtap-runtime安装包yum install systemtap systemtap-runtime安装相关内核包sy

stap

转载精选 2014-05-12 15:40:12 1545 阅读

修改linux打开文件数

有时候在程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：重启就OK修改2个文件。1./etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 65535* hard nofile 655352./etc/pam.

ulimit 打开文件数

转载精选 2014-04-18 10:48:57 713 阅读

CLOSED_WAIT & TIME_WAIT

最近维护的业务量与日俱增，服务器不断出现各种问题。今天遇到了在开启 MySQL pconnect 情况下 TCP CLOSE_WAIT 连接状态激增的情况。CLOSE_WAIT 高达 8000 左右。先来看看 TCP 协议是如何关闭一个连接的：STEP 1: Client –FIN–> ServerSTEP 2: Client <--ACK-- Server此时 Client 处于FI

coled_wait time_wait

转载精选 2014-03-28 16:55:44 931 阅读

zabbix通过IPMI监控硬件环境（温度和风扇）

通过IPMItools达到收集数据的目的，然后通过与zabbix的结合实现数据统计和报警。1.IPMI的配置：1.1介绍IPMI（Intelligent PlatformManagement Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。用户可以利用 IPMI 监视服务器的物理特征，如温度、电压、电扇工作状态、电源供应以及机箱入侵等。Ipmi 最大的优势在于

硬件

监控

zabbix

IPMI

原创 2013-08-27 20:56:43 10000+阅读 5点赞 2收藏 10评论

驾驭你的“职场布朗运动”

转自：http://yunli.blog.51cto.com/831344/1049286 在我的博客空间内，不时会有在校学生就职业发展和学习方面的内容向我寻求帮助。同学们由于初入社会没有行业经验，加上在校所学内容又广（但不深），所以在择业方面很容易产生困惑。在择业观上，他们希望找到一个将来有前途的行业，也希望在“是选择大公司还是小公司”这类问题上有人给予参考

职业

转载精选 2013-04-28 16:10:33 604 阅读

网卡驱动升级[CentOS 5.5 X86_64和RHEL 5.6 X86_64]

系统：CentOS 5.5 X86_64、RHEL 5.6 X86_64 硬件：Dell R610、R710、R720 通过升级系统自带网卡驱动程序到最新版本，可以解决当网卡流量过大时，出现掉包、断网现象。升级步骤： 1.查看当前网卡类型 # /sbin/lspci |grep Ethernet 02:00.0 Ethernet controller: Broadcom Co

网卡驱动

转载精选 2013-04-02 11:28:09 880 阅读

rsync服务的使用

这次我把rsync服务使用在了web前端网站的提测、测试和更新方面。先介绍流程和配置。1. 前提网站上线流程太过原始：前端研发提测，邮件将提测文件打包给测试--->测试手动上传文件到测试环境，测试通过后把提测包邮件发送给运维--->运维进行线上更新，也需要手动更新文件这个过程太繁琐，太漫长，即使把上线操作自动化，但是对于前段研发和测试来说，也是可以把人逼疯的流程。尤其是在测试任务大的

rsync

rsync服务

rsync服务使用

原创推荐 2013-03-08 00:04:48 1859 阅读 1点赞 1评论

用webbench测试网站负载

1.webbench webbench最多可以模拟3万个并发连接去测试网站的负载能力，感觉比Apache自带的ab测试工具好，安装使用也特别方便。 1.1 下载安装 wget http://home.tiscali.cz/cz210552/distfiles/webbench-1.5.tar.gz tar xzvf webbench-1.5

测试

web

压力

bench

原创推荐 2013-02-25 14:15:18 1073 阅读 1点赞 2评论

linux高并发应用类型对系统内核的优化

操作系统内核参数优化 net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_syncookies = 1 net.core.somaxconn

linux

内核参数

高并发

原创 2013-02-22 14:30:24 1727 阅读

haproxy配置文件详解

转自http://itnihao.blog.51cto.com/1741976/915537 haproxy配置文件详解写在前面的话，本文档部分信息来自网络，同时参考过官方的架构指南，在此非常感谢zero提供的文档，以及在学习haproxy过程中的帮助。 #/usr/local/sbin/haproxy -f /etc/hap

配置

haproxy

转载精选 2013-02-21 17:05:30 568 阅读

解决TIME_WAIT过多问题

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' LAST_ACK 14 SYN_RECV 348 ESTABLISHED 70 FIN_WAIT1 229 FIN_WAIT2 30 CLOSING 33 TIME_WAIT 18122 状态：描述

内核参数

TIME_WAIT

转载精选 2013-01-22 19:32:17 1172 阅读

fstab详解

可能玩Linux的朋友都知道fstab这个文件，如果要用好linux，熟悉linux的一些核心配置文件是必要的，而fstab则是其中之一。这个文件描述系统中各种文件系统的信息，应用程序读取这个文件，然后根据其内容进行自动挂载的工作。因此，我们需要理解其中的内容，了解它如何与 mount命令配合工作，并能够针对自己的情况进行修改。作为系统配置文件，fstab通常都位于/etc目

fstab

转载精选 2013-01-09 14:57:46 2938 阅读

vsftp认证之pam_mysql

vsftpd分为3种用户，分别为匿名用户、系统用户和虚拟用户；虚拟用户通常指的就是非系统用户，登录ftp时需要提供用户帐号和密码，而帐号和密码存放在何处决定用户是否为系统用户，通常系统用户是通过pam_unix.so模块查找/etc/passwd和/etc/shadow中的帐号和密码来认证用户的，通过/etc/pam.d/system-au

ftp

认证

vsftp

pam_mysql

转载精选 2012-11-08 14:45:22 666 阅读

详解zabbix中文版安装部署

转自：http://baiying.blog.51cto.com/1068039/609990 一、zabbix简介（摘自百度百科） zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zab

安装

中文版

zabbix

转载精选 2012-11-01 17:45:43 1064 阅读

nginx+resin的多实例配置

一、需求架构： nginx+resin Nginx的ip： 192.168.1.1 域名：user.test.com 应用部署的服务器ip： 192.168.1.2 192.168.1.3 应用部署的路径： /var/htdocs/test 建立log文件存储位置的软连接，该软连接指向服务器中硬盘空间最大的挂载点下。二、操作步骤 2.1 由于域名解析生效时间

resin

nginx

多实例

原创 2012-10-16 16:46:59 3292 阅读

linux添加中文支持

需求：开发在测试即将要上线的新产品时，发现jboss生成的内容不能显示中文，中文字符都用小方块代替了。然后开发找到了我们运维，寻求帮助。思路分析： jboss生成的内容不能正常显示中文，可能存在两个问题：一、jdk版本不支持中文；二、系统不支持中文。经过查看发现，服务器上这两个问题都存在。解决步骤：首先在系统内安装中文支持包： wget ftp://ftp

CentOS

中文字体

中文支持

原创 2012-09-27 18:13:52 1210 阅读

OMSA系统信号集问题

问题发现：在nagios监控页面发现对OMSA的信息收集出现问题，登陆到有问题的系统上，发现系统日志信息如下： Sep 26 11:10:48 localhost Server Administrator (Shared Library): Data Engine EventID: 0 A semaphore set has to be created but the system

OMSA

原创 2012-09-26 11:43:58 4351 阅读

备份与还原---bacula安装与配置

一、环境描述两台测试机，都是CentOS 5.8 x64的系统。 Director+Storage+Consle：192.168.144.80 Client:192.168.144.113 Bacula软件版本：bacula-5.2.1（目前最高版本是5.2.10）二、下载与安装 1、下载最新版bacula-5.2.10 wget http://sour

安装

配置

还原

bacula

原创 2012-09-10 16:15:53 1450 阅读

备份与还原---bacula简介

一、bacula是什么 bacula是一款开源的跨平台网络备份工具，它提供了基于企业级的客户端/服务器的备份恢复解决方案，通过它，系统管理人员可以对数据进行备份、恢复，以及完整性验证等操作，同时，它还提供了许多高级存储管理功能，使系统管理人员能够很容易发现并恢复丢失的或已经损坏的文件。 bacula既有Windows版本的，也有Linux和UNIX版本的。二、 bacula

备份

简介

还原

bacula

转载 2012-09-10 12:04:59 1416 阅读

文件同步---GlusterFS3.3.0

GlusterFS分布式集群文件系统 1、目的说明：搭建测试环境，测试GlusterFS的类似网络RAID1相关功能和参数。实现实时备份，切换和故障恢复功能。 2、设备：虚拟机两台 10.1.1.39、10.1.1.40，虚拟配置相同：2G 的单独硬盘挂在到/data目录，512M内存。 3、系统：CentOS release 5.8 (Final) 4、软件安装： 4.

文件同步

原创 2012-08-09 10:31:49 2200 阅读

双向自动文件同步--unison

目的说明：测试两台设备文件之间的同步。设备：虚拟机两台 10.1.1.39、10.1.1.40。系统：CentOS release 5.6 (Final) 软件： ocaml-4.00.0 下载链接： http://caml.inria.fr/pub/distrib/ocaml-4.00/ocaml-4.00.0.tar.

备份

同步

实时

双向

unison

原创 2012-07-31 17:10:28 1723 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

运维之道