高负载高并发服务器开发参考

[转]高负载高并发应用 参考资料索引

//z 2011-05-21 9:13:15@is2120
1．Linux 集群

http://www.ibm.com/developerworks/cn/linux/theme/cluster.html

2．Linux 集群大全 -- 哪种群集适合您？

http://www.ibm.com/developerworks/cn/linux/cluster/lw-clustering.html

3．基于 linux 的集群系统

* 基于 linux 的集群系统，第 1 部分：集群系统概述

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part1/

* 基于 linux 的集群系统，第 2 部分：典型集群系统介绍之一

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part2/index.html

* 基于 linux 的集群系统，第 3 部分：典型集群系统介绍之二

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part3/index.html

* 基于 linux 的集群系统，第 4 部分：典型系统小结及评测标准

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part4/index.html

* 基于 linux 的集群系统，第 5 部分：关键技术分析之 进程的放置和迁移

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part5/index.html

* 基于 linux 的集群系统，第 6 部分：关键技术分析之 高可用性

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part6/index.html

* 基于 linux 的集群系统，第 7 部分：关键技术分析之文件系统

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part7/index.html

* 基于 linux 的集群系统，第 8 部分：实现过程之理论先导篇(1)

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part8/index.html

* 基于 linux 的集群系统，第 9 部分：实现过程之理论先导篇(2)

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part9/index.html

* 基于 linux 的集群系统，第 10 部分：实现过程之理论先导篇(3)

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part10/index.html

* 基于 linux 的集群系统，第 11 部分：Linux集群系统的实现（上）

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part11/index1.html

* 基于 linux 的集群系统，第 12 部分：Linux集群系统的实现（下）

http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part11/index2.html

4.Linux 集群系统大比拼

http://www.linuxeden.com/html/solution/20010806/19967.html

5.如何架构高性价比的分布式计算机集群

http://os.51cto.com/art/200512/15042.htm

6.专题：负载均衡技术基础专题

http://sysapp.51cto.com/art/200702/39422.htm

http://os.51cto.com/art/200512/15073.htm

7．Linux 高性能计算集群//z 2011-05-21 9:13:15@is2120

* Linux 高性能计算集群，第 1 部分：概述

http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part1/index.html

* Linux 高性能计算集群，第 2 部分：Beowulf 集群

http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part2/index.html

* Linux 高性能计算集群，第 3 部分：硬件和网络体系结构

http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part3/index.html

* Linux 高性能计算集群，第 4 部分：软件体系结构

http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part4/index.html

* Linux 高性能计算集群，第 5 部分：资源管理和系统管理

http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part5/index.html

8．集群系统 MOSIX 分析

* 集群系统 MOSIX 分析，第 1 部分：集群技术和进程迁移简介

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part1/index.html

* 集群系统 MOSIX 分析，第 2 部分： MOSIX 系统简介

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part2/index.html

* 集群系统 MOSIX 分析，第 3 部分： MOSIX 代理远程机制

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part3/index.html

* 集群系统 MOSIX 分析，第 4 部分： MOSIX 连接层

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part4/index.html

* 集群系统 MOSIX 分析，第 5 部分： MOSIX 进程迁移机制

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part5/index.html

* 集群系统 MOSIX 分析，第 6 部分： MOSIX 对系统调用的处理

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part6/index.html

* 集群系统 MOSIX 分析，第 7 部分： MOSIX 对信号机制的处理

http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part7/index.html

* 使用 Mosix 的 Linux 集群

http://www.ibm.com/developerworks/cn/views/linux/tutorials.jsp?cv_doc_id=84921

openmosix
1.[原创]架设基于Fedora的openmosix集群

http://linux.chinaunix.net/bbs/viewthread.php?tid=216438

2. 建立开放的高性能集群--OpenMOSIX集群的优势

http://www.wosowoso.com/f/it/2007/9/079272115434519.html

3.openMosix Project.

http://openmosix.sourceforge.net/

<!--[if !supportLists]-->1.1.3. < !--[endif]-->IBM Linux集群方案
如何构建基于 IBM® System x®(TM)和 IBM® TotalStorage® systems 的 Linux® 集群

* 安装大型 Linux 集群，第 1 部分： 简介和硬件配置

http://www.ibm.com/developerworks/cn/linux/es-linuxclusterintro/index.html

* 安装大型 Linux 集群，第 2 部分： 配置管理服务器和安装节点

http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt2/index.html

* 安装大型 Linux 集群，第 3 部分： 存储和共享文件系统

http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt3/index.html

* 安装大型 Linux 集群，第 4 部分： 节点安装和 GPFS 集群配置

http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt4/index.html

LVS
1. Linux服务器集群系统(一) -- LVS项目介绍

http://www.linuxvirtualserver.org/zh/lvs1.html

2. Linux服务器集群系统（二） -- LVS集群的体系结构

http://www.linuxvirtualserver.org/zh/lvs2.html

3. Linux服务器集群系统(三)--LVS集群中的IP负载均衡技术

http://www.linuxvirtualserver.org/zh/lvs3.html

4. Linux服务器集群系统(四) -- LVS集群的负载调度

http://www.linuxvirtualserver.org/zh/lvs4.html

5.用LVS构架负载均衡Linux集群系统

http://leftleg.hzpub.com/post/614_1_1.htm

6.架构 LVS 系统相关软件介绍

http://leftleg.hzpub.com/post/615.htm

7.linux lvs 的DR 模式CENTOS 4.4 三台linux 的http负载均衡安装步骤

http://leftleg.hzpub.com/post/612.htm

8.LVS配置学习笔记

https://forum.eviloctal.com/read.php?tid=19544

9.LVS集群学习笔记（NAT/DR/IP tunnel）详解

http://tech.ddvip.com/2007-07/118426264629306.html

10.LVS ipvsadm命令参考

http://www.linuxdby.com/html/test/20070411/470.html

Beowulf
Linux High Availability
普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等

Freebsd Cluster

1.LAM/MPI CLuster System With FreeBSD 5.3

http://www.3800hk.com/Article/os/FreeBSD/yyjsbsd/2006-09-06/Article_118085.html

2.Building a High-performance Computing Cluster Using FreeBSD

http://people.freebsd.org/~brooks/papers/bsdcon2003/fbsdcluster/

3.使用FreeBSD构建HPC群集

http://bbs.chinaunix.net/thread-974921-1-1.html

GFS
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

GFS 的入门必读

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

以下为入门必看

- GFS 的介绍 http://www.redhat.com/solutions/gfs/

- RedHat杂志关于GFS的最佳实践 http://www.redhat.com/magazine/009jul05/features/gfs_practices/

- RedHat杂志关于GFS和以太网和SAN光纤存储网的介绍 http://www.redhat.com/magazine/008jun05/features/gfs/

- RedHat杂志关于企业如何用GFS来存储数据的介绍http://www.redhat.com/magazine/009jul05/features/gfs_overview/

- RedHat杂志关于用GFS来做数据共享的介绍http://www.redhat.com/magazine/006apr05/features/gfs/

- RedHat杂志关于RHCS集群的介绍http://www.redhat.com/magazine/009jul05/features/cluster/

- RedHat 官方的GFS 概述文档 http://www.redhat.com/whitepapers/rha/gfs/GFS_INS0032US.pdf

- RedHat 关于GFS扩展性的介绍 http://www.redhat.com/solutions/scaleout/

- RedHat和HP提供的 HP MC/SG + GFS的方案介绍 http://www.redhat.com/promo/hp_serviceguard/ (注意右侧的多个连接所指向的文档)

- GFS 6.1U3版本的Release notes http://www.redhat.com/docs/manua ... HEL4U3-relnotes.txt

- GFS 6.1U2版本的Release notes http://www.redhat.com/docs/manua ... HEL4U2-relnotes.txt

- GFS 6.1的Release notes http://www.redhat.com/docs/manua ... FS_6_1-relnotes.txt

- GFS 6.1的Admin Guide http://www.redhat.com/docs/manuals/csgfs/browse/rh-gfs-en/

- 本版 suran007 同学提供的 "GFS6.1 ON RHAS4 U2安装文档" http://bbs.chinaunix.net/viewthr ... & extra=page%3D1

- 本版 发起的"关于多台web服务器挂载GFS系统" 的讨论 http://bbs.chinaunix.net/viewthr ... 4&highlight=GFS

- LinuxVirtualServer 站点上网友hosyp 2006-02-15 发表的 "集群LVS+GFS+ISCSI+TOMCAT" http://zh.linuxvirtualserver.org/node/100

- RedHat杂志关于企业如何用GFS来存储数据的介绍06年8月更新版http://www.redhat.com/magazine/021jul06/features/gfs_update/

- gb8007同学发起的关于安装GFS过程中kernel版本和GFS版本的冲突问题http://bbs.chinaunix.net/viewthr ... & extra=page%3D1

- jeepmac同学发起的关于"自己规划了一个GFS＋iSCSI集群方案" http://bbs.chinaunix.net/viewthr ... & extra=page%3D1

- 重点推荐, RedHat GFS 综合介绍Web 录像 http://www.redhat.com/f/swf/gfs/

- zhangning_1999同学贡献的"用VMWARE安装配置GFS（使用DLM方法）" 原创http://bbs.chinaunix.net/viewthr ... & extra=page%3D1

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

GFS 软件介绍

- RedHat GFS 的版权许可介绍

* RedHat GFS 是一个遵守GPL 开放源代码的集群文件系统

* RedHat出售GFS软件及收费的技术服务

* 用户可以选择购从RedHat购买包含技术支持服务的GFS软件

* 也可以直接从RedHat官方的服务器上下载rpm格式的源代码包，修改并自由使用(见下面连接)

* 可以直接从RedHat CVS服务器 checkout GFS源代码(普通source file+directory).

* 用户也可以通过centOS组织提供的服务器，下载已经编译成二进制可运行的GFS或源代码(见下面连接)

- RedHat 官方提供的 GFS软件的下载 ftp://ftp.redhat.com/pub/redhat/linux/enterprise/4/en/RHGFS

- CentOS 组织提供的 GFS软件的下载 v4 6.1 http://mirror.centos.org/centos/4/csgfs/

- CentOS 组织提供的 GFS软件的下载 v3 6.0 http://mirror.centos.org/centos/3/csgfs/

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

GFS 进阶应用

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

- RedHat杂志关于GFS和NFS性能和扩展性比较的介绍http://www.redhat.com/magazine/008jun05/features/gfs_nfs/

- RedHat杂志关于GFS支持Oracle RAC集群的介绍http://www.redhat.com/magazine/009jul05/features/gfs_oracle/

- Google 可以使用的搜索关键字举例 "RedHat GFS Global file system filetype:pdf"

- RedHat官方GFS 知识库 http://kbase.redhat.com/faq/topten_78_0.shtm

- RedHat 2006年峰会的GFS和集群相关的演讲稿 http://www.redhat.com/promo/summit/presentations/cns.htm

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

GFS 讨论社区

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.

- RedHat 官方的邮件列表 https://www.redhat.com/mailman/listinfo/linux-cluster

- 本版 http://bbs.chinaunix.net/forumdisplay.php?fid=74&page=1

本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文

网络I/O
epoll
1. linux 2.6内核epoll用法举例说明

2.linux 2.6内核epoll用法举例说明(续)

3.Linux 2.6内核中提高网络I/O性能的新方法epoll

4.Linux2.6内核epoll 网络编程

5.EPOLL为我们带来了什么

6.epoll实现的net_echo程序

7.epoll简介

8.epoll精髓

9.epoll 相对于poll的优点

10.Linux网络编程一步一步学-epoll同时处理海量连接的代码

11.epoll原理及使用方法

12.Improving (network) I/O performance

http://www.xmailserver.org/linux-patches/nio-improve.html

13.The C10K problem

http://www.kegel.com/c10k.html

14.epoll模型的使用及其描述符耗尽问题的探讨

http://www.chinaunix.net/jh/23/813588.html

15.线程池 + epoll 简单的实现

http://www.chinaunix.net/jh/23/937379.html

kqueue
1. FreeBSD系统编程--kqueue
http://www.chinaunix.net/jh/89/699989.html
(6.4 kqueue)

2. Kqueue: A generic and scalable event notification facility
http://portal.acm.org/citation.cfm?id=715764
http://people.freebsd.org/~jlemon/papers/kqueue.pdf

3. kqueue man page
http://www.hmug.org/man/2/kqueue.php
<!--[if !supportLists]-->2.3. <!--[endif]-->Event Completion
solaris

http://developers.sun.com/solaris/articles/event_completion.html

内存池
Apache内存池内幕(1)

Apache内存池内幕(2)

Apache内存池内幕(3)

内核内存池管理技术实现分析

[代码]内存池操作的模板类

young library 的轻量级内存池设计与实现
http://bbs.zdnet.com.cn/thread-97416-1-1.html
自定义内存池性能优化的原理
http://www.chineselinuxuniversity.net/articles/7761.shtml
<!--[if !supportLists]-->4. <!--[endif]-->mmo 服务器

网易“云峰”
1.我写的MMORPG服务器端的设计

2.游戏服务器组间的通讯

http://blog.codingnow.com/2007/07/server_communication.html#comments

3.游戏服务器内的组播

http://blog.codingnow.com/2007/03/multicast.html#comments

4.游戏服务器处理多个连接入口的方案

http://blog.codingnow.com/2007/03/multi_entry.html#comments

5.多服务器的用户身份认证方案

http://blog.codingnow.com/2007/02/user_authenticate.html#comments

6.利用 Cache 减少传输的数据量

http://blog.codingnow.com/2006/03/auoa_cache_oeueaeaeea.html#comments

7.模型顶点数据的压缩

http://blog.codingnow.com/2007/07/mesh_compress.html#comments

8.数据服务器的设计

http://blog.codingnow.com/2006/10/data_server_design.html#comments

9.多进程的游戏服务器设计

http://blog.codingnow.com/2006/10/multi_process_design.html#comments

10.服务器消息的广播

http://blog.codingnow.com/2006/10/aoi.html#comments

11.心跳服务器

http://blog.codingnow.com/2006/09/heartbeat_server.html#comments

12.目前我们的游戏服务器逻辑层设计草案

http://blog.codingnow.com/2006/09/rpc.html#comments

13.IOCP , kqueue , epoll ... 有多重要？

http://blog.codingnow.com/2006/04/iocp_kqueue_epoll.html#comments

<!--[if !supportLists]-->4.2. < !--[endif]-->其它
14.游戏服务器技术交流

http://bbs.gameres.com/showthread.asp?threadid=93775

15.MMORPG游戏服务器端的设计

http://games.enet.com.cn/article/A17020050831001_0.html

16.大型在线系统实现的关键(上篇)（再谈QQ游戏百万人在线的技术实现）

17.大型在线系统实现的关键(下篇)（服务器集群架构的设计与选择）

18.今天改了架构设计

http://tsrmtrue.blog.163.com/blog/static/3188399200763183752184/

经典讨论贴

1. 关于分布式系统共享session数据的方式的问题

http://groups.google.com/group/dev4server/browse_thread/thread/22b9bc5fe38ef6d9?hl=zh-CN

2. 讨论内存池（有没有存在的理由）

http://groups.google.com/group/dev4server/browse_thread/thread/75ee82f7845c8a01?hl=zh-CN

3. "大厅服务器"和"分区服务器"该怎么设计？

http://groups.google.com/group/dev4server/browse_thread/thread/8d1ca0cf8a041389?hl=zh-CN

4. 网游能够通过扩展服务器集群从而支持无限制的用户吗？

http://groups.google.com/group/dev4server/browse_thread/thread/77e57e1e8432e919?hl=zh-CN

5. 关于"登陆服务器"的架构设计

http://groups.google.com/group/dev4server/browse_thread/thread/a74d0467dbcd385c?hl=zh-CN

6. IM 软件的在线列表通常是存放在什么地方的呢？

http://groups.google.com/group/dev4server/browse_thread/thread/530f40855db9f064?hl=zh-CN

7.Introduction to Parallel Programming and MapReduce

http://code.google.com/edu/parallel/mapreduce-tutorial.html

8. 内存数据库？

http://groups.google.com/group/dev4server/browse_thread/thread/89cb6fd07e676104?hl=zh-CN#beb73f020a733015

9.请问大家一个关于海量数据库的存储问题

http://groups.google.com/group/dev4server/browse_thread/thread/b62660e92e3db663?hl=zh-CN#0a80d3e08030a705

10. 关于大型MMO应用中的场景系统动态负载均衡问题

http://groups.google.com/group/dev4server/browse_thread/thread/4860710254286e61?hl=zh-CN#35fa84d0af469f2a

11. About MMORPG的逻辑层构架

http://groups.google.com/group/dev4server/browse_thread/thread/de6320c499f6dc3d?hl=zh-CN#becf3963881399c8

12. 一个关于赛马游戏的服务器构架

http://groups.google.com/group/dev4server/browse_thread/thread/4e2a422608de4e7e?hl=zh-CN#4037796d86b34159

 

软件架构

1、软件框架
高 性能的软件框架，一般都基于event-driven、异步模式，同时提供诸如线程池、epoll（*unx）IOCP（I/O Completion Port，windows）等技术来提高并发处理性能，python、C++、Java中有一个典型的框架性项目提供了对高性能网络通信框架的支持，常用 的一些高性能的软件框架如下：
Python相关：
twisted:http://twistedmatrix.com
Twisted, an event-driven networking framework written in Python and licensed under the LGPL. Twisted supports TCP, UDP, SSL/TLS, multicast, Unix sockets, a large number of protocols (including HTTP, NNTP, SSH, IRC, FTP, and others), and much more.
Twisted是我学习和使用python的动力之一，用于高性能网络编程还是很方便。好好研究一番。
C++相关：
ACE：http://www.cs.wustl.edu/~schmidt/ACE.html
ICE:http://www.zeroc.com/ice.html
ACE去年做p2p“边下边看”软件时候用过一阵，框架是很优美，功能也比较全面，但是代码极其凌乱，用起来出问题后解决很麻烦。
Java相关：
MINA：http://mina.apache.org/
Grizzly：https://grizzly.dev.java.net/
QuickServer: http://www.quickserver.org/
2、相关站点
http://highscalability.com
http://www.royans.net
http://developer.yahoo.com/performance/rules.html yahoo关于website性能的站点（Firebug 及yslow的相关资料）
http://www.productionscale.com/
http://www.performanceengineer.com
http://www.webperformancematters.com/
http://www.javaperformancetuning.com/
http://www.allthingsdistributed.com/ amazon CTO的blog

//z 2011-05-21 9:13:15@is2120