linux 系统中单个进程的最大线程数有其最大的限制 PTHREAD_THREADS_MAX



这个限制可以在 /usr/include/bits/local_lim.h 中查看



对 linuxthreads 这个值一般是 1024,对于 nptl 则没有硬性的限制,仅仅受限于系统的资源



这个系统的资源主要就是线程的 stack 所占用的内存,用 ulimit -s 可以查看默认的线程栈大小,一般情况下,这个值是 8M



可以写一段简单的代码验证最多可以创建多少个线程



int main() 
 
 { 
 
 int i = 0; 
 
 pthread_t thread; 
 

 while (1) { 
 
 if (pthread_create(&thread, NULL, foo, NULL) != 0) 
 
 return; 
 
 i ++; 
 
 printf("i = %d\n", i); 
 
 } 
 
 }



试验显示,在 linuxthreads 上最多可以创建 381 个线程,之后就会返回 EAGAIN



在 nptl 上最多可以创建 382 个线程,之后就会返回 ENOMEM



这个值和理论完全相符,因为 32 位 linux 下的进程用户空间是 3G 的大小,也就是 3072M,用 3072M 除以 8M 得 384,但是实际上代码段和数据段等还要占用一些空间,这个值应该向下取整到 383,再减去主线程,得到 382。



那为什么 linuxthreads 上还要少一个线程呢?这可太对了,因为 linuxthreads 还需要一个管理线程



为了突破内存的限制,可以有两种方法



1) 用 ulimit -s 1024 减小默认的栈大小


2) 调用 pthread_create 的时候用 pthread_attr_getstacksize 设置一个较小的栈大小



要注意的是,即使这样的也无法突破 1024 个线程的硬限制,除非重新编译 C 库 <=此处值得讨论,我在ubuntu 7.04+3G内存上用ulimit -s 1024,则可以得到3054个线程。



=======================进程最大数=================



如下转载自这里,详细的可以参看这里。



LINUX中进程的最大理论数计算:



每个进程的局部段描述表LDT都作为一个独立的段而存在,在全局段描述表GDT中要有一个表项指向这个段的起始地址,并说明该段的长度以及其他一些 参数。除上之外,每个进程还有一个TSS结构(任务状态段)也是一样。所以,每个进程都要在全局段描述表GDT中占据两个表项。那么,GDT的容量有多大 呢?段寄存器中用作GDT表下标的位段宽度是13位,所以GDT中可以有8192个描述项。除一些系统的开销(例如GDT中的第2项和第3项分别用于内核 的代码段和数据段,第4项和第5项永远用于当前进程的代码段和数据段,第1项永远是0,等等)以外,尚有8180个表项可供使用,所以理论上系统中最大的 进程数量是4090。




===============重新编译内核来修改进程打开的最大文件数和修改listen侦听队列==========



如下转载自这里。



用“ulimit -a”能看到这些限制,如:


[root@HQtest root]# ulimit -a


core file size (blocks, -c) 0


data seg size (kbytes, -d) unlimited


file size (blocks, -f) unlimited


max locked memory (kbytes, -l) unlimited


max memory size (kbytes, -m) unlimited


open files (-n) 1024


pipe size (512 bytes, -p) 8


stack size (kbytes, -s) 8192


cpu time (seconds, -t) unlimited


max user processes (-u) 2047


virtual memory (kbytes, -v) unlimited


用ulimit ?n 10240 修改打开的文件数目变为 10240


虽然使用ulimit ?a 能看到变为10240,不过我在做压力测试的时候,当超过1024个用户时,服务就会down机。


最后只有重新编译了内核,编译内核后一切OK!


操作方法如下:


不同的Linux内核版本有不同的调整方法,


在Linux内核2.2.x中能用如下命令修改:



# echo ’8192’ > /proc/sys/fs/file-max


# echo ’32768’ > /proc/sys/fs/inode-max



并将以上命令加到/etc/rc.c/rc.local文件中,以使系统每次重新启动时设置以上值。



在Linux内核2.4.x中需要修改原始码,然后重新编译内核才生效。编辑Linux内核原始码中的 include/linux/fs.h文件,


将 NR_FILE 由8192改为 65536,将NR_RESERVED_FILES 由10 改为 128。编辑fs/inode.c 文件将 MAX_INODE 由16384改为262144。



一般情况下,最大打开文件数比较合理的设置为每4M物理内存256,比如256M内存能设为16384,


而最大的使用的i节点的数目应该是最大打开文件数目的3倍到4倍。


在Linux下,我们使用ulimit -n命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。


对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?下面一段小脚本可以帮你查看:lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more  


在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:# lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more    131 24204   57 24244   57 24231   56 24264


其中第一行是打开的文件句柄数量,第二行是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。ps -aef|grep 24204 mysql  24204 24162 99 16:15 ?    00:24:25 /usr/sbin/mysqld


哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024。


但是如果系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就必须要调整系统参数,以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下,以root用户运行以下命令:ulimit -HSn 4096


以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096,毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下来,可以修改.bash_profile文件,可以修改 /etc/profile 把上面命令加到最后。(findsun提出的办法比较合理)