内核的四种IO调度算法

原创

weijinhai 2012-09-12 23:31:11 ©著作权

文章标签 算法如何 文章分类 数据结构与算法人工智能

©著作权归作者所有：来自51CTO博客作者weijinhai的原创作品，请联系作者获取转载授权，否则将追究法律责任

内核支持的四种IO调度算法

# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

cfq 完全公平IO调度算法。内核会为每个进程都维护一个IO队列，内核每次都从每个进程IO队列执行一个IO，然后再去执行下一个进程队列中的IO，如此循环。

anticipatory 预读算法。旧版内核默认算法。比较适合比较缓慢的存储设备。当内核选择了一个IO去执行后，他会消耗大约2毫秒时间去思考后面会继续有哪些IO，这些IO会涉及到存储设备哪个地方的数据，然后会提前去读取。

deadline 内核总是想在执行更多的IO。比较适合要求实时性比较强的环境。

noop 非常普通算法，按招进程产生的IO的时间进行排序，哪个IO先产生，内核就会去执行它。

如何更改？

临时更改：

# echo "deadline" > /sys/block/sda/queue/scheduler
# cat /sys/block/sda/queue/scheduler
noop anticipatory [deadline] cfq

永久修改：
# vim grub.conf
....
kernel /vmlinuz-2.6.18-274.el5 ro root=LABEL=/ rhgb quiet elevator=deadline

===========================================================

网络子系统

1、如何用工具检测当前网络的工作状态

2、调整：
  增加带宽
  调整应用程序
  调整内核参数
  增加网卡

# cat /proc/net/dev
Inter-| Receive | Transmit
face |bytes packets errs drop fifo frame compressed multicast|bytes packets errs drop fifo colls carrier compressed

eth0:12560602 181777 0 0 0 0 0 0 421085182 355989 0 0 0 0 0 0

# sar -n DEV

# iptraf -d eth0

# iptraf -i eth0

测试设备的最大可以使用的带宽
工具基于c/s
前提：测试的c和s都是处于同一类型的网络：例如两个不同机房的机器都是电信网络的。

netperf-2.5.0

服务端
# netserver
Starting netserver with host 'IN(6)ADDR_ANY' port '12865' and family AF_UNSPEC
服务端会打开12865端口

客户端：

# netperf -H 10.1.1.189 -l 30

Recv   Send    Send
Socket Socket Message Elapsed
Size   Size    Size     Time     Throughput
bytes bytes   bytes    secs.    10^6bits/sec

87380 16384 16384 30.91 79.83 <---局域网应该接近90以上。

调整内核参数

常规调整：

net.ipv4.tcp_rmem = 4096        87380   4194304
net.ipv4.tcp_wmem = 4096        16384   4194304
net.ipv4.ip_local_port_range = 1024    65000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_synack_retries = 3
fs.file-max = 202508

查看内核参数的含义：
# yum install kernel-doc -y

# vim /usr/share/doc/kernel-doc-2.6.18/Documentation/XXX
搜索某个关键的文档
# grep -R "ip_forward" /usr/share/doc/kernel-doc-2.6.18/Documentation/

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
多网卡绑定

物理图
   /----eth0-----\
pc  switch
   \----eth1-----/

逻辑图
   /-----eth0----\
pc  bond0---switch
   \-----eth1----/

文档
# vim /usr/share/doc/kernel-doc-2.6.18/Documentation/networking/bonding.txt

临时配置
# modprobe bonding miimon=100 mode=0
# ifconfig bond0 3.3.3.88 netmask 255.255.255.0 up
# ifenslave bond0 eth0 eth1

# ifconfig bond0
留意他的mac是取之于其中一个被绑定的物理网卡，然后另外一个物理网卡的MAC也被临时地更改为同一个

测试：
发送一个大文件

# watch 'ifconfig | grep "RX packets"'

永久配置

# vim /etc/modprobe.conf
alias bond0 bonding
options bonding miimon=100 mode=0

# vim /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
ONBOOT=yes
IPADDR=3.3.3.88
NETMASK=255.255.255.0

# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
SLAVE=yes
MASTER=bond0

# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
SLAVE=yes
MASTER=bond0

# ifup bond0

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

搭建Lnmp，搭建一个论坛

        location /status {
                stub_status on;
                access_log off;
        }

Active connections: 1
server accepts handled requests
26 26 155 <----接受了26个请求，处理了26个请求
Reading: 0 Writing: 1 Waiting: 0

Reading: 正在接受（读取）客户端的访问请求
Writing: 正在处理客户端的访问请求（根据请求正在寻找访问的页面，处理访问的页面，或者正在把客户端需要的内容发送给客户端）
Waiting: 如果打开keepalive选项，保持了多少个活动连接。

一般查看writing，确定当前nginx的并发访问量。

# ab -c 1000 -n 20000 http://10.1.1.22/

大概4000左右的并发服务器就反应非常慢，基本不能访问
能够瞬间达到最高值8000，但访问不了

架构：
php-fpm ---> php-fpm.conf ---> php.ini 启动php-cgi进程

nginx -->nginx.conf ---> 启动nginx进程

验证进程分别使用不同cpu

# ps -eo pid,psr,pcpu,user,comm | grep nginx
4494   1 root     nginx
4495   0 daemon   nginx <--
4496   1 daemon   nginx <--

# vim /usr/local/php//etc/php-fpm.conf

...

<value name="max_children">24</value>
<value name="rlimit_files">65535</value>
<value name="max_requests">600</value> 每个php-cgi进程能够处理多少个并发请求
...

# php-fpm restart

实验使用的配置文件

user daemon;

error_log logs/error.log info;
pid logs/nginx.pid;

worker_processes 2;
worker_cpu_affinity 01 10;
worker_rlimit_nofile 204800;

events {
use epoll;
worker_connections 10240;
}

http {
include mime.types;
default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

sendfile on;
#tcp_nopush on;

keepalive_timeout 8;

    client_header_buffer_size 4k;
    large_client_header_buffers 4 4k;
    client_max_body_size 8m;
    server_names_hash_bucket_size 128;

    open_file_cache max=204800 inactive=20s;
    open_file_cache_valid    30s;
    open_file_cache_min_uses 1;
    open_file_cache_errors off;

fastcgi_buffer_size 4k;
fastcgi_buffers 256 4k;

    server {
        listen       80 ;
        server_name www.upl.com;

        access_log /web/www/logs/upl.com.access.log main;
        root   /web/www/wwwroot;
        index index.html index.htm index.php;

        location ~* \.(gif|jpg|png|bmp|jpeg)$ {
                expires 7d;
        }

        location ~* \.(js|css)$ {
                expires 1d;
        }

        location /p_w_upload {
                limit_rate 100k;
        }

        location ~ \.php$ {
            if ($uri ~ /phpmyadmin) {
                root /web;
            }
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index index.php;
            fastcgi_param SCRIPT_FILENAME $document_root/$fastcgi_script_name;
            include        fastcgi_params;
        }

        location /status {
                stub_status on;
                access_log off;
        }

}