1 关闭透明大页面 

透明大页会导致oracle节点重启和其他问题,对rac和单机都有效

透明大页的默认设置,首先查看透明大页是否启用,[always] never表示已启用,always [never]表示已禁用


# cat /sys/kernel/mm/transparent_hugepage/enabled

[always] never  #启用


or

cat /sys/kernel/mm/transparent_hugepage/enabled

[always] madvise never



# grep AnonHugePages /proc/meminfo

AnonHugePages:      6144 kB



修改方法:

1.vi /etc/grub.conf  添加粗体

title Oracle Linux Server(2.6.32-300.25.1.el6uek.x86_64)

        root (hd0,0)

        kernel/vmlinuz-2.6.32-300.25.1.el6uek.x86_64 ro root=LABEL=/  transparent_hugepage=never

        initrd /initramfs-2.6.32-300.25.1.el6uek.x86_64.img

2.vi /etc/rc.local   添加下面的代码

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

   echo never >/sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

   echo never >/sys/kernel/mm/transparent_hugepage/defrag

fi



the two methods need the syste reboot,and then you can use the following line to identify



# grep AnonHugePages /proc/meminfo

AnonHugePages:         0 kB


# cat /sys/kernel/mm/transparent_hugepage/enabled

always madvise [never] 



2、关闭numa



查看当前numa的节点情况:

numactl --hardware


查看当前系统numa策略:

numactl --show


因为numa默认的内存分配策略是优先在进程所在CPU的本地内存中分配,会导致CPU节点之间内存分配不均衡,

当某个CPU节点内存不足时,会导致swap产生,而不是从远程节点分配内存,这就是swap insanity现象。


MySQL服务器为什么需要关闭numa?

MySQL是单进程多线程架构数据库,当numa采用默认内存分配策略时,MySQL进程会被并且仅仅会被分配到numa的一个节点上去。

假设这个节点的本地内存为10GB,而MySQL配置20GB内存,超出节点本地内存部分(20GB-10GB)Linux会使用swap而不是使用其他节点的物理内存。

在这种情况下,能观察到虽然系统总的可用内存还未用完,但是MySQL进程已经开始在使用swap了。

如果单机只运行一个MySQL实例,可以选择关闭numa,关闭nuam有两种方法:

1.硬件层,在BIOS中设置关闭;

2.OS内核,启动时设置numa=off。

修改/etc/grub.conf文件,在kernel那行追加numa=off;


保存后重启服务器,再次检查numa只剩下一个节点就成功了:

# numactl --hardware

available: 1 nodes (0)

node 0 cpus: 0

node 0 size: 2047 MB

node 0 free: 1514 MB

node distances:

node   0 

  0:  10



Oracle 11g查看numa有关的参数:

SELECT x.ksppinm NAME, y.ksppstvl VALUE, x.ksppdesc describ
FROM SYS.x$ksppi x, SYS.x$ksppcv y
WHERE x.inst_id = USERENV ('Instance')
AND y.inst_id = USERENV ('Instance')
AND x.indx = y.indx
AND upper(x.ksppinm) like '%NUMA%';
NAME  VALUE   DESCRIB
---------------------------------------- ---------------------------------------- ----------------------------------------
_rm_numa_sched_enable      FALSE            Is Resource Manager (RM) related NUMA scheduled policy enabled
_NUMA_pool_size            Not specified    aggregate size in bytes of NUMA pool
_enable_NUMA_optimization  TRUE             Enable NUMA specific optimizations
_NUMA_instance_mapping     Not specified    Set of nodes that this instance should run on
_rm_numa_simulation_pgs    0                number of PGs for numa simulation in resource manager
_rm_numa_simulation_cpus   0                number of cpus per PG for numa simulation in resource manager
_db_block_numa             2                Number of NUMA nodes


三、选择deadline为默认的IO调度策略

IO调度策略有btrfs cfq, noop, deadline三

Deadline(截止时间调度程序)

特点:

通过时间以及硬盘区域进行分类,这个分类和合并要求类似于noop的调度程序.

Deadline确保了在一个截止时间内服务请求,这个截止时间是可调整的,而默认读期限短于写期限.这样就防止了写操作因为不能被读取而饿死的现象.

Deadline对数据库环境(ORACLE RAC,MYSQL等)是最好的选择.


在不同场景下选择不同的IO调度器:

在完全随机访问环境下,由于CFQ可能会造成小IO的相应延时增加,所以应设置为deadline,这样更稳定。

对于SSD设备,采用NOOP或者deadline也可以获取比默认调度器更好的性能。

查看当前系统支持的IO调度算法:


#  dmesg|grep -i scheduler

[    1.936159] io scheduler noop registered

[    1.936161] io scheduler deadline registered (default)

[    1.936178] io scheduler cfq registered


修当前块设备(/dev/sda)使用的IO调度算法,修改IO调度算法后直接生效:

echo "deadline">> /sys/block/sda/queue/scheduler


永久修改IO调度算法,可以通过修改内核引导参数,增加elevator=调度算法:

kernel /vmlinuz-2.6.32-358.el6.x86_64 ro root=UUID=28d9f713-f49d-49ae-9e63-401986d11ab2 rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet numa=off elevator=deadline transparent_hugepage=never




验证:

重启之后,查看调度方法:

cat /sys/block/sda/queue/scheduler




4、交换分区设置

swappiness是Linux的一个内核参数,用户控制Linux物理内存进行swap页交换的相对权重,尽量减少系统的页缓存被从内存中清除的情况。取值范围是0~100,vm.swappiness的值越低,Linux内核会尽量不进行swap交换页的操作,vm.swappiness的值越高,Linux会越多的使用swap空间。Linux系统默认值是60,当系统需要内存时,有60%的概率使用swap。对于大多数桌面系统,设置为100可以提高系统的整体性能;对于数据库应用服务器,设置为0,可以提高物理内存的使用率,进而提高数据库服务的响应性能。


# vim /etc/sysctl.conf 

vm.swappiness=0


sysctl -p 生效

# sysctl -a|grep swap

vm.swappiness = 0