ORACLE RAC环境下节点自动重启问题总结

文章参考：主要来源于网络资源分享，并结合自己的ORACLE RAC环境近段时间OS节点自动重启问题进行分析总结
首先我们对能够导致节点重启的CRS进程进行介绍。  
1.ocssd : 它的主要功能是节点监控（Node Monitoring）和组管理(Group Management),它是CRS的核心进程之一。节点监控是指监控集群中节点的健康状况，监控的方法是通过网络心跳(network heartbeat)和磁盘心跳（disk heartbeat）实现的，如果集群中的节点连续丢失磁盘心跳或网络心跳，该节点就会被从集群中驱逐，也就是节点重启。组管理导致的节点重启，我们称之为node kill escalation（只有在11gR1以及以上版本适用）。重启需要在指定的时间（reboot time,一般为3秒）内完成。
 网络心跳:ocssd.bin进程每秒钟向集群中的各个节点通过私网发送网络心跳信息，以确认各个节点是否正常。如果某个节点连续丢失网络心跳达到阀值，misscount（默认为30秒，如果存在其他集群管理软件则为600秒），集群会通过表决盘进行投票，使丢失网络心跳的节点被主节点驱逐出集群，即节点重启。如果集群只包含2个节点，则会出现脑裂，结果是节点号小的节点存活下来，即使是节点号小的节点存在网络问题。  
 磁盘心跳：ocssd.bin进程每秒钟都会向所有表决盘（Voting File）注册本节点的状态信息，这个过程叫做磁盘心跳。如果某个节点连续丢失磁盘心跳达到阀值disk timeou(一般为200秒)，则该节点会自动重启以保证集群的一致性。另外，CRS只要求[N/2]+1个表决盘可用即可，其中N为表决盘数量，一般为奇数。  
 2.oclsomon：这个进程负责监控ocssd是否挂起，如果发现ocssd.bin存在性能问题，则重启该节点。  
 3.oprocd：这个进程只在Linux和Unix系统，并且第三方集群管理软件未安装的情况下才会出现。如果它发现节点挂起,则重启该节点。
批注：以上所有进程都是由脚本init.cssd产生。
一般诊断节点重启问题是经常搜集的信息。
1)．操作系统日志
2)．<crs主目录>/log/<节点名称>/cssd/ocssd.log
3)．oprocd.log(/etc/oracle/oprocd/*.log.* 或 /var/opt/oracle/oprocd/*.log.*)
4)．<crs主目录>/log/<节点名称>/cssd/oclsomon/oclsomon.log
5). Oracle OSWatcher 报告
 下面结合自己的RAC环境出现节点重启问题进行分析：
查询节点1的oprocd.log，如下：

查看其它的日志信息，没有发现明显的错误信息，因此怀疑是ORACLE oprocd的时间参数设置不当；
下面对oprocd参数进行设置：
当我们设置diagwait参数时，需要停止所有rac节点的集群活动，停止顺序如下(如果集群式活动的，修改diagwait有可能会损害ocr);
1.root用户执行，停止所有节点的CRS

2.停止10.2.0.3到11.1.0.6版本的RAC中才引入的OPROCD进程(OS系统安装的DB版本是10.2.0.4)

3.检查是否还有CRS相关的资源在运行

4.在任意一个节点使用ROOT用户来设置DIAGWAIT的值（按照ORACLE的推荐，一般设置为13）

查看设置结果，如下：

5.启动所有节点的CRS资源

6.验证CRS是否正常运行

7.查看oprocd进程的状态

批注：11gR2之前版本的集群，ORACLE建议将Diagwait设置为13。从本质上讲,diagwait值在RAC环境中控制着两件关键的事情：
默认情况下,集群守护进程OPROCD的超时值为1秒和0.5秒的时间差，这意味着，如果OPROCD不能在 1.5秒内返回，系统会被重启。设置diagwait为推荐值13会将OPROCD的默认超时时差增加到10秒(diagwait - CSS重启时间[默认为3秒]),从而防止大量由于OPROCD没有在定义的时间内返回而导致的'假'的节点重启。对于繁忙的系统,1.5秒的默认值太小了。长期推荐的办法是将OPROCD超时提高到一个更为合理的值11秒（1秒休眠时间+10秒时间差）。
 当节点驱逐/重启事件发生时，增加diagwait，我们更可能在重新启动之前将日志信息刷新到磁盘，因此，缩短寻找问题根本原因时间。  
 从11g第2版（11.2.0.1和更高版本）开始，这一变化不再是必要的。然而，对于之前的版本，这个改变必须在一个完整的停机时间进行，而且这个值不能通过补丁修正。因此，必须安排停机时间手动修改。鉴于已知通过设置diagwait解决的问题的数量，申请停机时间来修改它是值得的投入。请注意，因为这个值存储在Oracle集群注册表（OCR），如果您的确需要重建OCR或从一个之前的备份恢复，您可能需要重新设置diagwai。