lvmetad是LVM中用于处理元数据缓存的服务。
缓存状态
Empty : 系统中可用的设备还没有被添加到lvmetad。
Scanning : 部分系统中可用的设备已经被添加进lvmetad。
Initialized : 全部系统中可用的设备已经被添加进lvmetad。
Outdated : 还有系统或者存储时间没有被lvmetad处理。
Updated : 所有事件都已经被处理。
缓存过时(Outdated)的情况
MissingDev : 添加到系统中的设备还没有被添加进lvmetad。
RemovedDev : 从系统中移除的设备还没有被从lvmetad删除。
MissingVG : 写入磁盘的新VG还没有被添加进lvmetad。
RemovedVG : 从磁盘中删除的VG还没有被从lvmetad中删除。
ChangedVG : 磁盘中的VG元数据已经被修改,但是lvmetad还没有更新。
MissingPV : 写入磁盘的新PV还没有被添加进lvmetad。
RemovedPV : 从磁盘中删除的PV还没有被从lvmetad中删除。
ChangedPV : 磁盘中的PV元数据已经被修改,但是lvmetad还没有更新。
缓存状态转换
Empty -> Scanning
Scanning -> Initialized
Initialized -> Scanning
Initialized -> Outdated
Outdated -> Updated
Updated -> Outdated
Updated -> Scanning
Outdated -> Scanning
缓存状态转换的原因
Empty
启动或重启lvmetad服务。
Scanning
运行pvscan --cache命令。
运行任何global_filter不同的命令(token不匹配)。
当lvmetad处于Empty状态时,运行任何命令。
运行一个报告或显示命令时使用--foreign选项。
运行一个报告或显示命令时使用--shared选项。
运行一个命令时使用了lvmetad全局锁,且锁的状态发生改变。
Initialized
扫描完成。
Outdated
从系统中添加或删除设备。
创建、删除或修改一个VG。
创建、删除或修改一个PV。
Updated
接收并处理完所有事件。
不同缓存状态下的请求处理
Empty : 返回token错误。
Scanning : 返回token错误,并附带“updating”字符串。
Initialized : 正常响应所有请求。
Updated : 正常响应所有请求。
Outdated : 正常响应所有请求。
一般的状态转换步骤
正常情况下,状态转换一般是“Updated -> Scanning -> Initialized”,转换步骤是:
接收一个设置token为“updating”的请求, Scanning状态开始;
接收一个pv_clear_all请求来清除当前缓存;
接收一系列pv_found时间来重新构建缓存;
接收一个设置token为一个hash值,Initialized状态开始。
从Outdated向Updated的状态转换依赖与LVM命令发送给lvmetad的事件请求,比如说pv_found, pv_gone, vg_update, vg_remove。
注意:
当通过lvmlockd使用共享VG时,Outdated会持续较长时间,因此,在每次使用缓存前,lvmlockd会强制进行一次“Outdated -> Scanning -> Initialized”状态转换。
缓存的有效性
正常情况下,lvmetad通过处理来自客户端的提醒消息和系统的uevents来保持缓存处于最新状态。当使用lvmlockd时,当其他主机改变磁盘上的元数据时,也应该使本机的lvmetad元数据缓存变为过时状态。
为了解决这个问题,lvmetad元数据缓存增加了“无效”标志,当一个命令向lvmetad发送获取元数据请求时,在lvmetad返回元数据的同时,附带缓存“无效”标志。命令在收到响应后首先检查这个标志,如果无效则扫描磁盘,获取最新的元数据。最后把最新的元数据发送给lvmetad服务,并清除其“无效”标志,后面再有新的命令获取元数据时获取的就是最新的元数据了。
为了跟踪元数据“无效”状态,LVM元数据被分为两类,VG范围和全局范围:
VG范围 - 包括VG修改或者LV所有操作。
全局范围 - 包括VG的名称、孤立的物理卷。
当使用lvmetad时,分布式锁中会包含VG最新的seqno,或者全局锁会有一个全局计数器,当对锁使用Update操作后会增加这个序号。其他节点在获取锁时会把锁记录的序号与自身保存的序号进行比较,如果自身的较小则说明元数据过时,则从本地重新扫描元数据。