1. perf dump
  • ceph daemon /var/run/ceph/ceph-client.admin.asok perf dump

1. RBD Client Metrics Table

监控类型监控项说明级别
AsyncMessenger*msgr_recv_messages网络接收消息
*msgr_send_messages网络发送消息
*msgr_recv_bytes网络接收字节
*msgr_send_bytes网络发送字节
*msgr_created_connections创建连接数
*msgr_active_connections有效连接数
*msgr_running_total_time线程运行的总时间
*msgr_running_send_time消息发送的总时间
*msgr_running_recv_time消息接收的总时间
*msgr_running_fast_dispatch_time快速调度总时间

2. RBD Finisher-RadosClient Metrics Table

监控类型监控项说明级别
finisher-radosclientqueue_len队列长度
*complete_latency.avgcount完成延迟 平均数
*complete_latency.sum完成延迟 总数
*complete_latency.avgtime完成延迟 平均时间

3. RBD ObjectCacher-librbd-{id}-{pool}-{image} Metrics Table

监控类型监控项说明级别
objectcacher-librbd-{id}-{pool}-{image}cache_ops_hit命中缓存
*cache_ops_miss穿透缓存
*cache_bytes_hit命中缓存大小
*cache_bytes_miss穿透缓存大小
*data_read读数据大小
*data_written写缓存数据大小
*data_flushed数据刷新
*data_overwritten_while_flushing刷新时数据重写
*write_ops_blocked肮脏限制延迟的写操作
*write_bytes_blocked写入脏数据的限制
*write_time_blocked由于脏数据限制而阻塞写入的时间

4. RBD librbd-{id}-{pool}-{image} Metrics Table

监控类型监控项说明级别
librbd-{id}-{pool}-{image}rd读操作数
*rd_bytes读操作的字节数
*rd_latency.avgcount读操作延迟队列的平均数
*rd_latency.sum读操作延迟队列的总数
*rd_latency.avgtime读操作延迟队列的平均时间
*wr写操作数
*wr_bytes写操作字节数
*wr_latency.avgcount写操作延迟队列的平均数
*wr_latency.sum写操作延迟队列的总数
*wr_latency.avgtime写操作延迟队列的平均时间
*discard丢弃操作数
*discard_bytes丢弃操作字节数
*discard_latency.avgcount丢弃操作延迟队列平均数
*discard_latency.sum丢弃操作延迟队列总数
*discard_latency.avgtime丢弃操作延迟队列平均时间
*flush刷新操作数
*aio_flush异步IO刷新操作数
*aio_flush_latency.avgcount异步IO刷新操作延迟队列平均数
*aio_flush_latency.sum异步IO刷新操作延迟队列总数
*aio_flush_latency.avgtime异步IO刷新操作延迟队列平均时间
*wsWriteSame: 清零操作offload到存储,加速块分配、克隆、数据初始化操作
*ws_bytesws字节数大小
*ws_latency.avgcountws延迟队列平均数
*ws_latency.sumws延迟队列总数
*ws_latency.avgtimews延迟队列平均时间
*cmp

*cmp_bytescmp字节数大小
*cmp_latency.avgcountcmp延迟队列平均数
*cmp_latency.sumcmp延迟队列总数
*cmp_latency.avgtimecmp延迟队列平均时间
*snap_create快照创建数
*snap_remove快照移除数
*snap_rollback快照回滚数
*snap_rename快照重命名数
*notify更新通知数
*resize调整大小
*readahead读取头数
*readahead_bytes读取头大小
*invalidate_cache缓存失效

5. objecter

监控类型监控项说明
perf dump objecterop_active主动操作数

op_laggy消极操作数

op_send发送操作数

op_send_bytes发送操作bytes

op_resend重操作数

op_reply回复操作数

op操作数

op_r读操作数

op_w写操作数

op_rmw读写修改操作数

op_pgPG操作数

osdop_stat操作状态

osdop_create创建对象操作

osdop_read读操作

osdop_write写操作

osdop_writefull写满对象操作

osdop_writesame写相同的对象操作

osdop_append追加操作

osdop_zero设置对象0操作

osdop_truncate截断对象操作

osdop_delete删除对象操作

osdop_mapext映射范围操作

osdop_sparse_read稀少读操作

osdop_clonerange克隆范围操作

osdop_getxattr获取xattr操作

osdop_setxattr设置xattr操作

osdop_cmpxattr比较xattr操作

osdop_rmxattr移除xattr操作

osdop_resetxattrs重置xattr操作

osdop_tmap_uptmap更新操作

osdop_tmap_puttmap推送操作

osdop_tmap_gettmap获取操作

osdop_call调用执行操作

osdop_watch监控对象操作

osdop_notify对象操作通知

osdop_src_cmpxattr多个操作扩展属性

osdop_pglspg对象操作

osdop_pgls_filterpg过滤对象操作

osdop_other其他操作

linger_active主动延迟操作

linger_send延迟发送操作

linger_resend延迟重新发送

linger_ping延迟ping操作

poolop_active主动池操作

poolop_send发送池操作

poolop_resend重新发送池操作

poolstat_active主动获取池子统计操作

poolstat_send发送池子统计操作

poolstat_resend重新发送池子统计操作

statfs_activefs状态操作

statfs_send发送fs状态

statfs_resend重新发送fs状态

command_active活动的命令

command_send发送指令

command_resend重新发送指令

map_epochOSD map epoch

map_full接收满的OSD map

map_inc接收到增量OSD map

osd_sessionsosd 会话

osd_session_open打开osd会话

osd_session_close关闭osd会话

osd_laggy缓慢的osd会话

omap_wrosd map读写操作

omap_rdosd map读操作

omap_delosd map删除操作

6. throttle

监控类型监控项说明级别
perf dump throttle-*val当前可用的值
*max最大限制数
*get获取到的值
*get_sum获取到的总数
*get_or_fail_fail获取或者错误值
*get_or_fail_success获取或者错误成功值
*take接受值
*take_sum接受总数
*put推送值
*put_sum推送总数
*wait.avgcount等待平均数量
*wait.sum等待总数