不仅包括ubuntu系统自带的命令,也会包含一些第三方的工具命令详细解释:包括shell命令描述、用法、示例等详细解
1、OSD内存 OSD内存主要配置项主要分为两部分 1) OSD内存大小 -- OSD 分配的缓存大小 2) OSD内存使用 -- OSD 使用已分配内存大小的占百分比2、OSD内存大小2.1 介绍 The amount of memory consumed by each OSD for BlueStore’s cache is determined by the blu
1、设备配置 -- DEVICE 主要从 四个 方面进行 Bluestore 设备配置 1) 设备数量 2) 单个设备 3) 两个设备 4) 三个设备2、设备数量 BlueStore manages either one, two, or (in certain cases) three storage devices. 一个
一、简介 ceph luminous版本中新增加了一个组件: Ceph Manager Daemon,简称ceph-mgr。 该组件的主要 作用是分担和扩展monitor的部分功能,减轻monitor的负担,让更好地管理ceph存储系统二、mgr的实现与用途 ceph-mgr是由C/C++、python以及Cpython等共同编写完成的,mgr的实现使用了大量的Extending
1、简介 Buffer就是一个命名空间,在这个命名空间下定义了Buffer相关的数据结构,这些数据结构在Ceph的源码中广泛使用2、buffer::raw buffer::raw类是基础类,其子类完成了Buffer数据空间的分配; buffer::raw是一个原始的数据Buffer,在其基础之上添加了长度、引用计数 和 额外的crc校验信息2.1 类结构class buffer:
1、存储系统读写操作1.1 读操作 存储系统中,所有读操作都是同步,即除非在缓存中命中,否则必须要从磁盘中读到指定的内容后才能返回前端1.2 写操作 存储系统中,一般而言,写操作处于效率考虑,所有写操作都会预先在内存中进行缓存,由文件系统进行合适的组织后,再批量写入磁盘2、日志型存储系统 包含日志的存储系统 -- 日志型存储系统2.1 写日志 理论上,数据写入缓存即可向前端
1、简介 对象 Object是默认4MB大小的数据块; 一个对象就对应本地文件系统中的一个文件; 在代码实现中,有 object、sobject、hobject、ghobject等不同的类名;2、object object.h 文件中定义; name 就是对象名;2.1 结构体struct object_t { string name; object_t() {}
1、查看 imagerbd 操作,如果 没有指定数据池,则默认使用 rbd 数据池命令行中 {pool_name}/{image_name} 也可以写成 {image_name} -p {pool_name};两种格式等价1.2 image 列表## 查看指定池中 image 列表# rbd ls -p {pool_name}# rbd list -p {pool_name}1.3 image 详
ceph 工具工具说明ceph authceph-authtoolceph:man cephceph-mds:mdsceph-mgr:mgrceph-mon:monceph-osd:osdceph-fuse:文件系统 用户态 挂载mount.ceph:文件系统 内核态 挂载rados:rados 相关操作rbd:块设备 基础操作ceph-disk:osd 工具radosgw:对象网关相关操作rad
1、简介 Whether you want to provide Ceph Object Storage and/or Ceph Block Device services to Cloud Platforms, deploy a Ceph Filesystem or use Ceph fo
1、基本介绍1.1 源码包 ceph 12.2.5(Luminous),源码安装包如下所示1.2 安装环境切换至 root用户,或者 非root用户 具有 root 同等权限编译所在得空间需大于 17GB,否则导致空间不足,编译失败Ubuntu 16.04 amd64(本文编写时得环境)2、安装包2.1 解压安装包 #tar -zxvf ceph-10.2.10.tar.gz2.2 进
1、简介 本文只描述 如何基于 systemctl mds热备服务的搭建,至于其相关概念不做任何描述1.1 系统环境# lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 16.04.2 LTSRelease: 16.04Codename: xenial1.2 存储环境#&n
1、简介1.1 Samba 介绍 Samba是一个能让Linux系统应用Microsoft网络通讯协议的软件;而SMB是Server Message Block的缩写,即为服务器消息块 ,SMB主要是作为Microsoft的网络通讯协议,后来Samba将SMB通信协议应用到了Linux系统上,就形成了现在的Samba软件;后来微软又把 SMB 改名为 CIFS(Common Internet
一、前提 ceph基础环境搭建,集群正常二、pool操作2.1 查看# ceph osd pool ls [detail] # 只显示数据池名,加 "detail" 显示详细信息# rados lspools # 只显示 数据池名# ceph osd dum
1、简介 很多 时候 为集群 设置 相关的行为 还是 很有必要的(例如,noout)2、集群 行为 设置/取消/查看2.1 集群 行为 设置## 每次 只能 对一个 集群 行为 进行 操作,多个 需要使用 for 循环 # ceph osd set {behavior} 2.2 集群 行为 取消## 每次 只能 对一个 集群 行为 进行 操作,多个 需要使用 for 循环 # ceph os
1、简介 本文 介绍 ceph 相关的 工具ceph 版本工具路径10.2.10./debian/tmp/usr/bin12.2.11./build/binceph 工具工具说明ceph authceph-authtoolceph:man cephceph-mds:mdsceph-mgr:mgrceph-mon:monceph-osd:osdceph-fuse:文件系统 用户态 挂载moun
1、激活失败 目前遇到 一种 激活失败的情况 1) pthread_create failed2、pthread_create failed2.1 问题描述 指定 osd_id 操作时,格式化、prepare操作都已完成,在存储节点上执行 ceph-disk activate {dev} 操作时,已有磁盘激活成功,但再次激活别的磁盘时,出错2.2 错误信息got monmap e
问题描述 创建 pool 时,副本数 设置为 非1 时,会出现 "degraded" 告警信息2、pg归置组异常状态 pg归置组异常,目前主要分为两种情况 1) 单节点的时候pg归置组 unclean 或者 degraded 2) 多个节点的时候pg归置组 unclean 或者 degraded3、单节点 pg归置组 单节点 pg归置组问题解决流程 1) osd
1、问题描述 关于 每个 osd上 pg的异常问题目前主要有 两个 1) 每个 osd 上 pg 数量 太少 -- too few PGs per OSD (5 < min 30) 2) 每个 osd 上 pg 数量太多 -- too few PGs per OSD (688 < max 300)2、解决办法 目前解决办法有 两个 1) 设置 数据池
1、setfattr(容量设置)1.1 设置 容量## {dir} 为 云存储 目录中的 路径 ## 设置 容量 大小 ## setfattr -n ceph.quota.max_bytes -v {Bytes} {mount_path}/{dir} ## 设置 文件数 大小 ## setfattr -n ceph.quota.max_files -v {files_num} {mount_pa
1、pg 状态监测(简单 描述) 检查 集群 健康状态时(ceph health、ceph -s、ceph -w 等命令),你需要 关注 集群的健康状态(HEALTH OK -- 健康),如果 集群 处于 异常状态,某些 情况下 需要 监测 pg 状态,本文 就是 简单的描述一下,掌握 检查 集群 健康状态时 所需的基本 概念/知识,以便 后期的 排除异常1.1 pg 健康状态 只有
1、简介 一般 检测 集群 状态 时,只需要 对 集群 整体 健康状态 检查 以下 就可以了,但是 这还是 远远 不够,我们 还需要 了解 如何 检查 pg 健康 状态(面对 集群 异常时,才能 从容 的及解决 问题);例如,发生 硬件故障、守护进程 异常、网络 异常(振荡) 或者 其他 未知的原因 很有可以 就 导致 pg 状态 异常(一旦 pg 状态异常,pg 就会处于 降级 状态)2、
什么是脚本脚本其实就是将Linux或者类UNIX系统的命令写入一个文件中,而该文件也只能在Linux或者类UNIX系统中可以反复执行,避免重复输入命令文件名扩展名 Shell脚本通常以”.sh”为扩展名(通常的意思就是讲在Linux下扩展名只是为了方便区分文件,并不像Windows下扩展名决定了其文件类型)编写脚本的工具vim、gedit、Atom、Emacs、
python 小技巧 -- 文件存在则删除1. #!/usr/bin/env python 2. #coding:utf-8 3. 4. import os 5. 6. file_path&n
1、stale 状态2、基本概念 stale 状态的概念:PG 的状态没有被 ceph-osd 上报给 MON,这意味着存放该 PG 的所有 OSD 都是down 的;MON 将主 OSD down 掉了的 PG 的状态状态设置为 stale2.2 问题查找2.2.1 查找 处于 stale 状态的 pg #sudo ceph health detail | grep sta
1、简介 起初 并没有 太在意 这个工具,事实证明 "工欲善其事必先利其器";在某一次 操作过程中,某台 服务器 只能通过 终端登录,某两个 文件夹 之间 数据需要进行 拷贝,由于 文件 太大(2TB),我的终端 需要 一直开着(这明显 不合适);通过 nohup 后台执行(后台任务太多,我也傻傻分不清楚 哪个是哪个 啦);rsync 可以支持 断点续传(使用复杂);最终 发现 tumx 这
数据池 配额 的管理过程中,顺便 梳理 以下 文件系统 文件 属性 设置相关操作;本文 只描述 相关操作,至于 理论 方面 暂不描述(学习 纠删码 时 再细细 研究理论操作)1 属性## pool:数据池 # pool_namespace:新版本 特性 ##例如: rados -p default.rgw.meta ls --namespace=users.u
1 为什么要加锁python3多线程可以不加锁,每个多线程就自带锁python2多线程必须加锁,多线程本身不带锁多线程同时执行一个操作时(例如队列的get操作),队列为空时get属于异常行为,因此线程中的队列操作需要进行加锁处理,这样确保判断队列为空的时候没有get操作,这样就不会对空队列进行操作了2 手动开关锁#!/usr/bin/env python #codi
1、简介 Linux C语言 有很多 基本数据类型,但都是 通过 关键字 组合而成的1.1 数据类型 相关 关键字1.1.1 数据类型关键字 -- 基本数据类型关键字类型说明void 声明函数无返回值或无参数,声明无类型指针,显式丢弃运算结果char 字符型类型数据,C语言中属于整型数据的一种int 整型数据,通常为编译器指定的机器字长float 单精度浮点型数据double 双精度浮点
在linux系统中 链接文件 可以解决文件 的共享使用;链接的方式可以分为两种 1@:一种是软链接或者也称为符号链接(Symbolic Link); 2@:一种是硬链接(Hard Link)1. 链接文件1.1. 创建链接文件## 硬 链接
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号