近两年“软件定义”已经被业界很多商业公司与技术咖所青睐;“软件定义一切”具有技术改革与实际价值,在虚拟化管理平台软件定义一直性体现在三大方面:软件定义计算(SDC),软件定义网络(SDN),软件定义存储(SDS);

    软件定义存储(SDS)是众多中小企业在IT架构基础建设中比较重要的一项,存储是每个程序与应用必不可少的组成部分,存储TCO也是大家所关注的重点,权衡在性能(Performance)、容量(Capability)、TCO(总拥有成本)三方面,根据这三方面考虑Ceph分布式存储特色具有很好的实际使用价值与灵活的结构,让中小企业在RBD、OD等存储方式有了更好的选择;Ceph具有开源与社区活跃优势,同时与主流IaaS架构Openstack结合密切等,Ceph生态系统也是有很多IT公司协同开发,如今用户群体包含国内外知名厂商,最新版本更新到2016.3 Jewel.

    Ceph基础架构

     软件定义存储SDS-分布式存储Ceph实践与设计_分布式

Ceph提供RBD、FS等存储方式支持,Ceph分布式针对于大规模PB级环境部署,技术特性体现在Cluster可靠性与扩展行,Data Replace、Interface统一性;Ceph去中心的设计思想可让计算能力得到了充分发挥,Crush算法可保证各OSD与Monitor Node提供HA ENV;对于Openstack架构的后端存储,侧重在Ceph RBD存储,RBD是基于LIBRADOS之上,通过QEMU/KVM Attach至VM上.


     OpenStack架构后端存储核心在于VM、Volume、Images三方面,Ceph RBD可无缝支持这三项存储,经过几个项目的实践,Ceph RBD存储方式稳定性还是非常好,Ceph自身Journal优化特性可提高硬盘存储读写性能;利用Ceph在设计OpenStack后端存储解决方案时,建议合理规划硬件资源与评估存储需求,这样才能在PCT三方Balance;


    根据公司业务存储场景,可提供High Performance Pools与Common Pools,根据Openstack配置与对接方式,将Compute Pools进行整合,进行对应的存储Pools对接;

    Ceph存储自身规划

    1、硬件选型:CPU、Mem、Disk按照OSD Process(2C、1G)与Monitor(2C、2G)合理规划

    2、版本选型以及系统文件:Ceph目前稳定版本Jewel V10.0.0(社区推荐),系统文件格式Ext4

    3、网络:建议生产环境采用10G网络,Ceph Public Net与Client Net进行物理隔离,提供稳定与数据高保证性;可通过网络调优引入巨型帧来提高网络传输

    4、硬盘:Journal盘与Data盘建议1:6,匹配方式SSD(J)-SAS,PCIE(J)-SSD

    5、Ceph调优:硬件层面(BIOS、磁盘IOPS)、System层面(Cgroup、Kernel)、网络层面(巨型帧、硬件加速)、Ceph(合理设置PG-PGS、副本数、对接存储位置等)

    6、扩展:尽量减少纵向扩展、根据Crush Map进行Object物理Host存储,随着业务发展及时进行横向扩展

    7、监控:对OSD Perf项进行监控,防止主副节点影响存储速度;对集群Health网络、硬件状态等实时监控、及时处理故障问题

    8、测试:初次搭建进行全面IOPS与网络吞吐量测试、以及故障通过测试排除问题


    Ceph效率提升:增加并行度降低服务时间

    Ceph实际生产环境中,可支持多类型存储,对象存储、文件存储、块存储等,Openstack匹配完美的则是Ceph RBD方式存储,灵活地配置方式以及全面的driver支持,Ceph稳定与高可用灵活架构以及Crush算法让Ceph分布式存储解决方案成为Openstack最重要的存储伙伴;随着Openstack高速发展,Ceph也是以6个月一个新版本进行迭代,开源虚拟化以及存储虚拟化是未来最具有商业价值与研究的热点.