文章目录概述什么是ceph？ceph的架构Ceph OSDCeph MonitorOSD MapPG MapCRUSH算法Ceph的文件存储Ceph的MDSceph的不足Ceph命令和使用ceph部署Ceph集群网络拓扑图ceph 命令Ceph 块存储的挂载分布式存储架构基本的原理Master如何高可用？数据如何保持高可靠？数据如何分布？故障如何恢复？ 概述k8s的后端存储中ceph应用较为广泛
集中式与分布式管理工具Git 属于分布式版本控制系统，而 SVN 属于集中式。集中式版本控制只有中心服务器拥有一份代码，而分布式版本控制每个人的电脑上就有一份完整的代码。集中式版本控制有安全性问题，当中心服务器挂了所有人都没办法工作了。集中式版本控制需要连网才能工作，如果网速过慢，那么提交一个文件的会慢的无法让人忍受。而分布式版本控制不需要连网就能工作。分布式版本控制新建分支、合并分支操作速度非常
就在9号这天，阿里分布式事务框架GTS开源了一个免费社区版Fescar，看到了这个消息内心非常的激动！在微服务系统中，分布式事务一直是痛点，也是难点。社区里也有一些开源的分布式解决方案的框架，比如ByteTCC、LCN，但是这些框架没有一个权威的组织在维护，或多或少大家都有点不敢用。阿里开源的分布式事务解决框架Fescar会不会一统分布式事务江湖，大家拭目以待！我们现在来看看什么是FESCAR。F
转载
2023-09-25 07:54:00
69阅读
就在9号这天，阿里分布式事务框架GTS开源了一个免费社区版Fescar，看到了这个消息内心非常的激动！在微服务系统中，分布式事务一直是痛点，也是难点。社区里也有一些开源的分布式解决方案的框架，比如ByteTCC、LCN，但是这些框架没有一个权威的组织在维护，或多或少大家都有点不敢用。阿里开源的分布式事务解决框架Fescar会不会一统分布式事务江湖，大家拭目以待！//更新Fescar已经更名为Sea
转载
2023-07-31 23:30:45
47阅读
这几天一直在考虑分布式计算的问题，因为之前写过一个IoC框架，所以打算对原来的框架进行扩展，做成一个分布式的容器，该容器的设计目标是：由多个子容器构成一个大的分布式容器，用户不需要知道Bean存在于哪一个容器中，只需知道Bean的ID即可进行调用，对用户来讲，远程容器中的Bean和本地的Bean是没有区别的，容器是非侵入式的，不需要继承任何类或者
分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。截止目前，分布式系统已普遍被应用在互联网企业中，相关的开源软件也层出不穷。1、项目名称：分布式架构开发套件 jeesuite-libs项目简介：Jeesuite 是一个 Java 后台分布式架构开发套件。涵盖缓存、消息队列、db 操作(读写分离、分库路由、自动crud)、定时任
转载
2023-10-25 13:33:21
115阅读
摘要：在过去的几年中，计算机不断增强的处理能力推动了机器学习的进步。算法越来越多地利用并行性，并依赖分布式训练来处理大量数据。然而，随之而来的是增加数据和训练的需求，这对管理和利用大规模计算资源的软件提出了 ... 人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平
分布式存储就像分布式应用一样有两种技术解释，一种是将数据分散存储在多台独立的设备上，总体上实现了技术架构上的分布式，但所属权仍然是集中式的，而在区块链应用领域则表示的是以IPFS 为代表的新一代分布式存储技术，与传统的存储技术不同，新一代的分布式存储不光改变了存储的方式，还改变了系统架构与网络传输协议，让分布式存储真正实现了可以分布存储在不同所有方之间，同时还实现了对于数据的隐私保护与安全。那么，
今天分享一个非常不错且开源的分布式存储组件MinIO，有很多朋友在用。什么是MinIO？Minio 是个基于 Golang 编写的开源对象存储套件，基于Apache License v2.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如 NodeJS、Redis、MySQL等。1. 应用场景MinIO 的应用场景除了可以作为私有云的对象
Tendis存储版是腾讯互娱CROS DBA团队 & 腾讯云数据库团队 自主设计和研发的开源分布式高性能KV存储。完全兼容redis协议，并使用rocksdb作为存储引擎。用户可以通过redis client访问Tendis存储版，几乎不用修改代码。同时，Tendis存储版支持远超内存的磁盘容量，可以大大降低用户的存储成本。
类似于Redis Cluster, Tendis存储版使用去中心
分布式存储是指在多个节点间分散数据存储并实现数据的高可靠性和高性能访问的技术。Kubernetes (K8S) 是一个开源的容器编排平台，通过它可以方便地搭建和管理分布式存储系统。
下面我们来看如何在Kubernetes环境中实现一个开源的分布式存储系统。首先，我们来看整个过程的步骤：
| 步骤 | 描述 |
|-------|---
我们公司性质是新零售，公司也有专门的框架组。这群大牛自己开发了一整套分布式微服务框架。我们也在使用这套框架，有很多心得体会。该框架既Dapeng也！开源github地址：://github.com/dapeng-soaDapeng-soa 是一个轻量级、高性能的微服务框架，构建在Netty以及定制的精简版Thrift之上。 同时，从Thrift IDL文件自动生成的服务元数据信息是本框架
转载
2023-09-14 15:41:05
38阅读
1 问题分析:zookeeper 都有哪些使用场景？ 大数据中:ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby 一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服 务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等现在聊的 topic 是分布式系统，面试官跟你聊完了 dubbo 相关的一
原创：爱可生开源社区DBLE是基于开源项目MyCat发展的企业级
原创
2022-12-20 15:19:11
63阅读
高级JAVA开发 分布式系统分布式系统分布式系统接口的幂等性分布式锁Redis 普通实现基于Redis的分布式锁框架：Redisson、RedLock基于zookeeper的分布式锁分布式系统Session共享分布式事务分库分表拆分方案全局ID如何生成Mysql读写分离相关问题 分布式系统参考和摘自： 中华石杉 《Java工程师面试突击第1季》分布式系统接口的幂等性思路：缓存记录标识（类似分布式
转载
2023-06-25 20:40:53
63阅读
1、下载： redis-3.0.0.tar.gz2、上传，解压 tar -zxf redis.tar.gz3、编译安装 make make install PREFIX=/opt/redis34、添加REDIS_HOME export REDIS_HOME=/opt/redis3 export PATH=REDIS_HOME/bin5、cp /root/redis-3.0.0/redis.conf
转载
2023-07-07 11:16:56
51阅读
前言很多小伙伴在学习Java的时候，总是感觉Java多线程在实际的业务中很少使用，以至于不会花太多的时间去学习，技术在不断累积！等到了一定程度的时候对于与Java多线程相关的东西就很难理解，今天需要探讨的东西也是一样的和Java多线程相关的！做好准备，马上开车！学过Java多线程的应该都知道什么是锁，没学过的也不用担心，Java中的锁可以简单的理解为多线程情况下访问临界资源的一种线程同步机制。在学
在Kubernetes（K8S）中实现容器分布式存储是一项非常重要的任务，它可以让我们更好地管理容器中的数据，并且实现数据的高可用性和容错性。在本文中，我将向你介绍如何在K8S中实现容器分布式存储，并给出相应的代码示例来帮助你理解整个过程。
整个过程可以分为以下几个步骤：
| 步骤 | 描述 |
|-----|----------------------
## 什么是分布式容器云
分布式容器云是一种利用容器技术来进行应用程序部署、管理和扩展的解决方案。Kubernetes（K8S）是目前最流行的开源容器编排平台，可以帮助用户轻松管理分布式容器应用程序。在这篇文章中，我们将介绍如何使用Kubernetes来搭建一个分布式容器云。
### 步骤
下面是搭建分布式容器云的整体流程，我们将分为以下几个步骤：
| 步骤 | 描述
一、GlusterFS简介1、什么是glusterfsGlusterfs是一个开源分布式文件系统，具有强大的横向扩展能力，可支持数PB存储容量和数千客户端，通过Infiniband RDMA 或Tcp/Ip 方式将许多廉价的x86 主机，通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。2、GlusterFS特点扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于
转载
2023-10-08 10:05:26
253阅读
