一、Ceph概述：概述：Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性（PB级别以上）、高性能、高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象
一、分布式存储概念分布式存储分为：分布式文件存储，分布式块存储，分布式对象存储，分布式数据库存储，分布式缓存存储。传统存储称为集中式存储，其中包括了机头（控制器）、磁盘阵列（JBOD）和交换机，而分布式是采用可拓展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，优点是提高了系统的可靠性、可用性和存取效率，且易于扩展。二、冗余磁盘阵列（RAID）1、概念RAID：为了实现存储
转载
2023-08-09 22:31:48
183阅读
分布式微服务架构设计原理分布式微服务架构设计原理应用架构演进传统垂直架构垂直应用架构介绍MVC架构MVC全名是Model View Controller，是模型-视图-控制器的缩写，是一种软件设计典范。他是用一种业务逻辑、数据域界面显示分离的方法来组织代码，将众多的业务逻辑聚集到一个部件里面，在需要改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑，达到减少编码的时间MVC
转载
2023-07-06 22:42:18
157阅读
引言目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构，以Ceph、Swift、GlusterFS为代表。对具体分布式存储产品选型的时候，要根据其背后的核心架构来分析它本来的原貌，然后才能决定其是否适合我们的具体场景。主流分布式存储
互联网技术发展，带动信息大爆炸，数据的增长，催生分布式存储技术出现。分布式存储(Distributed storage)是一种数据存储技术，相较于传统的网络存储系统采用集中的存储服务器存放所有数据，分布式存储通过利用多台存储服务器分担存储负荷，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落，确保了数据的可靠性、安全性、满足大规模存储应用的需要，不但提高了系统的可靠性、
分布式系统是计算机领域的一个重要研究方向，它是由多个计算机节点协同工作，形成一个统一的系统。在现代大型应用程序中，分布式系统已经成为了一个不可避免的趋势。分布式架构是构建分布式系统的基础，是分布式系统设计的重要环节。本文将对分布式架构进行深入分析，包括分布式架构的概念、分布式系统的设计原则、常用的分布式架构模式、以及实际应用中的分布式系统实现等方面。一、分布式架构概念分布式架构是一种将系统组件分布
转载
2023-08-15 16:11:55
88阅读
分布式架构实现概述（大型网站技术架构-读后感）主要包含4个篇章，第一篇介绍了网站的演化历程，大型网站架构的架构模式，开发大型网站应该具备的核心要素；第二篇主要围绕大型网站的具体架构实现方式进行讲解；第三篇对知名互联网公司的架构演变历程进行举例，让我看到了业务是技术的最强驱动力；第四篇说了什么是架构师，什么是好的架构师，架构师的职场攻略。主要收获服务器硬件选型数据库服务器 需要快速的磁盘检索和数据缓
转载
2023-07-13 18:34:03
42阅读
分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈，以及可用性、扩展性等方面的问题，通过把数据分散存储在多台存储设备上，为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。这一系列的文章介绍一种典型的分布式存储系统的设计和实现，该系统已经服务大量的业务，达到了数百T的存储量，经受了海量服务的考验。 整体架构 系统的整体架构如下图所示，其中逻辑层是存储服务的使用方。
转载
2023-08-30 12:17:53
73阅读
大学时光飞逝，转眼就到大四。毕业设计作为在大学编写的最后一个程序必须精益求精。在刚开始选题时，我并没有想写分布式计算框架，只是想试试N皇后算法如何分布式计算，结果随着版本的迭代变成了分布式计算框架。一、综述 随着大数据时代的来临，现有计算方式已不能满足工作需求，并且CPU近几年往多核方面发展，单台电脑性能有限不足以完成复杂计算任务。分布式计算框
一、什么是分布式架构 1.不同的业务（功能模块）分散部署在不同的服务器 2.每个子系统负责一个或者多个不同的业务模块 3.服务之间可以相互交互与通信 4.分布式设计对用户透明 5.可以发展为集群分布式系统架构（微服务架构是分布式系统中的一种）二、分布式架构优点 1.业务解耦 2.系统模块化，可重用化 3.提升系统并发量 4.优化运维部署效率三、分布式架构缺点 1.架构复杂 2.部署多个子系统复杂
转载
2023-07-14 18:17:18
102阅读
作者介绍烂猪皮，十余年工作经验，曾在 Google 等外企工作过几年，精通 Java、分布式架构、微服务架构以及数据库，最近正在研究大数据以及区块链，希望能突破到更高的境界。本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。一、大型分布式
目录主流架构模型-SOA 架构和微服务架构领域驱动设计及业务驱动划分分布式架构的基本理论 CAP、BASE 以及应用什么是分布式架构下的高可用设计加速静态内容访问速度的CDN灰度发布主流架构模型-SOA 架构和微服务架构SOA 全称（Service Oriented Architecture），中文意思为“面向服务的架构”，他是一种设计方法，其中包含多个服务， 服务之
转载
2023-07-13 10:58:40
5阅读
架构设计GoF的23种设计模式创建型： 单例（Singleton）模式：某个类只能生成一个实例，该类提供了一个全局访问点供外部获取该实例，其拓展是有限多例模式。 原型（Prototype）模式：将一个对象作为原型，通过对其进行复制而克隆出多个和原型类似的新实例。 工厂方法（Factory Method）模式：定义一个用于创建产品的接口，由子类决定生产什么产品。 抽象工厂（AbstractFacto
转载
2023-08-07 23:29:20
65阅读
一、dubbo的总体架构如下：二、dubbo各层次设计说明：1、服务接口层（Service）：该层是与实际业务逻辑相关的，根据服务提供方和服务消费方的业务设计对应的接口和实现。 2、配置层（Config）：对外配置接口，以ServiceConfig和ReferenceConfig为中心，可以直接new配置类，也可以通过spring解析配置生成配置类。 3、服务代理层（Proxy）：服务接口透明代理
转载
2023-08-12 12:53:41
71阅读
《程序员》杂志数据库DRDS分布式沈询
摘要：伴随着系统性能、成本及扩展性的新时代需要，以HBase、MongoDB为代表的NoSQL数据库和以阿里DRDS、VoltDB、ScaleBase为代表的分布式NewSQL数据库如雨后春笋般不断涌现出来。本文详细介绍了阿里分布式数据库服务DRDS。随着互联网时代的到来，计算机要管理的数据量呈指数级别地飞速上涨，而我们却完全无法对用户数做出准确预估。我们
转载
2023-07-11 20:09:43
110阅读
一、分布式架构 1）集中式：指由一台或者多台主计算机组成的中心节点，数据其中存储在这个中心节点中，并且整个业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。但是由于采用单机部署，难于维护，容易发生单点故障，扩展性差； 2）分布式：一个硬件或者软件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调系统。 二、分布式理论 1、CAP定理：指在一个分布式系统
转载
2023-07-10 16:55:24
234阅读
大数据,数据分析算法,推荐算法,机器学习 (人工智能)工具:python网络技术: 硬件 (路由器, 交换机, 内存, CPU, 网络, IO, 网络IO,硬盘IO) 与 软件, IP , TCP, HTTP 7层架构. 各种协议加密,签名,技术 RSA DES MD5 SHA应用技术: 小程序商业化技术: 对接支付平台(支付宝,微信支付,翼支付,宝付,中国银联)基础技术架构: CAS登录系统 (
转载
2021-04-12 08:43:00
113阅读
什么是构建一个可维护和可扩展的系统的意义？在早期，一个系统的形态，只是满足用户和服务器资源之间的通道，唯一要扩展和维护的是系统后面的资源，保证资源的可用和够用，而系统本身的压力并不大。系统设计跟我们生活中大多数事情一样，都需要花时间提前规划，能够让我们的服务长时间在线。所以，我们了解和总结一些大型系统背后的思考和权衡，能够帮助我们在系统早期做出一些明智和靠谱的决策。如今，开源组件已经成为构建一些企
Java全能学习+面试指南：https://javaxiaobear.cn
今天我们聊一聊分布式数据存储，知识架构图如下所示。
主要包括以下内容：
MySQL 复制，有主从复制和主主复制两种；
数据分片（或称数据分区），具体为数据分片的原理、分片的方案、分片数据库的扩容；
数据库分布式部署的几种方案；
NoSQL 中的 CAP 原理，分布式系统的最终一致性及其实现方案。
My
在一个完整的项目中，不仅仅是要完成正常的业务开发。同时为了提高一些开发效率、系统异常的追踪、系统功能的扩展等等因素，往往会用到系统在开发、运行过程中所产生的日志。这就需要我们有一个完善的日志系统来存储
原创
2022-08-08 11:16:16
183阅读
