作者：杨考 一、日志系统的需求和设计目标 最基本的需求【下图黑色部分所示】 : 完成日志写入文件，保证无丢失，不影响正常业务，检测写入异常 关注的性能、和衍生需求【下图绿色部分所示】 : 日志的可读性、写入性能、并发写入控制等 终极目标【下图黄色部分所示】 : 简洁、完整、可读性好的日志
转载
2024-02-25 08:30:49
13阅读
现在很多互联网科技公司，还有一些传统的it公司都在根据自身的业务发展来设计符合实情的分布式系统。虽然，已有很多优秀的开源分布式系统，但是由于需求不同，业务不同，这些只能在设计符合自身需求的分布式系统时用于参考。个人认为，设计一个分布式存储系统并不是太难，主要困难在于如何设计并实现一个可以自动化处理各个节点状态的分布式集群管理系统。分布式系统到现在已经发展了很多年了，有些公司已经部署并上
转载
精选
2014-12-10 18:21:23
557阅读
布式Server SAN架构的设计与优化过程
随着企业对数据存储能力的不断要求，布式Server SAN（Storage Area Network）架构逐渐成为一种流行的解决方案。从2015年起，随着大数据和云计算的兴起，布式Server SAN架构在各行各业得到广泛应用。该架构通过将存储资源与计算资源有机结合，提升了系统的灵活性和可扩展性。
> 引用块：
> “布式Server SAN架构
前言我在
转载
2022-09-14 15:06:01
225阅读
背景GFS是Google在2003年发出的经典论文，其作为分布式文件系统实际应用在Google的MapReduce框架实现中作为原始数据和最终结果存储的基础服务，同时为其他上层基础系统比如BigTable提供服务。Hadoop中的HDFS就是其开源实现。这篇文章讨论了诸如一致性、容错、网络性能等分布式系统工程中的经典问题，启发了后续很多分布式文件系统的发展。为什么阅读GFS的论文GFS使用了map
原创
2020-01-30 21:03:22
403阅读
准备工作阅读：Fault-Tolerant Virtual Machines为什么要阅读这篇文章了解分布式系统的容错机制本文是对于容错机制的比较特殊的实现，其并不是要设计一个应用程序级别的容错系统，而是一个系统级别的。需要处理CPU中断，能够为了实现一个容错的虚拟机系统（VM-FT），难度更大。容错（Fault tolerance）容错是即使发生故障也会继续提供服务的能力一些理想的属性：可用性：尽
原创
2020-01-31 19:00:34
852阅读
什么是 SOA 架构SOA 是 Service-Oriented Architecture 的首字母简称，它是一种支持面向服务的架构样式。从服务、基于服务开发和服务的结果来看，面向服务是一种思考方式。其实 SOA 架构更多应用于互联网项目开发。为什么互联网项目会采用 SOA 架构呢？
原创
2022-03-24 14:39:36
276阅读
什么是 SOA 架构
SOA 是 Service-Oriented Architecture 的首字母简称，它是一种支持面向服务的架构样式。从服务、基于服务开发和服务的结果来看，面向服务是一种思考方式。其实 SOA 架构更多应用于互联网项目开发。
为什么互联网项目会采用 SOA 架构呢？随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行
原创
2021-07-08 10:30:04
434阅读
1 分布式事务了解分布式事务之前，应该先了解分布式系统，事务，本地事务等基本概念。
原创
2023-02-01 07:09:52
65阅读
前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务
器才能完成的。在ZooKeeper之前，我们对于协作服务大都使用消息中间件，随着分布式系统的普及，用消息中间件完成协作，会有大量的程序开发。
ZooKeeper直接面向于分布式系统，可以减少我们自己的开发，帮助我们更好完成分布式系统的数据管理问题。目录zo
转载
精选
2015-05-24 17:15:08
392阅读
目录1、小视频功能说明2、技术方案3、FastDFS3.1、FastDFS是什么？3.2、工作原理3.3、文件的上传3.4、文件的下载4、FastDFS环境搭建4.1、搭建服务4.2、java client4.2.1、application.properties4.2.2、测试5、发布小视频5.1、编写pojo5.2、定义接口5.3、实现5.4、接口服务5.4.1、VideoController5.4.2、VideoService5.4.3、测试6、小视频列表6.1、定义dubbo服务6.2、实现dubbo
原创
2021-01-08 20:41:35
299阅读
windows2003分布式文件系统（dfs）配置
在网络中，共享文件的物理位置是分散分布的，用户要询问对方的共享路径才能清楚地获得共享资源。如果想看到某局域网全部的共享文件，则需要询问每一个人，这样的操作太不方便了。
&nb
原创
2011-07-16 10:26:13
939阅读
点赞
Elastic Search 是：用于数据检索和分析引擎 应用在大数据领域，特点 在百万级数据面前可以秒级的搜索出你想要的的数据 ES与mysql术语对比 Type类似mysql 中的表，表中的数据就是Document 数据格式为Json 属性就是列名 ...
转载
2021-09-10 15:21:00
107阅读
2评论
分布式服务发现与注册中心 Consulgithub地址：https://github.com/consul/consul基础概念什么是注册中心随着微服务理论发展的成熟，越来越多互联网公司采用微服务架构来支持业务发展。各个微服务之间都需要通过注册中心来实现自动化的注册和发现。注册中心主要有三种角色：服务提供者（RPC Server）：在启动时，向 Registry 注册自身服务，并向 Registr
转载
2024-03-28 19:18:20
64阅读
NRPE模块中定义的nrpe.cfg包含大量脚本，我们可以直接拿来使用当然也可以自己修改nrpe.cfg.erb模板内容。在批量部署时可以分别采用自己编写的模块或者现有模块来实现，利用现有模块几乎能实现系统管理日常工作中90%任务，剩余的10%我们可以根据生产业务来自己定制。
推荐
原创
2015-02-05 22:38:10
7189阅读
点赞
4评论
IT运维离不开系统监控，就好像鱼儿离不开水，人离不开空气一样。一款强大的监控系统可以有力保证设备和业务的稳定。而zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix5.0分布式监控系统-从入门到精通系类课程，由具有10年以上的
原创
2020-06-19 12:53:00
8494阅读
点赞
4评论
目录布罗德曼分区是一个根据细胞结构将大脑皮层划分为一系列解剖区域的系统。神经解剖学中所谓细胞结构（Cytoarchitecture），是指在染色的脑组织中观
原创
2021-09-07 11:46:51
589阅读
多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制，使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中。 Elasticse
转载
2018-04-10 09:12:00
116阅读
2评论
Elasticsearch集群中有的节点一般有三种角色:master node、data node和client node。1:master node:master几点主要用于元数据(metadata)的处理，比如索引
原创
2021-11-13 15:52:27
291阅读
Elasticsearch集群中有的节点一般有三种角色:master node、data node和client node。1:master node:master几点主要用于元数据(metadata)的处理，比如索引的新增、删除、分片分配等。2:data node:data 节点上保存了数据分片。它负责数据相关操作，比如分片的 CRUD，以及搜索和整合操作。这些操作都比较消耗 CPU、内存
原创
2022-01-16 14:04:26
131阅读
