1.Federated Forest IEEE Transactions on Big Data 2020 该文章在纵向联邦学习（客户端有相同的样本但特征空间不相同）方向上提出了一个基于CART树和bagging的联邦森林框架，它既能处理分类问题，又能处理回归问题。这个框架具有一定的隐私保护，预测是通信负担不高。 首先，先本文假设有数据标签y为主服务器（只有一个），没数据标签的为客户机，主服务
目录分布式和集群 Distributed & Cluster分布式 Distributed集群 Cluster集群的特性集群的划分集群的能力分布式场景分布式和集群 Distributed & Cluster分布式: 是指将业务拆分为不同的子服务，然后将其分布在不同的计算机上。群集: 意味着将多个服务器组合在一起以实现相同的服务。 它可以被视为计算机，云计算平台，或者通过软件系统集中
转载
2023-07-06 23:45:45
106阅读
一、prometheus的安装 Prometheus是最初由SoundCloud开发的监控和警报工具，于2016年加入了 Cloud Native Computing Foundation，这是继Kubernetes之后的第CNC的二个托管项目。1、prometheus的特征（1）具有由metric名称和键/值对标识的时间序列数据的多
转载
2024-04-28 12:30:26
542阅读
1、集群是个物理形态，分布式是个工作方式只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，嗯，C/S架构也可以叫分布式。2、集群一般是物理集中、统一管理的，而分布式系统则不强调这一点所以，集群可能运行着一个或多个分布式系统，也可能根本没有运行分布式系统；分布式系统可能运行在一个集群上，也可能运行在不属于一个集群的多台（2
转载
2024-07-09 22:37:58
28阅读
集中式(centralization)： 是指由一台主计算机组成中心节点，数据集中存储在这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统所有功能均有其集中处理。 集中式系统最大特点就是部署结构简单，集中式系统往往基于底层性能卓越的大型主机，因此无需考虑如何对服务进行多个节点的部署，也就不用考虑多个节点之间的分布式协作问题。集群(cluster)： 是指在多台不同的服务器中
转载
2023-10-22 08:33:07
165阅读
什么是集群和分布式（简单易懂)单机结构-----单机结构我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。-----那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求。此时
在这一年的工作中，对一些分布式和集群技术也有一些接触，只是研究得并不深入。比如分布式服务框架Dubbo、搜索引擎Elasticsearch。概念总是抽象的，配合实例会让你对概念的理解更加清晰。因此，如果刚好有使用到分布式和集群技术的猿友，可以边看本文的一些概念边回想你使用过的分布式和集群技术。如果你没有使用过相关技术，那其实也是可以以了解的心态将本文看完，后面接触到了，起码会有个大概的印象。下面我
转载
2024-02-15 20:50:46
47阅读
此篇文章是我对这几个概念的理解，若有不足，请指教！集群（cluster）技术是一种可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是其核心技术。集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。分布式系统（distributed system）是建立在网络之上的软件
转载
2023-10-21 14:03:35
87阅读
分布式是指将一个业务拆分不同的子业务，分布在不同的机器上执行，集群是指多台服务器集中在一起，实现同一业务，可以视为一台计算机，一个云计算平台，就是通过一套软件系统把分布式部署的资源集中调度使用。要应对大并发，要实现高可用，既需要分布式，也离不开集群。分布式和集群区别？分布式分布式：是指将一个业务拆分不同的子业务，分布在不同的机器上执行。常用的分布式就是在负载均衡服务器后加一堆web服务器，然后在上
转载
2023-10-19 12:28:28
97阅读
Prometheus监控介绍公司做教育的，要迁移上云，所以需要我这边从零开始调研加后期维护Prometheus；近期看过二本方面的prometheus书籍，一本是深入浅出一般是实战方向的；官方文档主要内容大概也都浏览了一遍；在此做个总结；会分几篇内容来写；
本篇从Prometheus的单集群监控开始，介绍包括Prometheus的基本概念，基本原理，基于联邦架构的多集群监控，基于Thanos的多集
转载
2023-10-01 12:05:19
822阅读
一、图解二、理解集群：同一个业务，部署在多个服务器上(多个人在一起做同样的事)分布式：一个业务拆分为多个子业务，部署在多个服务器上(多个人在一起做不同的事)小饭店原来只有一个厨师，备料洗菜切菜炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致，再请了个配菜师负责备料，备菜，切菜…厨师和配菜师的关系是分布式。一个
转载
2023-12-26 15:46:25
106阅读
#整理了一些博文作为分布式相关理论的学习笔记，同时加上了一些个人的理解，尊重原创者，文章属性就设为转载吧，参考博文的链接已附在最后。分布式概要，与集群的区别分布式系统的设计
CAP 和 BASE 理论分布式和集群的概念分布式： 不同的业务模块部署在不同的服务器上或者同一个业务拆分为多个子业务，部署在不同的服务器上，解决高并发问题 。集群： 同一个业务，部署在多个服务器上，提高系统可用性 。分布式和
转载
2023-08-11 20:13:46
103阅读
一、集群规划这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：hadoopmaster nameNode 192.168.100.11hadoopnode2 dataNode 192.168.100.12hadoopnode3 dataNode 192.168.100.13注意：本文中hadoopmaster可能简称为master，hadoopnode2可能
转载
2023-08-01 19:52:44
146阅读
分布式和集群是不一样的，分布式一定是集群，但是集群不一定是分布式(因为集群就是多个实例一起工作，分布式将一个系统拆分之后那就是多个实例;集群并不一定是分布式，因为复制型的集群不是拆 分而是复制)第一部分:一致性Hash算法Hash算法，比如说在安全加密领域MD5、SHA等加密算法，在数据存储和查找方面有Hash表等, 以上都应用到了Hash算法。1、为什么需要使用Hash? Hash算法较多的应用
转载
2024-05-24 12:45:35
78阅读
1.介绍集群是个物理形态，着重描述这个处理机的静态状态，强调个体和群体之间的联系。分布式是个工作方式，着重讲这个处理机的动态状态，强调请求和处理直接的分发状况。分布式：一个业务分拆多个子业务，部署在不同的服务器上，解决高并发的问题集群：同一个业务，部署在多个服务器上，提高系统可用性集群就是逻辑上处理同一任务的机器集合，可以属于同一机房，也可分属不同的机房。分布式这个概念可以运行在某个集群里面，某个
转载
2023-07-10 13:20:21
88阅读
文章目录分布式和集群 Distributed & Cluster分布式 Distributed集群 Cluster集群的特性集群的划分集群的能力分布式场景 分布式和集群 Distributed & Cluster分布式: 是指将业务拆分为不同的子服务，然后将其分布在不同的计算机上。群集: 意味着将多个服务器组合在一起以实现相同的服务。 它可以被视为计算机，云计算平台，或者通过软件
转载
2023-07-09 13:20:37
133阅读
一、Nginx集群组成
组成要素：
1）VIP： 给分发器的一个虚IP
2）分发器：nginx
3）数据服务器：web服务器二、nginx集群原理
在Nginx集群中Nginx扮演的角色是分发器。主要任务是接受请求、分发请求、响应请求。功能模块：
1）ngx_http_upstream_module：基于应用层（七层）分发模块
2）ngx_stream_core_module：基于传输层（
转载
2023-07-06 23:49:22
274阅读
prometheus2.0 在参数上有原先的1.X有较大的变化，很多参数被去掉了。另外优化了CPU占用、存储空间占用等，具体可以看官方文档。这里贴一下prometheus2.0的联邦（又称Shard）搭建方法，一些理论知识就不贴了，自己去google扒吧：官网对于联邦的介绍：https://prometheus.io/docs/prometheus/latest/federation/联邦有不同的
总结上文讲到了prometheus+grafana对于大数据集群的监控。但是随着集群规模越来越大，prometheus压力也随之增大，因为采取拉去方式，对于prometheus本身的压力比较大。那么程序本身有什么解决办法？其他监控采取什么方式解决的。其他监控分布式熟悉zabbix的朋友可能知道，zabbix中有主动模式和被动模式，主动模式可以实现agent节点自动向server节点汇报，这样就减轻
转载
2024-02-09 23:23:17
213阅读
部署一个prometheusserver实例，然后由一个中心prometheusserver负责收集各个组下的监控数据，具有这种特性的称为prometheus联邦集群。联邦集群配置monitor namespace下面的prometheusserver当成是中心节点：[root@master ~]# kubectl get pod -n monitorNAME ...
原创
2022-08-16 21:27:58
321阅读
