分布式服务器监控工具NebulaSolarDash 详细介绍：github: https://github.com/toddlerya/NebulaSolarDash#readme 工具分为客户端和服务端两部分： 服务端使用了 bottle 来作为 Web 框架，Echarts 来渲染生成图表；客户端使用 Pyt
转载
2024-08-08 11:01:22
38阅读
随着智能化、万物互联时代的快速发展，数据量开始暴增，一方面我们需要开始思考如何高效可靠地存储海量的数据，另一方面我们还需要对这些数据进行分析处理，以获得更多有价值的信息。这时期我们就需要用到Hadoop了。 Hadoop是Apache软件基金会下一个开源分布式计算平台，以hdfs(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入
转载
2023-07-13 16:59:39
47阅读
一、Ceph简单介绍1）OSDs:2）Monitors:Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。3）MDS:Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的
浅谈分布式架构搭建基础理念技术选型后端技术设计总体架构设计关键案例设计 架构师搭建架一般优先考虑的是安全性、稳定性、高吞吐量。哈哈，菜鸟的我让我装个B，回忆一下以前架构搭建 基础理念 CAP（一致性、可用性、分区容错性）是没法三者均做到，最多能实现两个。在系统搭建是，这里系统搭建探讨优先考虑几个点，由高到低为安全性、稳定性、高吞吐量（系统方案的讨论
转载
2023-08-30 11:21:07
35阅读
大数据整体解析大数据（BigData），毫无疑问大数据是对大量处理用的，它包括数据的存储（HDFS）和计算功能（MapReduse），由yarn进行cpu的调度。大数据天生就是自带分布式的，对大量的数据的处理，需要分布式的数据存储，数据量过大 需要分布式的计算，还需要集群模式的数据的收集（flum），还有实时的计算和离线的计算等。大数据的特点：4V Volum大量 Velocity高速 Varie
转载
2023-08-15 15:34:15
107阅读
2018年的最后几天平台迭代到了V6版本，代号Veronica（维罗妮卡）。（Veronica名字取自电影复仇者联盟2，电影中的Veronica是由布鲁斯·班纳（绿巨人）和托尼·斯塔克（钢铁侠）共同完成，Veronica系统包含多个功能模块，反浩克装甲是其中之一，反浩克装甲的作用相当于外勤特工，其余功能模块起着支持、补给作用。除反浩克外其余已知的功能模块包括：独立卫星通信，独立操作，战损支持（出现
转载
2024-07-20 09:41:58
53阅读
Protocol Buffer Protocol Buffer，是Google内部使用一种语言中立、平台中立和可扩展的序列化结构化数据的方式，并提供 Java、C++ 和 Python 这三种语言的实现，每一种实现都包含了相应语言的编译器以及库文件，而且它是一种二进制的格式，所以其速度是使用 XML 进行数据交换的10倍左右
转载
2023-05-26 14:57:00
133阅读
一、大数据两大核心技术分布式存储：解决海量数据的存储问题。分布式处理：解决海量数据的处理问题。分布式数据库：BigTable分布式文件系统：GFS分布式并行处理技术：MapReduce二、大数据计算模式批处理实时计算交互式计算批处理计算：MapReduce是批处理计算模式的典型代表，但MapReduce无法进行高效的迭代计算，spark可以。流计算：storm/S4/Flume/Streams/P
转载
2023-07-06 17:25:12
97阅读
01 大数据简介今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。大数据技术大数据存储 HDFS大数据计算
批处理：mapreduce，spark流处理：storm、flink、spark streamingnosql：大数据分析
转载
2023-11-01 11:22:12
75阅读
pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、 pdsh应用场景 pdsh的应用场景基本上与pssh相同，都用于大批量服务器的配置、部署、文件复制等运维
推荐
原创
2014-09-09 13:51:20
10000+阅读
点赞
7评论
中低压分布式电源并网方案(RCL0923群调群控协同控制终端/RCL0923A分布式光伏逆变器数据采集器)方案中低压分布式电源并网方案(RCL0923群调群控协同控制终端/分布式光伏逆变器数据采集器)方案RCL0923分布式光伏电源群调群控协调控制终端/分布式光伏逆变器数据采集器方案一至方案四区别方案 方案一采用RCL0923群调群控协同控制终端 方案二采用RCL0923群调群控协同控制终端 方案
pdsh的全称是parallel distributed
shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、pdsh应用场景 pds
原创
2017-03-12 10:33:56
2123阅读
点赞
1评论
块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
转载
2024-09-04 09:22:38
47阅读
分布式Java应用的体系结构知识简单分为:网络通信：包括协议和IO消息方式的系统间通信：包括基于Java包、基于开源框架、性能角度远程调用方式的系统间通信：包括基于Java包、基于开源框架、性能角度大型应用拆分为多个子系统来实现，这些子系统可能部署在同一台机器，或者不同机器的多个不同JVM中，每个子系统对应一个JVM。但这些子系统又不是完全独立的，要相互通信来共同实现业务功能，对于此类Java引用
转载
2023-09-11 15:57:05
34阅读
大数据分布式内存，创建目录；配置文件；启动命令；
原创
2018-07-17 13:11:34
813阅读
现如今，大数据的发展得到了越来越多人的关注，当然，很多企业也开始关注大数据，通过大数据可以从数据中挖掘出有价值的数据，从而找出隐藏的商机，而大数据的分布式数据库是一个十分重要的内容。我们在这篇文章中就给大家介绍一下关于数据库的相关知识，希望这篇文章能够更好的帮助大家理解大数据的分布式数据库知识。其实大数据技术从诞生到现在，已经经历了十几个年头。其实现在很多人对于大数据未来的美好
转载
2023-11-03 11:34:16
39阅读
1.什么是分布式计算？所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式网络存储技术是将数据分散的存储于多台独立的机器设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但解决了传统集中式存储系统中单存
转载
2023-07-10 22:03:19
146阅读
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylinKylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求；支持额外功能和特性的插件；与调度系统，E
转载
2024-06-02 07:50:17
67阅读
分布式存储先有分布式还是先有大数据呢？这是个值得思考的问题。因为大数据所以才会数据分布式存储，因为单机无法存储，所以需要分布式存储嘛。但是，另一方面，我们的数据产生天然就是分布式的，只不过我们一般的思路是集中存储，便于管理。分布式存储的一般思路，就是将大数据切片，按照某种策略存储在多个节点之间，这种策略要确保数据的分布是均匀的，以保证节点负载的均匀；同时数据的分布也要有一定的稳定性，不能因为节点的
转载
2024-04-04 21:54:30
42阅读
# 前言在高并发的分布式系统中，缓存是必不可少的一部分，如果没有缓存，大量的请求直接落到系统，系统是很难撑住高并发的冲击，所以分布式系统中缓存的设计是很重要的一部分。运用缓存后可以加速读写、降低后端的负载，但同时又会出现运维成本，数据不一致性等问题。下面介绍在运用缓存过程中可能会碰到的问题# 缓存雪崩缓存雪崩是由于原有的的缓存失效，新缓存还没有到期间，在这个期间原本所有的请求应该是先访问缓存，现在
转载
2023-10-24 00:15:16
72阅读
