分布式服务器监控工具NebulaSolarDash 详细介绍：github: https://github.com/toddlerya/NebulaSolarDash#readme 工具分为客户端和服务端两部分： 服务端使用了 bottle 来作为 Web 框架，Echarts 来渲染生成图表；客户端使用 Pyt
转载
2024-08-08 11:01:22
38阅读
Elasticsearch分布式大数据搜索集群@TOC1.elasticsearch集群介绍elasticsearch可以横向扩展至数百（甚至数千）的服务器节点，同时可以处理PB级别数据elasticsearch天生就是分布式的，并且在设计时屏蔽了分布式的复杂性elasticsearch经肯屏蔽了风不是系统的复杂性elasticsearch集群的特点：分配文档到不同的容器或分配中，文档可以存储一个
推荐
原创
2022-08-11 09:22:17
759阅读
随着智能化、万物互联时代的快速发展，数据量开始暴增，一方面我们需要开始思考如何高效可靠地存储海量的数据，另一方面我们还需要对这些数据进行分析处理，以获得更多有价值的信息。这时期我们就需要用到Hadoop了。 Hadoop是Apache软件基金会下一个开源分布式计算平台，以hdfs(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入
转载
2023-07-13 16:59:39
47阅读
对于搜索引擎来说，索引存放在成千上万台机器上，如何进行分布式搜索呢？ 假设搜索结果是以分页的方式显示，以PageNumber代表当前页，从1开始，以PageSize代表页面大小，默认为10，以N代表搜索服务器数量。最简单的分布式搜索算法为：有一台合并服务器负责接受用户的搜索请求，然后分别向N台机器获取前PageNumber*PageSize条结果，得到的结果数为N*PageNumber...
原创
2023-03-22 17:24:32
198阅读
一、Ceph简单介绍1）OSDs:2）Monitors:Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。3）MDS:Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的
浅谈分布式架构搭建基础理念技术选型后端技术设计总体架构设计关键案例设计 架构师搭建架一般优先考虑的是安全性、稳定性、高吞吐量。哈哈，菜鸟的我让我装个B，回忆一下以前架构搭建 基础理念 CAP（一致性、可用性、分区容错性）是没法三者均做到，最多能实现两个。在系统搭建是，这里系统搭建探讨优先考虑几个点，由高到低为安全性、稳定性、高吞吐量（系统方案的讨论
转载
2023-08-30 11:21:07
35阅读
大数据整体解析大数据（BigData），毫无疑问大数据是对大量处理用的，它包括数据的存储（HDFS）和计算功能（MapReduse），由yarn进行cpu的调度。大数据天生就是自带分布式的，对大量的数据的处理，需要分布式的数据存储，数据量过大 需要分布式的计算，还需要集群模式的数据的收集（flum），还有实时的计算和离线的计算等。大数据的特点：4V Volum大量 Velocity高速 Varie
转载
2023-08-15 15:34:15
107阅读
1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具； 4、负责Hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。 大数据生态圈部署实战(最好是自动化的部署)：这块
转载
2024-08-15 00:49:56
25阅读
2018年的最后几天平台迭代到了V6版本，代号Veronica（维罗妮卡）。（Veronica名字取自电影复仇者联盟2，电影中的Veronica是由布鲁斯·班纳（绿巨人）和托尼·斯塔克（钢铁侠）共同完成，Veronica系统包含多个功能模块，反浩克装甲是其中之一，反浩克装甲的作用相当于外勤特工，其余功能模块起着支持、补给作用。除反浩克外其余已知的功能模块包括：独立卫星通信，独立操作，战损支持（出现
转载
2024-07-20 09:41:58
53阅读
一、大数据两大核心技术分布式存储：解决海量数据的存储问题。分布式处理：解决海量数据的处理问题。分布式数据库：BigTable分布式文件系统：GFS分布式并行处理技术：MapReduce二、大数据计算模式批处理实时计算交互式计算批处理计算：MapReduce是批处理计算模式的典型代表，但MapReduce无法进行高效的迭代计算，spark可以。流计算：storm/S4/Flume/Streams/P
转载
2023-07-06 17:25:12
97阅读
01 大数据简介今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。大数据技术大数据存储 HDFS大数据计算
批处理：mapreduce，spark流处理：storm、flink、spark streamingnosql：大数据分析
转载
2023-11-01 11:22:12
75阅读
Protocol Buffer Protocol Buffer，是Google内部使用一种语言中立、平台中立和可扩展的序列化结构化数据的方式，并提供 Java、C++ 和 Python 这三种语言的实现，每一种实现都包含了相应语言的编译器以及库文件，而且它是一种二进制的格式，所以其速度是使用 XML 进行数据交换的10倍左右
转载
2023-05-26 14:57:00
133阅读
pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、 pdsh应用场景 pdsh的应用场景基本上与pssh相同，都用于大批量服务器的配置、部署、文件复制等运维
推荐
原创
2014-09-09 13:51:20
10000+阅读
点赞
7评论
中低压分布式电源并网方案(RCL0923群调群控协同控制终端/RCL0923A分布式光伏逆变器数据采集器)方案中低压分布式电源并网方案(RCL0923群调群控协同控制终端/分布式光伏逆变器数据采集器)方案RCL0923分布式光伏电源群调群控协调控制终端/分布式光伏逆变器数据采集器方案一至方案四区别方案 方案一采用RCL0923群调群控协同控制终端 方案二采用RCL0923群调群控协同控制终端 方案
块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
转载
2024-09-04 09:22:38
47阅读
pdsh的全称是parallel distributed
shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、pdsh应用场景 pds
原创
2017-03-12 10:33:56
2123阅读
点赞
1评论
分布式Java应用的体系结构知识简单分为:网络通信：包括协议和IO消息方式的系统间通信：包括基于Java包、基于开源框架、性能角度远程调用方式的系统间通信：包括基于Java包、基于开源框架、性能角度大型应用拆分为多个子系统来实现，这些子系统可能部署在同一台机器，或者不同机器的多个不同JVM中，每个子系统对应一个JVM。但这些子系统又不是完全独立的，要相互通信来共同实现业务功能，对于此类Java引用
转载
2023-09-11 15:57:05
34阅读
大数据分布式内存，创建目录；配置文件；启动命令；
原创
2018-07-17 13:11:34
813阅读
现如今，大数据的发展得到了越来越多人的关注，当然，很多企业也开始关注大数据，通过大数据可以从数据中挖掘出有价值的数据，从而找出隐藏的商机，而大数据的分布式数据库是一个十分重要的内容。我们在这篇文章中就给大家介绍一下关于数据库的相关知识，希望这篇文章能够更好的帮助大家理解大数据的分布式数据库知识。其实大数据技术从诞生到现在，已经经历了十几个年头。其实现在很多人对于大数据未来的美好
转载
2023-11-03 11:34:16
39阅读
1.什么是分布式计算？所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式网络存储技术是将数据分散的存储于多台独立的机器设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但解决了传统集中式存储系统中单存
转载
2023-07-10 22:03:19
146阅读
