随着智能化、万物互联时代的快速发展，数据量开始暴增，一方面我们需要开始思考如何高效可靠地存储海量的数据，另一方面我们还需要对这些数据进行分析处理，以获得更多有价值的信息。这时期我们就需要用到Hadoop了。 Hadoop是Apache软件基金会下一个开源分布式计算平台，以hdfs(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入
转载
2023-07-13 16:59:39
47阅读
分布式服务器监控工具NebulaSolarDash 详细介绍：github: https://github.com/toddlerya/NebulaSolarDash#readme 工具分为客户端和服务端两部分： 服务端使用了 bottle 来作为 Web 框架，Echarts 来渲染生成图表；客户端使用 Pyt
转载
2024-08-08 11:01:22
38阅读
一、Ceph简单介绍1）OSDs:2）Monitors:Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。3）MDS:Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的
浅谈分布式架构搭建基础理念技术选型后端技术设计总体架构设计关键案例设计 架构师搭建架一般优先考虑的是安全性、稳定性、高吞吐量。哈哈，菜鸟的我让我装个B，回忆一下以前架构搭建 基础理念 CAP（一致性、可用性、分区容错性）是没法三者均做到，最多能实现两个。在系统搭建是，这里系统搭建探讨优先考虑几个点，由高到低为安全性、稳定性、高吞吐量（系统方案的讨论
转载
2023-08-30 11:21:07
35阅读
2018年的最后几天平台迭代到了V6版本，代号Veronica（维罗妮卡）。（Veronica名字取自电影复仇者联盟2，电影中的Veronica是由布鲁斯·班纳（绿巨人）和托尼·斯塔克（钢铁侠）共同完成，Veronica系统包含多个功能模块，反浩克装甲是其中之一，反浩克装甲的作用相当于外勤特工，其余功能模块起着支持、补给作用。除反浩克外其余已知的功能模块包括：独立卫星通信，独立操作，战损支持（出现
转载
2024-07-20 09:41:58
53阅读
目录1. Hadoop是什么2. Hadoop 的发展历史3. 在Docker上运行Hadoop3.1 使用官方镜像3.2 安装验证 ???结束语???1. Hadoop是什么作为当今大数据处理领域的经典分布式平台，Apache Hadoop主要基于Java语言实现，由三个核心子系统组成：HDFS、YARN、MapReduce，其中，HDFS是一
转载
2023-08-04 10:44:52
128阅读
1. Hadoop概述Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成
转载
2023-09-20 10:59:56
78阅读
一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop框架中最核心设计就是：HDFS和MapReduce.HD
转载
2023-07-12 12:13:58
266阅读
Hadoop 基础1.搜索引擎在internet的海量数据中搜索特定的内容，Apache的hadoop是一种是一种实现海量数据搜索的分布式框架。 2.Hadoop 是一个能够对大量数据进行分布式处理的软件框架。 3. Hadoop 的处理方式 “可靠、高效、可伸缩”可靠：因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。高效：因
转载
2023-06-14 15:56:26
156阅读
今天分享一下我之前安装伪分布式整理的干货，过程基本没有难点，只要大家耐心去看，就一定可以成功，毕竟学习就得耐得住寂寞。安装过程（采用和完全分布式集群一样的步骤）：【建议】我们安装部署Hadoop，推荐使用linux的管理员root用户登录。（这样为了避免我们使用的命令权限受限）概要： 我们搭建hadoop伪分布式，共分为6个步骤：1.关闭防火墙 2.配置网络 3.修改主机名 4.设置SSH免密登录
转载
2023-06-14 22:10:33
93阅读
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
转载
2023-07-24 09:29:30
295阅读
pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、 pdsh应用场景 pdsh的应用场景基本上与pssh相同，都用于大批量服务器的配置、部署、文件复制等运维
推荐
原创
2014-09-09 13:51:20
10000+阅读
点赞
7评论
中低压分布式电源并网方案(RCL0923群调群控协同控制终端/RCL0923A分布式光伏逆变器数据采集器)方案中低压分布式电源并网方案(RCL0923群调群控协同控制终端/分布式光伏逆变器数据采集器)方案RCL0923分布式光伏电源群调群控协调控制终端/分布式光伏逆变器数据采集器方案一至方案四区别方案 方案一采用RCL0923群调群控协同控制终端 方案二采用RCL0923群调群控协同控制终端 方案
块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
转载
2024-09-04 09:22:38
47阅读
pdsh的全称是parallel distributed
shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。一、pdsh应用场景 pds
原创
2017-03-12 10:33:56
2123阅读
点赞
1评论
文章目录一、MapReduce基础入门1.为什么要MapReduce2.MapReduce优缺点3.MapReduce进程结构4.MapReduce程序运行流程分析二、MapReduce框架原理1.工作流程2.InputFormat3.MapTask4.Combiner5.Shuffle6.ReduceTask7.OutputFormat 一、MapReduce基础入门MapReduce是一个分
转载
2023-09-20 10:57:12
104阅读
文章目录一、hadoop 简介基于hadoop的整体分布式模块交互1）分布式系统的定义2）核心内容：文件的目录结构独立存储在一个NameNode上，二具体文件数据，拆分成若干块，冗余的存放在不基于Hadoop的HDFShadoop：HDFS：准备工作：二、安装配置主从机无密登录环境变量配置 一、hadoop 简介基于hadoop的整体分布式模块交互1）分布式系统的定义把数据放到一个服务器集群上面
转载
2023-07-12 12:15:01
79阅读
1. hadoop集群规划1.准备3台客户机(关闭防火墙，静态ip，主机名称)2.安装jdk3.配置环境变量4.安装hadoop，hadoop版本是3.1.3,包名为hadoop-3.1.3.tar.gz5.配置环境变量6.配置集群7.单点启动8.配置ssh9.群起集群并测试集群注意: NameNode和SecondaryNameNode和ResourceManage三者很消耗内存,不要安装在同一
转载
2023-06-25 12:46:35
115阅读
作为最早开源的大数据框架，Hadoop经历了相当长的一段黄金发展时期，在大数据的发展当中，Hadoop也在随着大趋势不断优化调整，但是分布式架构始终是不变的主旨。今天的大数据开发分享，我们来对Hadoop分布式架构做一个具体的讲解。 Hadoop是Apache软件基金会下的一个开源分布式计算平台，在业内应用非常广泛，可以说是大数据的代名词，也是分布式计算架构的鼻祖。几乎所有主流厂商都围绕Hadoo
转载
2023-08-07 17:31:06
45阅读
文章目录一、什么是Hadoop二、Hadoop的优点三、核心架构四、HDFS交互关系五、Hadoop的常用模块六、HADOOP生态圈以及各组成部分的简介七、Hadoop的配置文件 一、什么是HadoopHadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（H
转载
2023-07-04 10:54:30
86阅读
