一：了解集群的原理：二：集群环境的搭建之前的准备工作：集群环境的搭建需要退回到hadoop分布式搭建之前：这个时候可以在安装hadoop之前在虚拟机中拍一个快照如果没有拍快照怎么解决：1，先停掉Hadoop的运行 :stop-dfs.sh2检查是否停掉：jps：看里面是否还有与Hadoop相关的程序在运行3如果没有相关的进程运行就删除hadoop的安装软件：rm -rf h
转载
2024-01-31 21:52:29
71阅读
目录一、Hadoop集群规划二、配置样板节点1、虚拟机硬件信息2、本地登录配置（1）root用户登录（2）关闭防火墙（3）修改主机名和IP地址（4）配置hosts（5）创建用户设置密码（6）添加sudo权限（7）切换用户验证sudo命令（8）创建软件安装目录3、远程登录配置（1）Xshell远程登录（3）安装jdk和hadoop（4）修改hadoop配置文件（5）配置主机免密登录三、克
转载
2024-02-02 18:10:30
261阅读
文章目录Hadoop集群安装部署Hadoop集群初体验hadoop集群的部署Hadoop集群安装部署1、服务器主机名和IP配置（三台）2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）3、管理节点到从节点配置无密码登录4、配置jdk 1.8（三台）5、关闭防火墙（三台）6、关闭selinux（三台）vi
原创
2022-03-02 14:36:10
191阅读
文章目录配置系统网络（静态）新增集群(三台)hadopp集群的部署配置系统网络（静态）配置系统网络（静态）第一步 查看虚拟机唯一标识（MAC地址）查看虚拟机设置00:0C:29:95:6F:C4MAC地址需要详细记录（很关键)第二步 调整70-persistent-net.rules文件删除掉红色框内的内容将eth1 改为eth0（当前网卡编号）address 必须与前面的唯一标识相同，若不相同，需要将address改为和MAC相同保存退出第三步 设置网卡设置网络
原创
2021-06-21 10:30:39
265阅读
一、概述在 Hadoop 2.0.0 之前，一个集群只有一个 Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24 小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲 Hadoop HA o
原创
精选
2022-10-31 10:51:06
1325阅读
Ambari是基于Web的Apache Hadoop集群的管理和监控的开源工具，Ambari已支持大多数Ha
原创
2022-12-30 15:49:35
2214阅读
文章目录Hadoop集群安装部署Hadoop集群初体验hadoop集群的部署Hadoop集群安装部署1、服务器主机名和IP配置（三台）2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）3、管理节点到从节点配置无密码登录4、配置jdk 1.8（三台）5、关闭防火墙（三台）6、关闭selinux（三台）vi /etc/selinux/configSELINUX=enforcing SELINUX=disabled 重启系统安装流程
原创
2021-06-21 10:30:38
213阅读
文章目录退役旧数据节点第一步：创建dfs.hosts.exclude配置文件退役旧数据节点目标：掌握HDFS在集群中删除掉无效节点的步骤第一步：创建dfs.hosts.exclude配置文件在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称node01执行以下命令cd /export/servers/hadoop-2.6.0-cdh5.14.0/et
原创
2021-06-21 10:32:46
187阅读
文章目录6、HDFS新增节点与删除节点服役新数据节点服役新节点具体步骤大数据成长之路-- hadoop集群的部署(3)6、HDFS新增节点与删除节点服役新数据节点目标：掌握HDFS新添加节点到集群的步骤需求基础：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址修改mac地址命令
原创
2021-06-21 10:32:46
140阅读
本文面向需要扩展Hadoop集群规模的大数据工程师、运维人员及技术管理者，系统讲解多集群部署的核心原理、设计模式与实战方法。内容覆盖从单集群瓶颈分析到多集群架构设计，从具体配置步骤到跨集群协作方案，帮助读者解决“资源隔离难”“业务冲突多”“扩展性不足”等典型问题。本文将按照“问题引出→概念解析→架构设计→实战部署→场景应用”的逻辑展开，通过“电商公司业务扩张”的故事贯穿始终，结合生活比喻、配置示例与真实案例，确保技术细节与实践价值兼备。单集群：适合业务简单、资源需求单一的场景，但易因资源竞争导致效率下降；
独立模式，自己独立一套集群(master/client/slave)，Spark 原生的简单集群管理器， 自带完整的服务， 可单独部署到一个集群中，无需依赖任何其他资源管理系统， 使用 Standalone 可以很方便地搭建一个集群，一般在公司内部没有搭建其他资源管理框架的时候才会使用。缺点：资源不利于充分利用
原创
2022-06-12 22:37:04
984阅读
3图
HADOOP根据生产环境搭建并且已在生产环境中使用，多多指教
原创
精选
2022-08-25 23:07:16
731阅读
hadoop集群安装部署文档一、 系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、 Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改 hadoop-env.sh 文件3、执行本地模式wordcount案例4、克隆虚拟机5、修改网络配置及主机
转载
2024-05-15 06:23:34
63阅读
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式1 启动准备工作通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。1.1
原创
2021-10-27 21:30:00
1355阅读
大数据集群部署是一个在大数据处理和分析领域非常重要的操作，它可以帮助我们高效地处理海量数据。在Kubernetes（K8S）中部署大数据集群是一种常见的做法，它可以帮助我们快速搭建、管理和扩展大数据处理平台。
下面我将向你介绍如何在Kubernetes中部署大数据集群，希望这些信息对你有所帮助。
## **部署流程**
下表展示了在Kubernetes中部署大数据集群的步骤：
| 步骤 |
原创
2024-05-30 10:00:14
100阅读
搭建hadoop、SPARK，安装PySpark和notebook，实现简单实例文件分别在local、standalone、yarn和k8s上的运行准备一、安装jdk二、安装hadoop集群1.设置SSH免密钥2.hadoop下载及环境配置3.hadoop配置相关文件4.分发和启动Hadoop三、安装zookeeper1.zookeeper分布式集群搭建2.修改相应的配置文件四、安装spark1
转载
2024-10-29 09:54:54
158阅读
目录1 MapReduce 中的计数器2 规约Combiner实现步骤运行实验3 流量统计数据需求一: 统计求和Step 1: 自定义map的输出value对象FlowBeanStep 2: 定义FlowMapper类Step 3: 定义FlowReducer类Step 4: 程序main函数入口JobMain需求二 : 上行流量倒序排序（递减排序）Step 1: 定义FlowBean实现Wri
二、Hadoop集群搭建2.1、Hadoop安装将Hadoop安装包导入hadoop102的/opt/software文件夹下将Hadoop安装包解压至/opt/module文件夹下[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/配置Hadoop的环境变量在/etc/profile.d/my_en
转载
2023-11-11 20:41:10
83阅读
环境服务器配置：CPU型号：CPU核素：内存：操作系统版本：CentOSLinuxrelease7.5.1804(Core)主机列表：192.168.0.101node1192.168.0.102node2192.168.0.103node3192.168.0.104node4192.168.0.105node4软件路径：/data/toolsjdk版本：1.8JAVA_HOME路径：/opt/j
原创
2018-05-30 14:47:43
7445阅读
学习大数据，hadoop集群搭建是第一步的，方便后面执行测试代码，调试环境。资源有限，这里采用windows上使用虚拟机，VMware。文章目录环境环境搭建环境虚拟机：VMware18环境：ubuntu，jdk1.8，hadoop2.7这里使用ubuntu，有些webui的东西可以看到，方便学习。jdk使用8，最普遍版本。环境搭建...
原创
2021-11-08 16:34:30
10000+阅读
