笔者的hadoop在不间断的写文件的过程中报了如下错误 经查看发现是hadoop所在服务器的磁盘空间不足导致的。 好了，知道问题后笔者需要配置相关参数来避免该问题1、与mapred.local.dir相关的参数 * mapred.local.dir.minspacestart：在mapreduce运行任务之前，检查temporary 目录下是否还有该选项配置的空闲空间，如果少于该配置，则m
转载
2023-10-31 15:30:26
95阅读
因业务需要，对原有集群四台服务器做动态扩容为8台服务器的集群。原有集群为HA配置，所以对集群做节点增加时需要两个重要的步骤要做。1、hdfs-site.xml配置文件的修改。2、同步journal文件到新节点的每一台机器的dfs目录中。（在这之前需要对新节点的集群做同版本的hadoop软件的安装及配置文件的同步，包括hdfs-site.xml文件的修改）3、JournalNode进程及journa
转载
2023-08-18 19:46:40
151阅读
1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，在whitelist中添加如下主机名称  
转载
2023-09-25 20:53:37
5阅读
横向扩展（scale out）也叫水平扩展，指用更多的节点支撑更大量的请求。例如1台机器支撑10000TPS，两台机器是否能支撑20000TPS？纵向扩展（scale up）也叫垂直扩展，扩展一个点的能力支撑更大的请求。通常通过提升硬件实现，例如把磁盘升级为SSD。横向扩展通常是为了提升吞吐量，响应时间一般要求不受吞吐量影响即可。因为本身在访问量比较小的时候，响应时间就是可接受的范围，例如去分布式
1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名
转载
2023-09-01 08:46:30
54阅读
一、修改hostnamehostnamectl set-hostname hadoopxx二、修改网络配置ifconfigcat /etc/sysconfig/network-scripts/ifcfg-ens33cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltevim /etc/sysconfig/network-scri...
原创
2021-08-26 09:23:50
271阅读
HDFS动态添加、删除节点机器操作配置1.动态的 增/删 节点1.1 ————操作前准备新节点集群启动的状态中，添加一台新的机器（节点）进入；
第一次三台机器加入集群，是通过slaves中添加的。
这里创建一个新的hadoop4号机器，启动服务，稍后动态添加。
1.1.1 克隆一台新机器：hadoop4;
————注：（一定注意，克隆中的集群生成的 data和name文件夹要删除
一、修改hostnamehostnamectl set-hostnam
原创
2022-04-22 13:53:40
290阅读
代码测试环境：Hadoop2.4 应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。 Hadoop内置的输出文件格式有： 1）FileOutputFormat<K,V> 常用的父类； 2）TextOutputFormat<K,V> 默认输出字符串输出格式； 3）SequenceFileOutputForm
在Hadoop生态当中，HDFS作为分布式文件系统，主要负责数据存储任务的完成，而越是大规模的数据存储，就需要考虑到高可用性，才能为整个系统框架提供更稳固的底层支持。今天的大数据开发学习分享，我们就来讲讲，Hadoop HDFS是如何保证高可用性的。 从不同的层面来说，HDFS都是为系统的高可用做了相应的准备的，具体来说：1、数据存储故障容错 磁盘介质在存储过程中受环境或者老化影响，
转载
2023-09-14 14:18:02
47阅读
这些内容都是自己在工作和学习中的一些学习总结，如果大家觉得有帮助，原创不易，希望帮忙点个赞，由于笔者水平有限，也难免有错误，也
转载
2023-09-04 14:52:02
68阅读
背景在虚拟化的云环境中，Hadoop可以有更好的“弹性”，这是云计算的一个重要优势，例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个Hadoop集群，运行计算任务，并且用户可以向集群动态的添加或删除计算节点。这里存在着一个潜在问题，Haodop的数据节点并非天生的“有弹性”，删除一个数据节点意味着需要重新复制存储在这个节点的数据，这是一个缓慢的过程
推荐
原创
2013-11-06 16:38:35
8008阅读
点赞
1评论
Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1 Hadoop hadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。Hadoop主要包括两个方面，
转载
2023-08-18 19:24:07
46阅读
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job.reduces了，当然，
转载
2023-12-11 19:05:41
0阅读
完全分布式安装： 1.集群规划 a.服务分配 组件 Linux.one&
转载
2024-09-17 21:09:15
62阅读
# Xshell中的Hadoop扩展磁盘方案
Hadoop作为一个强大的分布式计算框架，常用于大规模数据存储和处理。随着数据量的增加，Hadoop集群的磁盘空间可能会不够，需要进行扩展。本文将介绍如何在Xshell中使用Hadoop扩展磁盘，并提供相关代码示例和可视化图表。
## 一、准备工作
在扩展磁盘之前，我们需要确保集群中的所有节点都已经正确配置，并可以通过Xshell访问。扩展磁盘的
## 在Xshell中扩展Hadoop的磁盘空间
Hadoop作为一个广泛应用于大数据处理的框架，通常会使用HDFS（Hadoop Distributed File System）来存储海量的数据。随着数据量的不断增加，可能会面临磁盘空间不足的问题。因此，扩展Hadoop集群的磁盘空间是一项必要的管理任务。本文将详细介绍如何在Xshell中扩展Hadoop的磁盘空间，包括具体的步骤和代码示例。
# Hadoop 高扩展性的理解与实际应用
## 引言
在大数据时代，数据量的激增给数据存储和处理带来了巨大的挑战。Hadoop作为一种开放源代码的框架，广泛应用于大数据处理领域。其高扩展性使得它成为企业用户的首选方案。本文将深入理解Hadoop的高扩展性，并通过一个实际问题的解决方案来展示如何运用Hadoop。
## 什么是高扩展性？
高扩展性指的是系统能够通过增加硬件资源（如CPU、内
1、Hadoop运行模式Hadoop有三种运行模式，分别如下：单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注：前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。 2、Hadoop的安装及配置环境：Ubuntu16.04LTS，Hadoop 2.5.2，准备四台机器，ip及主
转载
2023-09-06 23:13:22
96阅读
文章目录Hdfs运行状态下扩展集群配置bigdata4的运行环境修改bigdata4的ip地址和主机名修改bigdata4的hadoop配置文件配置bigdata1设置免密登录配置bigdata4的运行环境 Hdfs运行状态下扩展集群为了方便演示，我的集群里目前只存在bigdata1一个节点，在集群开启的情况，向其中加入一个bigdata4节点。配置bigdata4的运行环境需要为bigdata
转载
2023-10-19 22:53:34
29阅读
