首先，尼玛哥是一名研究生，可以说很多学习的知识都是来源于同门师兄弟，本着将自己学习到的东西以博客的形式分享到网络上，不仅仅可以让自己回顾，也可以帮助需要学习的小伙伴们，供大家一同学习。首先，hadoop 环境的搭建需要在linux的环境下，那么，现在，咱们需要将linux的基本网络设置已经配置完毕，注意，每一次配置完成，建议要给系统做一个快照，以免不必要的情况发生后，整个系统都崩盘，这时候就后悔莫
转载
2024-07-19 14:33:17
124阅读
一、目录:集群规划HDFS HA冒烟测试功能特性 二、集群规划：负载类型容量规划可扩展性角色分离管理节点
Master节点Worker节点边缘节点 三、HDFS HA（高可用）架构原理见下图： 四、冒烟测试：详细说明参见之前的博客：五、功能特性：HDFS Balancer快照 Snapshots配额 Quota权限 ACLs存储策略集中缓存管理机架
转载
2024-05-18 09:28:02
145阅读
# 在Hadoop中使用Vim命令的指南
Hadoop 是一个流行的大数据处理框架，而 Vim 是一款强大的文本编辑器。在 Hadoop 中，您可能需要使用 Vim 编辑配置文件、脚本或其他文本内容。下面这篇文章将指导您如何在 Hadoop 环境中使用 Vim 命令完成基本的文本编辑任务。
## 流程步骤
以下是使用 Vim 编辑 Hadoop 中的文件的基本流程：
| 步骤 | 操作
一、启动，按启动顺序执行命令。如果需要关闭集群，则按反顺序执行即可。1.如果使用hdfs HA，需先启动zookeeper集群，具体请查看zookeeper的相关命令。2.如果使用hdfs HA，需格式化zookeeper集群，整个hdfs集群只需第一次启动时执行一次，整个hdfs集群只需第一次启动时执行一次，整个hdfs集群只需第一次启动时执行一次，命令如下：bin/hdfs zkfc -fo
转载
2023-07-20 17:07:32
153阅读
1、hadoop dfsadmin -report 查看系统运行报告；2、jps 查看启动了那些Hadoop服务；3、hadoop job -list 列出当前作业4、hadoop fs -mkdir /test 在HDFS上创建/test目录5、hadoop jar hadoop-examples-1.0.0.jar wordcount /input /output &
转载
2023-05-18 10:58:00
148阅读
准备工作Oracle VM VirtualBox工具下搭建的linux系统 ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8 hadoop安装包安装步骤1、解压hadoop安装包 （1）．把下载好的安装包，拖拽到/software目录中 这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下（2
转载
2023-09-20 10:54:21
1500阅读
HDFS是基于Java的文件系统，可在Hadoop生态系统中提供可扩展且可靠的数据存储。因此，我们需要了解基本的HDFS配置和命令才能正常使用它。在使用之前，我们首先讨论如何配置安装HDFS。Hadoop以及HDFS都运行在java环境中，因此我们都需要安装JDK： 设置namenode节点到datanode节点的免密登陆 1、本地免密登录 2、跨主机免密登陆
1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.
转载
2023-09-20 22:45:02
230阅读
hadoop命令分为2级，在linux命令行中输入hadoop，会提示输入规则Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
#这个命令用于格式化DFS系统：hadoop namenode -formate
sec
转载
2023-07-12 15:21:19
185阅读
记一次替换Hadoop/HDFS/HBASE的磁盘1. 需求近几个月业务增长很快，数据量也大幅增长，但是存储数据的磁盘眼看就要满载，因此需要迁移数据，并且要满足以下几个需求：由于用的云服务器，磁盘是要收钱的，所以原来的盘腾出来不再续费，只用替换的是10p的云存储。线上数据是不断流动的，不能停服务，不能影响线上数据的正常查询，动态替换。数据一致性必须保证。2. 方案参考了(百度了）很多资料后的解决思
转载
2023-09-20 12:05:31
67阅读
规划原则： ➢ NameNode 和 SecondaryNameNode 不要安装在同⼀台服务器 ➢ ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同⼀台服务器masterslave1slave2hdfsnamenodenamenodedatanodedatanodedatanodeyarndatanodedatanodedata
转载
2023-08-04 10:39:42
177阅读
安装Hadoop的详细过程（１）创建虚拟机Ubuntu2(可自定义)内存大小可自定义（建议大一点较好） 建议虚拟硬盘大一点 上述完成后先别启动，更改一下设置！ 存储 - 选择没有盘片，并添加已下载好的Ubuntu镜像 在安装期间关闭网络，等安装完再启用 创建一个共享文件夹，并且记住这个文件夹的名字和路径！ 按住Alt键，右击鼠标往上拖，点击“新建分区表”（２）安装完虚拟机后，点击“现在重启”，进入
转载
2023-07-19 13:22:37
77阅读
文章目录一、hdfs 命令二、yarn 相关命令三、yarn 相关参数调整 一、hdfs 命令查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more
统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509查看
转载
2023-05-29 16:47:37
288阅读
# 深入了解Hadoop命令中的count功能
在大数据处理领域，Hadoop作为一个开源框架，被广泛应用于存储和处理海量数据。Hadoop生态系统中包含许多组件，其中HDFS（Hadoop Distributed File System）和MapReduce是最为基础和重要的部分。本文将专注于Hadoop命令中的count功能，通过示例来阐释其用法和背后的原理。
## 1. Hadoop C
Hadoop中distcp命令1.什么是distcp命令？Hadoop comes with a useful program called distcp for copying data to and from Hadoop filesystems in parallel.2.distcp 是如何实现的？distcp is implemented as a MapReduce jo...
原创
2022-01-26 10:36:46
3207阅读
# Hadoop 命令中的 mv：数据迁移的指南
Hadoop 是一个用于存储和处理大数据的开源框架，其中的 Hadoop 分布式文件系统（HDFS）为用户提供了对大数据的存储和管理功能。在日常使用中，用户经常需要在 HDFS 上进行一些基本的文件操作，其中“mv”命令就显得尤为重要。本文将深入讲解 Hadoop 中的 `mv` 命令，并提供相关的代码示例，帮助用户更好地掌握这一命令的使用。
Hadoop中distcp命令1.什么是distcp命令？Hadoop comes with a useful program called distcp for copying data to and from Hadoop filesystems in parallel.2.distcp 是如何实现的？distcp is implemented as a MapReduce jo...
原创
2021-07-07 15:20:55
464阅读
# Hadoop中的mv命令：数据管理的强大工具
在大数据领域，Apache Hadoop是最为广泛使用的分布式计算框架之一。Hadoop使得在大规模数据集上进行处理变得更为高效和敏捷。在Hadoop的生态系统中，有多种操作可用于数据管理，而“mv”命令则是用于移动或重命名文件的重要命令。本文将深入探讨Hadoop中的`mv`命令，包括其用法、示例以及如何有效地在分布式文件系统中管理数据。
#
MapReduce简单介绍 MapReduce是一个分布式的计算框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算框架，并发运行在hadoop集群上。引入MapReduce框架后，开发人员可以将绝大部分的工作集中于业务逻辑上的开发，具体的计算只需要交给框架就可以。用于处理海量的数据分析计算工作，但目前因为性能问题，正在被spark替代。MapReduce过程介绍
转载
2023-07-12 02:39:15
69阅读
1.zookeeper基础zookeeper是Hadoop生态圈中一份子，其作用是解决分布式系统之间协调通信问题。zookeeper维护着一个树形层次结构，树上的节点称为znode，这样的树形结构类似于文件系统下文件目录结构，znode中存储数据和相应的ACL(访问控制列表)，znode也可以含有多个子结点，与文件系统不同的是，znode存放数据量小，所以存放在内存中。zookeeper通过类似于
转载
2023-05-29 10:51:33
141阅读
