一、软件安装1、JDK1.8 链接：https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi 提取码：agoi 2、hadoop-3.1.3版本 链接：https://pan.baidu.com/s/1cRkMc7LHPpza7n2oWqyLGw?pwd=ecid 提取码：ecid 3、winutils-master 3.1.1版本下载（wi
转载
2024-07-23 10:23:28
27阅读
一、硬件选择（namenode，resourcemanager）的可靠性要好于从节点（DataNode，nodemanager）；多路多核、高频CPU、大内存（namenode的内存决定了集群保存文件数的总量，resourcemanager同时运行的作业会消耗一定的内存）；从节点的内存需要根据CPU的虚拟核数vcore进行配比CPU的vcore数=CPU个数*单CPU核数*HT超线程数， 内存容
转载
2023-07-25 09:45:24
222阅读
HDFS的命令行使用1.ls格式：hdfs dfs -ls URL 作用：类似linux的ls命令，显示文件列表hdfs dfs -ls /2.lsr格式：hdfs dfs -ls-R URL 作用：在整个目录下递归执行ls，与linux中的ls-R类似hdfs dfs -ls -R /3.mkdir格式：hdfs dfs [-p] -mkdir 作用：以中的URL作为参数，创建目录、使用-p参
转载
2024-04-04 12:29:59
47阅读
## Hadoop中的vCore是什么？
在Hadoop生态系统中，vCore是一个用于计算资源管理的概念。vCore是Hadoop集群中可用的虚拟CPU核心数。它决定了在集群上运行的任务的并行度和资源分配。
vCore的概念最初由Apache Hadoop引入，然后被其他Hadoop发行版如Cloudera CDH、Hortonworks HDP等采用。vCore的引入是为了解决之前Hado
原创
2023-10-18 08:21:42
778阅读
# Hadoop vcore和core比例详解
在Hadoop中，vcore和core是两个常见的概念。本文将详细解释vcore和core之间的关系，并提供代码示例来帮助读者更好地理解。
## 什么是vcore和core？
在Hadoop集群中，vcore和core都是计算资源的单位。vcore是YARN (Yet Another Resource Negotiator) 中的一个概念，用于
原创
2023-12-26 05:13:53
491阅读
hadoop官网 我以Hadoop 2.7.3为例. hadoop 2.7.3 官网 . 用的操作系统是64bit Ubuntu14.04. 其中我们还可以学习 Apache Maven Project , 它是用来编译 hadoop 源代码的. 还要了解 Apache Log4j , 它用来调试 hadoop 源代码.1. Hadoop环境准备1.1 准备学习环境1.1.1
Hadoop大数据平台为何能在互联网时代脱颖而出呢？计算机的普及程度的提高，信息量的快速增长，带动了大数据产业的发展，面对数据信息的爆炸式增长使得目前的政企或其他的机构都面临着大量数据需要计算、存储和分析的难题。如何高效、便捷、快速的实现对爆炸式海量数据的存储计算成为厄待解决的难题。Hadoop大数据平台凭借自身独特的优势，低成本、高效率、便捷的部署使用，获得了青睐。Hadoop作为一个开源的分布
1.下面是主要的类层次图 2.Writable和WritableComparable的子类们基本大同小异 3.RawComparator和WritableComparator 举例如下,以下以text类型的comparator每个字符从高到低位比较,对于数字类型的字符串也是比较适用的 /** A WritableComparator optimized for Tex
本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！下面散仙模拟当时的环境，接到问题后，第一件事就是先查看centos系统的磁盘使用率执行命令 df -h
转载
2023-09-20 12:45:21
73阅读
一、Hadoop架构Hadoop1.0版本两个核心：HDFS+MapReduceHadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。二、HDFSNameNode名字节点。要管理元数据信息（Metadata），只存储元数据信息。namenode对于元数据信息的管理，放
1引言hadoop如今已经成为大数据处理中不可缺少的关键技术，在如今大数据爆炸的时代，hadoop给我们处理海量数据提供了强有力的技术支撑。因此，了解hadoop的原理与应用方法是必要的技术知识。hadoop的基础原理可参考如下的三篇论文：The Google File System, 2003MapReduce: Simplified Data Processing on Large Clust
转载
2024-08-02 10:04:28
34阅读
[b][color=green][size=large]本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。
起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！
转载
2023-08-21 17:18:58
78阅读
目录Yarn (资源调度器)Yarn 基础框架工作机制Yarn 调度器和调度算法FIFO调度算法容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler）常用命令Yarn 生产核心参数Yarn 案例实操(待续) Yarn (资源调度器)Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则
转载
2024-01-30 23:04:44
203阅读
# 如何解决hadoop集群cpu跑满了的问题
## 1. 流程图
```mermaid
flowchart TD;
A[观察cpu使用情况] --> B[找出导致cpu跑满的原因]
B --> C[优化hadoop集群配置]
C --> D[重新部署并监控cpu使用情况]
```
## 2. 步骤表格
| 步骤 | 操作 |
| ---- | ---- |
| 1
原创
2024-03-17 05:38:39
127阅读
Balancer bandwidth is set to 52428800 for nn01.sudops.com/10.233.100.161:9000 Balancer bandwidth is set to 52428800 for nn02.sudops.com/10.233.100.162:9000* **调整balance的平衡比例：**
将原来的%5 提高到20%，调整原则就是尽
# Hadoop存储目录满了怎么办？
Hadoop是一个开源的分布式计算平台，用于处理大规模数据集。然而，在使用过程中，我们可能会遇到存储目录满了的问题。本文将介绍如何通过代码示例和甘特图、旅行图来解决这个问题。
## 问题概述
当Hadoop的存储目录满了时，系统将无法继续写入数据。这会导致数据处理任务失败，影响业务运行。因此，我们需要及时采取措施来解决这个问题。
## 解决方案
##
原创
2024-07-20 07:33:29
106阅读
2014-09-09 17:25:44,040 WARN mapred.LocalJobRunner - job_local_0001org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid lo...
转载
2014-09-09 18:00:00
630阅读
2评论
文章目录问题出现背景问题解决办法涉及知识点 问题出现背景 当磁盘上存储大量数据的时候，很容易就会造成磁盘使用率高，影响进程的正常执行问题解决办法 1.在可能导致磁盘满的根路径执行du --max-depth=1，查看该目录下各文件（夹）的磁盘占用情况 2.进入占比高的目录，继续执行du --max-depth=1，依次直到找到造成磁盘满了的原因 3.既然找到了原因，那么肯定是需要进行处理的
转载
2023-11-12 16:11:56
133阅读
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。 其实一开始就知道是并行度过高的问题，也尝试过在kylin里面调试，但并没有用。后来通过jps查看yarnch
转载
2024-04-09 20:38:01
31阅读
## 解决Hadoop磁盘空间满了的问题
在使用Hadoop时，有时候会出现磁盘空间满了的情况。这可能是由于数据量过大或者磁盘空间配置不合理导致的。在这种情况下，我们可以采取一些方法来解决这个问题。
### 查看磁盘空间使用情况
首先，我们需要查看Hadoop集群中各个节点的磁盘空间使用情况，以便找出哪些节点的磁盘空间已经满了。我们可以使用以下命令来查看Hadoop集群中各个节点的磁盘空间使
原创
2024-05-10 04:06:40
234阅读
