Hadoop来源
来自于Google 三大论文
MapReduce / GFS / BigTable
三大核心
1、Hadoop HDFS （Hadoop Distributed File System）
一个高可靠、高吞吐量的分布式文件系统
2、Hadoop MapReduce
一个分布式的离线并行
转载
2023-09-22 12:59:19
62阅读
经过一段时间的配置，Hadoop环境总算运行起来了，但是呢，为何主节点就没有跑tasktracker和datanode进程，slave节点也没有跑secondary进程，Hadoop是如何控制的呢？ 经过看权威指南（267页）和跟群里同学讨论，还有自己测试，最终确定： tasktracker和datanode这两个守护进程 —— 只会在conf/slaves文件里指定的那些节点
转载
2023-07-13 14:24:24
77阅读
1.LicenseHadoop 2.x - Apache 2.0，开源Hadoop 3.x - Apache 2.0，开源2.支持的最低Java版本Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 83.容错Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。Hadoop 3.x - 可以通过Erasure编码处理容
转载
2023-08-03 21:00:21
45阅读
启动Hadoop之后jps查看不到相关进程 说在前面
一定要清楚启动hadoop的是root用户还是自建的hadoop用户，linux下面对于不同用户的权限管理是很明确的。为防止胡乱修改一些文件产生一些不可修复的错误（别问为什么，俺就是有问题就百度然后就会改一些自己也不知道是啥的文件），新手还是建议用hadoop用户。然后清楚一些常用的配置文件和参数，比如说hdfs-site.xml里面的dfs
转载
2023-09-07 05:58:42
79阅读
初学大数据，操作Hadoop，执行jps后，并没有出现jps的5个进程 如果执行成功理应出现下图所显示的内容：也就是这五个进程 NodeManager ResourceManager DataNode SecondaryNameNode NameNode但是呢，会有一些原因导致进程显示不完全。下面一起来解决。第一步：查看log日志。log日志在 根路径下soft/hadoop下面 进
转载
2023-05-31 00:39:57
0阅读
目录1. 准备部分2. jar包依赖3. Map部分4.Reduce部分5.提交部分6.打包提交接下来以一个简单的WordCount为例子，介绍Java版本的MapReduce的程序编写。mapreduce程序主要分三部分：1.map部分，2.reduce部分，3.提交部分。1. 准备部分hadoop中，针对数据类型自成一体，与java的数据类型对应。封装在hadoop.io包中，主要分为基本类型
转载
2023-07-21 12:18:31
37阅读
Hadoop进程：1、Namenode没有Namenode，HDFS就不能工作。事实上，如果运行namenode的机器坏掉的话，系统中的文件将会完全丢失，因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此，namenode的容错机制非常重要，Hadoop提供了两种机制。 第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Name
转载
2023-06-28 09:05:33
215阅读
作者: 阿枫 最近不知道什么原因公司服务器上的Apache服务会莫名其妙的挂掉，Apache就这样，压力大了就罢工，考虑找别的软件代替Apache。。现在有个问题：要在Apache 挂掉时自动启动Apache，呵呵，又搬出强大的CMD，简单的写了一段命令，直接运行成功~~@echo off net start | find /c /i "apache2.2" > nul if "%er
转载
2023-07-20 16:22:11
61阅读
# 如何在Hadoop 2中设置Block Size
在大数据处理领域，Hadoop是一个广泛使用的框架，而Hadoop中的Block Size设置对于数据存储效率至关重要。本篇文章将指导你如何在Hadoop 2中设置Block Size，并通过具体的步骤和代码示例帮助你理解整个过程。
## 整体流程
下面是设置Hadoop 2 Block Size的步骤概览：
| 步骤 | 描述
原创
2024-08-19 05:52:01
48阅读
# Hadoop 2 升级指南
Hadoop 是一个用于大数据处理的开源框架，它能够以分布式的方式存储和处理海量数据。随着版本的迭代，Hadoop 2 引入了诸多新特性和改进，比如 YARN（Yet Another Resource Negotiator）、更高的可扩展性等。因此，对于使用旧版本的 Hadoop 用户来说，升级到 Hadoop 2 是一项至关重要的任务。
本文将详细介绍 Had
下载 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ jdk 安装`
原创
2021-08-01 09:24:37
167阅读
一：准备三台虚拟机，配置同步1 创建模板机，关闭防火墙、静态IP、主机名称这里三台虚拟机使用4g4核50g内存，centos7,主机名为hadoop100，IP地址192.168.88.100，root密码为000000；修改主机名hostnamectl set-hostname hadoop100修改静态IPcd /etc/sysconfig/network-scripts/
ls
vi ifc
hadoop fs -put abc.txt hdfs://itcast01:9000/jdk[root@itcast01 hadoop-2.2.0]# hadoop fs -put abc.txt hdfs://itcast01:9000/jdk15/08/02 09:19:21 WARN util.NativeCodeLoader: Unable to load native-hadoop l
原创
2015-08-03 00:23:00
645阅读
## 安装hadoop2的流程
### 1. 下载hadoop2
首先，你需要从hadoop的官方网站上下载最新版本的hadoop2。你可以在以下网址找到最新版本的下载链接：[
### 2. 安装Java开发工具包（JDK）
Hadoop是用Java编写的，所以在安装hadoop之前，你需要确保已经安装了Java开发工具包（JDK）。你可以从Oracle的官方网站上下载最新版本的JDK。
#
原创
2023-09-13 10:23:21
88阅读
1 namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了 2 QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动Qu
转载
2023-10-26 11:34:36
103阅读
Hadoop下，HDFS运维算是一个非常重要的过程。对于生产而言，海量数据被存储到了HDFS中，如果HDFS挂了，那么导致生产环境无法工作是小，遗失数据而造成的后果将更加巨大。下面总结下CDH体系下HDFS基础运维知识。首先得从HDFS下的NameNode开始，简介下NameNode的工作机制当我们把NameNode格式化后会产生如下目录结构${dfs.name.dir}/current/VERS
转载
2023-07-13 17:50:08
66阅读
在选择Hadoop 3和Hadoop 2时，许多用户面临迁移和兼容性问题。本文将深入探讨这两者之间的选择过程，包括版本对比、迁移指南、兼容性处理、实战案例、性能优化和生态扩展等方面，帮助读者做出更明智的选择。
## 版本对比
首先，让我们来看看Hadoop 3和Hadoop 2之间的主要差异。以下是一些关键特性对比的表格：
| 特性 | Hadoop 2
1.4 安装Hadoop完全分布式的HBase要运行在HDFS之上。对于完全分布式的HBase集群来说，其主守护进程（HMaster）通常要运行在HDFS主节点所在的服务器（NameNode）上，而其从守护进程（HRegionServer）要运行在HDFS从节点所在的服务器（我们称之为DataNode）上。HBase并不必须使用Hadoop MapReduce，所以我们也不需要启动MapReduc
转载
2024-07-01 21:01:50
28阅读
namevaluedescriptionmapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, i
原创
2023-05-12 21:10:55
106阅读
大数据之路系列之Hadoop核心理论（03） 提示：只涉及面试或者实际中核心的内容 Hadoop大数据之路系列之Hadoop核心理论（03）文章链接一、初识Hadoop二、hdfs命令总结 文章链接链接: link。提示：以下是本篇文章正文内容，下面案例可供参考一、初识Hadoop1.Hadoop主要包含三大组件：HDFS+MapReduce+YARNHDFS负责海量数据的分布式存储MapRedu
转载
2023-09-20 12:08:43
55阅读
