hadoop-2.2.0
1.下载解压到/opt,文件夹改名hadoop
2./etc/profile.d文件夹下建立hadoop.sh
内容都是根据文档添加的
HADOOP_COMMON_HOME=/opt/hadoopHADOOP_HDFS_HOME=/opt/hadoopHADOOP_MAPRED_HOME=/opt/hadoopHADOOP_YARN_HOME=/op
原创
2022-10-28 05:09:06
58阅读
第1章 环境安装配置1.5 构建集群1、集群概念根据百度的解释： 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。服务器集群是一种提升服务器整体计算能力的解决方案。它是由互相连接在一起的服务器群所组成的一个并行式或分布式系统。服务器集群中的服务器运行同一个计算任务
转载
2024-08-02 11:38:38
60阅读
环境准备依然沿用之前Centos7搭建zookeeper集群的机器，基本配置如下，关闭防火墙，selinux，修改hostname，配置免密互信配置hosts文件vim /etc/hosts10.15.5.240 zk-master10.15.5.241 zk-node110.15.5.242 zk-node2使其可以通过hostname
原创
2022-02-18 16:48:48
153阅读
目录1 MapReduce 中的计数器2 规约Combiner实现步骤运行实验3 流量统计数据需求一: 统计求和Step 1: 自定义map的输出value对象FlowBeanStep 2: 定义FlowMapper类Step 3: 定义FlowReducer类Step 4: 程序main函数入口JobMain需求二 : 上行流量倒序排序（递减排序）Step 1: 定义FlowBean实现Wri
版权声明：欢迎转载，但是看在我辛勤劳动的份上，请注明来源：http://blog.csdn.net/yinwenjie（未经允许严禁用于商业用途！）目录(?)[+]1、概述8月份的第一周，忙得晕头转向，为了解决OSGI-Felix 下 hibernate JPA的ClassLoader问题，就耽误了至少两天时间，还好在周五系统成功在servicemix上运行了。已经几天时间没有碰博客了，刚好下周有
转载
2016-10-14 14:52:56
822阅读
1、概述8月份的第一周，忙得晕头转向，为了解...
转载
2015-08-08 23:33:00
66阅读
2评论
1.集群部署规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager ...
原创
2020-04-12 10:14:19
83阅读
# Hadoop Namenode 单点启动
Hadoop是一款广泛应用于大数据处理的开源框架，其中Namenode是Hadoop分布式文件系统（HDFS）的核心组件。它负责管理文件系统的命名空间和控制对应用程序的访问。然而，当Namenode单点故障时，整个HDFS将无法使用，因此了解Namenode的单点启动流程显得尤为重要。
## 一、Namenode 的基本概念
在Hadoop中，N
原创
2024-08-27 03:42:24
99阅读
# Hadoop 单点切换 HA
在使用 Hadoop 进行大规模数据处理时，往往需要保证系统的高可用性（High Availability，简称 HA）。单点故障是系统不可用的主要原因之一，为了解决单点故障带来的风险，可以通过引入 HA 方案来提高系统的稳定性和可靠性。
Hadoop 提供了一种 HA 解决方案，即单点切换（Single Point of Failure Switch）HA。
原创
2024-06-23 03:37:59
58阅读
本文所用软件版本：VMware-workstation-full-11.1.0jdk-6u45-linux-i586.binubuntukylin-14.04-desktop-i386.iso第一步：安装JDK 第二步：安装Hadoop 首先加入下载的Hadoop安装包在/usr/local/hadoop文件夹下面。然后在命令行下进入/usr/local/hadoop文件，类似
实验环境 Linux Ubuntu 16.04实验内容 在只安装Linux系统的服务器上，安装Hadoop3.0.0单点模式。1. 首先来配置SSH免密码登陆双击桌面命令行终端，SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对 ssh-keygen -t rsa 出现如下内容：Enter file in which to save the key (/home/dolphin/.ssh/
转载
2024-08-02 10:34:54
18阅读
Hadoop的优势有四高：(1) 高可用: Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据，可方便的扩展数以千计的节点(3) 高效性: 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度(4) 高容错性: 能够自动将失败的任
转载
2023-07-24 13:56:11
223阅读
简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它的核心组件有HDFS（分布式文件系统）解决海量数据存储、YARN（作业调度和集群资源管理框架）解决资源任务调度和MapReduce（分布式运算编程框架）解决海量数据计算。另外Hadoop如今拥有一个庞大
转载
2023-09-22 12:57:04
55阅读
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，而mapreduce必须放在一个资源调度平台（yarn）上来跑，由平台分布内存cup等信息。两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /No
转载
2023-09-20 11:59:47
101阅读
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
转载
2023-07-30 15:53:33
109阅读
写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦
转载
2023-07-24 11:31:20
96阅读
Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。
转载
2023-08-21 10:35:01
80阅读
本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w 提取码：lkjh（若链接失效在下面评论，我会及时更新） 搭建环境：hadoop-3.1.3，jdk1.8.0_162一、HA模式简介Hadoop的HA模式是在Hadoop全分布式基础上，利用ZooKeeper等协调工具配置的高可用Hadoop集群。 如果还没有配置全分布式的Hadoo
转载
2023-07-12 12:57:35
124阅读
1.Hadoop集群尽量采用ECC内存，否则可能会出现校验和错误，ECC内存有纠错功能。在磁盘方面，尽管namenode建议采用RAID以保护元数据，但是将RAID用于datanode不会给HDFS带来益处，速度依然比HDFS的JBOD(Just a Bunch Of Disks)配置慢。RAID读写速度受制于最慢的盘片，JBOD的磁盘操作都是独立的。而且JBOD配置的HDFS某一磁盘故障可以直接
转载
2024-05-16 21:01:32
23阅读
Kubenetes安装部署基本环境准备主机名IP角色k8s-master-server18.8.8.148masterk8s-node-server28.8.8.149node设置主机名hostnamectlset-hostnamek8s-master-server1配置Hostscat>>/etc/hosts<<EOF8.8.8.148k8s-master-server1
原创
2020-09-04 10:24:40
672阅读
点赞
