目前，Hadoop还只是数据仓库产品的一个补充，和数据仓库一起构建混搭架构为上层应用联合提供服务。 Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YAR
转载
2023-11-22 19:33:18
146阅读
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA
注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的
转载
2024-07-29 23:27:33
32阅读
Hadoop JournalNode是Hadoop分布式文件系统（HDFS）中的一个关键组件，它负责记录文件系统的元数据变更操作。在一个Hadoop集群中，通常会有多个JournalNode实例以保证数据的高可用性和容错性。
本文将介绍JournalNode的概念、功能和使用方法，并提供相应的代码示例。首先，我们需要了解JournalNode的作用和原理。
## 1. JournalNode的
原创
2024-02-02 07:31:32
444阅读
CDH Hadoop集群互信实现教程
## 1. 流程概述
本教程将指导你实现CDH Hadoop集群之间的互信。具体流程如下：
步骤|操作
---|---
1|生成SSH密钥对
2|将公钥分发到其他集群节点上
3|配置SSH免密登录
4|测试SSH免密登录
## 2. 生成SSH密钥对
首先，我们需要生成SSH密钥对，用于后续的认证和加密。在终端中执行以下命令：
```bash
ss
原创
2023-12-15 08:54:58
154阅读
在当前大数据环境下，Hadoop集群可以处理海量数据，而多个集群之间的联通性则成为了数据分析和处理中的关键。因此，我们会涉及到如何在两个Hadoop集群之间建立DBLink（数据库链接）。本篇文章旨在详细介绍解决“两个Hadoop集群建DBLink”的过程，包括环境预检、部署架构、安装过程、依赖管理、服务验证及安全加固等内容。
## 环境预检
在开始之前，我们首先需要进行环境预检，以确保两个H
文章目录一 阿里云主机（3台）1.1 选择云服务器ECS1.2 创建实例1.3 基本配置1.4 网络和安全组1.5 系统配置1.6 确认实例1.7 实例列表二 环境准备2.1 用户和目录准备2.2 软件准备2.3 ip与hostname绑定2.4 设置3台机器ssh免密通信三 安装jdk四 安装ZooKeeper五 安装Hadoop5.1 解压（3台机器）5.2 配置环境变量(3台机器)5.3
转载
2023-10-08 06:45:03
308阅读
三台CentOS7的机器分别为cdh50-121，cdh50-122，cdh50-127，用户名都是hdfs，并且设置免密互信一、安装前准备下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/，下载hadoop-3.1.3.tar.gz为方便操作，zookeeper安装在用户目录下（/home/hdfs）后续操作都以hdfs
转载
2024-08-02 10:37:31
146阅读
Hadoop2.7.2集群搭建详解（三台）集群规划 主机名ip安装的软件进程master 192.168.1.111 jdk、hadoop namenode ressourcemanagerslave1 192.168.1.112 jdk、hadoop datanode secondnamenodeslave2 192.168.1.113 jdk、hadoop datanade免登录这里直接用ro
转载
2024-09-22 15:11:12
106阅读
List of articles一.前言二.DataNode的启动 一.前言DataNode类封装了整个数据节点逻辑的实现。 它通过DataStorage以及FsDatasetImpl管理着数据节点存储上的所有数据块， DataNode类还会通过流式接口对客户端和其他数据节点提供读数据块、 写数据块、 复制数据块等功能。 同时DataNode类实现了InterDatanodeProtocol以及
Hadoop第一篇:hadoop2.7.5单机版安装简介Hadoop主要完成两件事，分布式存储和分布式计算。Hadoop主要由两个核心部分组成：1.HDFS：分布式文件系统，用来存储海量数据。2.MapReduce：并行处理框架，实现任务分解和调度。HDFS是一个分布式文件系统，用来存储和读取数据的。文件系统都有最小处理单元，而HDFS的处理单元是块。HDFS保存的文件被分成块进行存储，默认的块大
转载
2024-02-05 10:33:31
308阅读
一、Yarn的基本架构 YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceMana
# 如何在Hadoop中实现两个Key
在Hadoop中实现两个Key（即复合Key）通常用于处理复杂的数据格式，如 (key1, key2) 的形式。这种处理方式常应用于MapReduce、Hive等场景。在本文章中，我们将详细介绍实现这一功能的完整流程。
## 实现流程概述
以下是实现两个Key的基本流程：
| 步骤 | 描述
# Hadoop集群中Hive数据表迁移的指南
在大数据领域，数据的迁移是非常常见的一项任务，特别是在多个Hadoop集群之间迁移Hive数据表。对于新手开发者而言，掌握这一过程是非常重要的。本文将详细介绍如何将Hive数据表从一个Hadoop集群迁移到另一个Hadoop集群。
## 流程概述
下面是迁移Hive数据表的基本步骤：
| 步骤 | 描述
原创
2024-09-14 06:52:37
283阅读
# 两个Redis集群的奇妙旅程
在这个数据驱动的时代，Redis集群已经成为许多应用程序的关键组件。然而，你是否曾经想过拥有两个Redis集群会带来哪些好处呢？本文将带你探索这一主题，并展示如何通过代码示例实现这一目标。
## 为什么需要两个Redis集群？
拥有两个Redis集群可以带来以下好处：
1. **高可用性**：当一个集群发生故障时，另一个集群可以接管其任务，保证服务的连续性
原创
2024-07-27 09:34:54
28阅读
一、Hadoop是什么?Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系
转载
2023-08-07 17:38:15
110阅读
kerberos相关： kadmin.local //以超管身份进入kadmin
kadmin //进入kadmin模式，需输入密码
kdb5_util create -r JENKIN.COM -s //创建数据库
service krb5kdc start //启动kdc服务
service kadmin start //启动kadmin服务
servic
转载
2024-08-12 13:40:56
97阅读
Hadoop运行在商业硬件上。用户可以选择普通硬件供应商生产的标准化的、广泛有效的硬件来构建集群，无需使用特定供应商生产的昂贵、专有的硬件设备。 首先澄清两点。第一，商业硬件并不等同于低端硬件。低端机器常常使用便宜的零部件，其故障率远高于更贵一些（但仍是商业级别）的机器。当用户管理几十台、上百台，甚至几千台机器时，选择便宜的零部件并不划算，因为更高的故障率推高了维护成本。第二，也不推荐使用大型的数
转载
2024-07-08 15:59:05
41阅读
一、基础环境在Linux上安装Hadoop之前，需要先安装两个程序：1.1 安装说明1. JDK 1.6或更高版本（本文所提到的安装的是jdk1.7）; redHat自带的jdk一般不用，删除后重新装自己需要的2. SSH(安全外壳协议)，推荐安装MobaXterm_Personal。（功能的，好用）
二、Host配置由于我搭建Hadoop集群包含三台机器，所以需要修改调整各台机器的ho
转载
2024-05-28 17:55:38
75阅读
# 配置两个Hadoop集群Kerberos认证跨域互信
在大数据时代，Hadoop作为一种广泛使用的分布式处理框架，常用于处理和分析海量数据。为了增强安全性，Hadoop集群通常会集成Kerberos认证机制。本文将介绍如何配置两个Hadoop集群使其在Kerberos认证下跨域互信。
## 什么是Kerberos？
Kerberos是一种网络认证协议，它通过使用密钥分发中心（KDC）来实
# Hadoop两个集群之间的DITCP同步需要开通哪些端口
在Hadoop集群中，使用DistCp（分布式复制）工具可以实现两个集群之间的数据同步和复制。但是，在进行集群间的数据同步时，需要确保集群之间的网络通信是畅通的。其中，开通特定的端口对DistCp同步非常重要。
## DistCp简介
DistCp是Hadoop生态系统中的一个工具，用于在Hadoop集群之间高效地复制数据。它可以
原创
2024-02-18 05:48:20
337阅读
