hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA
注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的
转载
2024-07-29 23:27:33
32阅读
目前，Hadoop还只是数据仓库产品的一个补充，和数据仓库一起构建混搭架构为上层应用联合提供服务。 Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YAR
转载
2023-11-22 19:33:18
146阅读
Hadoop JournalNode是Hadoop分布式文件系统（HDFS）中的一个关键组件，它负责记录文件系统的元数据变更操作。在一个Hadoop集群中，通常会有多个JournalNode实例以保证数据的高可用性和容错性。
本文将介绍JournalNode的概念、功能和使用方法，并提供相应的代码示例。首先，我们需要了解JournalNode的作用和原理。
## 1. JournalNode的
原创
2024-02-02 07:31:32
444阅读
文章目录一 阿里云主机（3台）1.1 选择云服务器ECS1.2 创建实例1.3 基本配置1.4 网络和安全组1.5 系统配置1.6 确认实例1.7 实例列表二 环境准备2.1 用户和目录准备2.2 软件准备2.3 ip与hostname绑定2.4 设置3台机器ssh免密通信三 安装jdk四 安装ZooKeeper五 安装Hadoop5.1 解压（3台机器）5.2 配置环境变量(3台机器)5.3
转载
2023-10-08 06:45:03
308阅读
三台CentOS7的机器分别为cdh50-121，cdh50-122，cdh50-127，用户名都是hdfs，并且设置免密互信一、安装前准备下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/，下载hadoop-3.1.3.tar.gz为方便操作，zookeeper安装在用户目录下（/home/hdfs）后续操作都以hdfs
转载
2024-08-02 10:37:31
146阅读
CDH Hadoop集群互信实现教程
## 1. 流程概述
本教程将指导你实现CDH Hadoop集群之间的互信。具体流程如下：
步骤|操作
---|---
1|生成SSH密钥对
2|将公钥分发到其他集群节点上
3|配置SSH免密登录
4|测试SSH免密登录
## 2. 生成SSH密钥对
首先，我们需要生成SSH密钥对，用于后续的认证和加密。在终端中执行以下命令：
```bash
ss
原创
2023-12-15 08:54:58
154阅读
在当前大数据环境下，Hadoop集群可以处理海量数据，而多个集群之间的联通性则成为了数据分析和处理中的关键。因此，我们会涉及到如何在两个Hadoop集群之间建立DBLink（数据库链接）。本篇文章旨在详细介绍解决“两个Hadoop集群建DBLink”的过程，包括环境预检、部署架构、安装过程、依赖管理、服务验证及安全加固等内容。
## 环境预检
在开始之前，我们首先需要进行环境预检，以确保两个H
# 两个Redis集群的奇妙旅程
在这个数据驱动的时代，Redis集群已经成为许多应用程序的关键组件。然而，你是否曾经想过拥有两个Redis集群会带来哪些好处呢？本文将带你探索这一主题，并展示如何通过代码示例实现这一目标。
## 为什么需要两个Redis集群？
拥有两个Redis集群可以带来以下好处：
1. **高可用性**：当一个集群发生故障时，另一个集群可以接管其任务，保证服务的连续性
原创
2024-07-27 09:34:54
28阅读
Hadoop2.7.2集群搭建详解（三台）集群规划 主机名ip安装的软件进程master 192.168.1.111 jdk、hadoop namenode ressourcemanagerslave1 192.168.1.112 jdk、hadoop datanode secondnamenodeslave2 192.168.1.113 jdk、hadoop datanade免登录这里直接用ro
转载
2024-09-22 15:11:12
106阅读
List of articles一.前言二.DataNode的启动 一.前言DataNode类封装了整个数据节点逻辑的实现。 它通过DataStorage以及FsDatasetImpl管理着数据节点存储上的所有数据块， DataNode类还会通过流式接口对客户端和其他数据节点提供读数据块、 写数据块、 复制数据块等功能。 同时DataNode类实现了InterDatanodeProtocol以及
1 前言在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。集群可以理解为多台装有hadoop的服务器。搭建Hadoop集群的目的就是为了管理多台服务器，使多台服务器之间能够协调工作。本文选择了3台阿里云服务器。从下图中可以对整个大数据架构有了大体的了解。Hadoop主要有HDFS（分布
转载
2023-07-12 09:52:16
45阅读
Redis官方教程地址： https://redis.io/topics/cluster-tutorialRedis Cluster 5.x集群搭建Redis4.x 搭建集群是需要手动安装ruby组件的，比较麻烦。自从redis5.x发布之后，可以利用redis-cli方便的启动集群。redis集群需要至少三个master节点,我们这里搭建三个master节点,并且给每个master再搭建一个sl
转载
2023-09-03 08:41:22
111阅读
公司产品使用的hadoop集群的技术
我认为可以分为两种组件，一是大数据分析处理组件，二是资源调度和管理组件。1、大数据分析处理组件：hadoop集群如MapReduce, HDFS, Hive,Hbase, Pig, ZooKeeper等1)HDFS:分布式文件系统，适于大数据存储与数据处理2)MapReduce:Hadoop的编程框架，用map和re
转载
2024-04-17 12:16:13
38阅读
在大数据处理中，有时候我们需要将一个Hadoop集群中的数据写入到另一个Hadoop集群。这种操作通常用于数据备份、数据迁移或者数据集成。本文将为您详细介绍如何在两个Hadoop集群之间进行数据传输，并附带代码示例和序列图，帮助您更好地理解这一过程。
## 1. Hadoop集群架构概述
首先，我们需要了解Hadoop集群的基本架构。Hadoop的核心组件包括Hadoop分布式文件系统（HDF
原创
2024-10-08 04:19:56
70阅读
注意路径和主机名,一定要仔细1.准备Linux环境 1.0 配置好各虚拟机的网络（采用NAT联网模式） 第一种：通过Linux图形界面进行修改(桌面版本Centos) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -
转载
2024-07-22 10:10:20
27阅读
最近项目时间稍微宽裕，于是开始了对hadoop这个总是在耳边萦绕的工具进行了初步学习。以下是学习体会和要点记录。
1）HDFS，是Hadoop的分布式文件系统，一个 HDFS 集群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的 DataNo
转载
2023-07-20 17:16:59
50阅读
概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点 从节点2、master slave3、管理者 工作者4、leader followerHadoop集群中各个角色的名称：服务
转载
2023-07-21 15:01:16
294阅读
Hadoop第一篇:hadoop2.7.5单机版安装简介Hadoop主要完成两件事，分布式存储和分布式计算。Hadoop主要由两个核心部分组成：1.HDFS：分布式文件系统，用来存储海量数据。2.MapReduce：并行处理框架，实现任务分解和调度。HDFS是一个分布式文件系统，用来存储和读取数据的。文件系统都有最小处理单元，而HDFS的处理单元是块。HDFS保存的文件被分成块进行存储，默认的块大
转载
2024-02-05 10:33:31
308阅读
Hadoop运行在商业硬件上。用户可以选择普通硬件供应商生产的标准化的、广泛有效的硬件来构建集群，无需使用特定供应商生产的昂贵、专有的硬件设备。 首先澄清两点。第一，商业硬件并不等同于低端硬件。低端机器常常使用便宜的零部件，其故障率远高于更贵一些（但仍是商业级别）的机器。当用户管理几十台、上百台，甚至几千台机器时，选择便宜的零部件并不划算，因为更高的故障率推高了维护成本。第二，也不推荐使用大型的数
转载
2024-07-08 15:59:05
41阅读
# Hadoop集群中Hive数据表迁移的指南
在大数据领域，数据的迁移是非常常见的一项任务，特别是在多个Hadoop集群之间迁移Hive数据表。对于新手开发者而言，掌握这一过程是非常重要的。本文将详细介绍如何将Hive数据表从一个Hadoop集群迁移到另一个Hadoop集群。
## 流程概述
下面是迁移Hive数据表的基本步骤：
| 步骤 | 描述
原创
2024-09-14 06:52:37
283阅读
