准备工作：4台节点服务器 1.1.1 JDK安装&配置好 参考JDK安装文章 1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章下载Hadoop 下载地址
开发环境Linux平台: Centos6.5JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)Hadoop 3.1.2 下载地址
1. 解压安装包到/opt目录下/usr 下是你安装系统是所安装的软
转载
2023-08-02 20:45:28
76阅读
# Hadoop3安装HBase
## 简介
HBase是一个分布式、可伸缩的列式数据库，可以在Hadoop集群上进行大数据存储和处理。本文将介绍如何在Hadoop3环境中安装和配置HBase。我们将使用以下步骤完成安装和配置过程：
1. 下载HBase二进制文件
2. 配置HBase
3. 启动HBase
## 下载HBase二进制文件
首先，我们需要下载HBase的二进制文件。您可以在H
原创
2024-01-28 03:16:41
204阅读
# Hadoop 3 单机安装指南
Hadoop 是用于大规模数据处理的开源框架。在单机模式下，Hadoop 可以在一台机器上运行，非常适合学习和开发。本文将向你详细介绍如何在本地环境中安装和配置 Hadoop 3。
## 安装流程
以下是安装 Hadoop 3 的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 安装 Java |
| 2 | 下
原创
2024-10-26 05:20:04
73阅读
安装Hadoop3.2.1（很多坑）从官网下载hadoop包,hadoop-3.2.1.tar.gz ,342.56M 931KB/s 用时 8m 19s$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz解压,路径为/home/wang/hadoop/hadoop-3.2.1$
转载
2024-10-12 13:59:23
56阅读
# Mac Hadoop3安装指南
## 一、整体流程
首先，让我们看看在Mac上安装Hadoop3的整体流程。在这个过程中，我们将会下载Hadoop3安装包，配置相关环境变量，启动Hadoop集群，并完成一些简单的测试。
下面是整体流程的表格：
| 步骤 | 描述 |
| ---- | -------------------------- |
原创
2024-06-14 04:40:46
92阅读
Hadoop 3.x的发展Hadoop版本包括Hadoop 1.x、Hadoop 2.x和Hadoop 3.x。本节将以Hadoop 3.1.0为例，完成HDFS高可用的搭建。Hadoop 3新特性Hadoop 3.1.0 GA版本于2017年12月份正式发布。Hadoop 3相较于Hadoop 2有一些新特性，包括基于JDK 1.8、HDFS可擦除编码、MR Native Task优化、基于Cg
转载
2023-07-13 14:26:18
150阅读
文章目录准备工作部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录，解压缩文件包配置设置环境变量启动安装配置hadoop新建hadoop用户以及用户组，并赋予sudo免密码权限目录规划下载、解压配置环境变量配置复制Hadoop配置好的包到其他5台服务器启动zookeeper集群启动journalnode格式化HDFS（仅第一次启动执行）
转载
2024-01-26 07:36:48
103阅读
处节点设置为：IP主机名节点192.168.10.11 mater NameNode（NN）、DataNode（DN）192.168.10.12 slave01Secondary NameNode（SN）、DataNode（DN）192.168.10.13slave02 DataNode（DN）
转载
2023-07-13 14:26:14
204阅读
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. Hadoop HDFS高可用集群搭建（HA）4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 Hadoop HDFS HA集群的启动步骤5. Hadoop MapReduce、YARN 高可用集群搭建5.1 修改 mapred-site.xml5.2 修改ya
转载
2024-02-23 11:04:34
76阅读
Hadoop Security Authentication Terminology --KerberosWhat is kinit?Kinit - obtain and cache Kerberos ticket-grantingticketIf you use the kinit commandto get your tickets, make sure you use the kdestro
转载
2023-08-22 13:33:35
150阅读
# 单机Hadoop 3的Docker安装指南
随着大数据时代的到来，Hadoop逐渐成为处理和存储海量数据的重要工具。Hadoop的分布式计算能力和良好的扩展性使其成为了数据工程师的首选。然而，Hadoop的安装和配置过程往往繁琐且复杂。借助Docker技术，我们可以更轻松地在单机上搭建Hadoop环境。本文将详细讲解如何使用Docker安装单机Hadoop 3，并提供相关代码示例。
##
原创
2024-10-06 04:36:56
120阅读
# 使用 Docker 安装 Hadoop 3 单机集群
Hadoop 是一个开源的分布式计算平台，主要用于大数据存储和处理。使用 Docker 安装 Hadoop 3 单机集群，不仅可以简化部署过程，还能充分利用 Docker 的隔离性和可移植性。本文将带你通过一系列简单的步骤，搭建一个 Hadoop 3 单机集群，并补充一些代码示例。
## 环境准备
在开始之前，请确保你的环境中已安装好
原创
2024-10-01 09:00:46
91阅读
# 使用 Docker Compose 安装 Hadoop 3 教程
在大数据时代，Hadoop 是一种广泛使用的框架，它通过分布式存储和处理大量数据来满足企业的需求。而 Docker 和 Docker Compose 可以帮助你快速部署这样的复杂系统。接下来，我将带你通过简单的步骤，帮助你使用 Docker Compose 安装 Hadoop 3。
## 安装流程
下面是安装 Hadoop
在Windows下安装Hadoop
Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单。在这里咱们就来看看第二种方案：如何再Windows下快速安装一个
转载
2023-08-25 16:14:53
58阅读
系列文章目录只有已完成的部分 Hadoop Local模式的配置 Hadoop伪分布式模式的配置（已完成） Hadoop分布式模式的配置提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 Hadoop的安装系列文章目录前言一、Hadoop是什么？二、安装步骤1.官网下载安装包解压至本地2.JDK安装3.Hadoop的安装配置环境变量4.伪分布式配置配置Hadoop运行环境三、启动集群
转载
2023-09-20 12:09:55
99阅读
前言之前在学Hadoop基础的时候，需要部署环境进行测试，其实那个时候部署遇到了不少的坑，今天突然想起来，所以跟大家分享下，让大家少踩点坑。我的Ubuntu版本是18.101. 安装Docker安装Docker的话基本上没有遇到什么坑，我是按照官方文档去做的，官方文档连接如下: https://docs.docker.com/install/linux/docker-ce/ubuntu/
转载
2023-12-05 16:22:33
120阅读
一、Hive安装环境装备安装JDK
安装hadoop集群
二、下载Hive安装包
根据需要下载相应的版本，这里以hive-1.2.2为例。
三、Hive安装包解压
1.根据hadoop集群的系统资源消耗情况，选择进程消耗比较小的进行安装。这里以node2节点为例。hive安装包通过xshell中的xftp工具上传到node2上。
2.解压hive安装包
#1.把hive的压缩安装包解压到/opt/
转载
2023-07-14 17:27:53
191阅读
HADOOP集群各组件性能调优配置原则如何发挥集群最佳性能原则1：CPU核数分配原则原则2：内存分配原则3：虚拟CPU个数分配原则4：提高磁盘IO吞吐率影响性能的因素因素1：文件服务器磁盘I/O因素2：文件服务器网络带宽因素3：集群节点硬件配置因素4：SFTP参数配置因素5：集群参数配置因素6：Linux文件预读值因素7：Jsch版本选择HBase提升 BulkLoad 效率操作场景前提条件操作步
转载
2023-07-13 14:24:59
189阅读
【实验目的】 1.安装配置JDK 1.五台独立PC机或虚拟机主机之间有有效的网络连接 2.每台主机内存2G以上，磁盘剩余空间500M以上所有主机上已安装CentOS 7.4操作系统 3.所有主机已完成网络属性配置 1.卸载原有JDK 该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次，发现没有，不必卸载 因为我的查看没有jdk，所以不需要卸载原有的，只需直接安装即可。 2.
转载
2023-08-27 22:28:12
101阅读
Hadoop集群搭建手动安装Hadoop3.3.1+ Yarn HA集群服务主机ip规划准备工作启动zookeeperHadoop配置文件启动与维护高可用 NameNode + Yarn 分布式集群1. 启动与格式化 ZooKeeper 集群2. 启动 JournalNode 集群3. 格式化并启动主节点 NameNode 服务4. NameNode 主、备节点同步元数据5. 启动备用节点的 N
