首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
78阅读
第1章 准备工作1.1 实验环境介绍操作系统版本：CentOS 6.4-64bitHadoop版本：hadoop-2.2.0.x86_64.tar.gzZooekeeper版本：zookeeper-3.4.5.tar.gzJDK版本：jdk-7u80-linux-x64.rpm本实验准备了6台虚拟机搭建Hadoop集群1.2 集群IP和主机名规划主机名ip地址安装的软件运行的进程hadoop117
原创
2016-04-04 19:40:47
528阅读
Hadoop集群部署
原创
2019-04-19 19:38:05
658阅读
一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmware workstation, 然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，
1.Hadoop的3种运行模式 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点  
原创
2015-05-09 15:35:44
573阅读
Hadoop部署1. 安装完全分布式Hadoop1.1 安装准备工作1.1.1 规划 本安装示例将使用六台服务器(CentOS 6.5 64bit)来实现，其规划如下所示： IP地址 &nb
原创
2015-11-06 11:29:01
2004阅读
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
原创
2018-09-17 13:21:36
805阅读
关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service
原创
2023-03-10 14:55:40
81阅读
目录hadoop的几种部署模式：单机模式：伪分布式模式：完全分布式模式：高可用模式：联邦模式：安装分布式的准备：伪分布式安装：完全分布式安装：高可用模式安装过程中的问题1.查看集群日志2.主机名3.启动的时候某一个进程启动不了（jps查看进程）4.格式化的问题 5.时间同步问题6.环境变量的配置hadoop的几种部署模式：单机模式：安装在一个节点上。不存在分布式文件系统，所有的文件存取都
转载
2023-09-14 13:50:18
150阅读
上一篇中搭建了4台linux虚拟机，用这4台虚拟机就可以搭建一个完全分布式hadoop集群了。1.虚拟机规划集群中包括4个节点，1个master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下： 机器名称IP地址Master 219.244.84.92Slave1 219.244.84.93Slave2219.244.
转载
2023-09-15 12:31:02
132阅读
完全分布式运行模式分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群Hadoop部署1）集群部署规划 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 注意：ResourceManager也很消耗内存，不要和NameNo
转载
2023-07-14 15:31:22
71阅读
Hadoop3.0集群搭建1.集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager 那mapreduc
转载
2023-08-04 11:23:39
83阅读
没有进行单点配置的同学，请参考的的上一篇博客hadoop单点配置1、域名映射 编辑/etc/hosts 文件，注意host name不要有下划线192.168.0.128 master
192.168.0.129 slave1
重启网络服务
service network restart
ubuntu下：/etc/init.d/networking restar
转载
2023-10-20 06:27:18
52阅读
软件版本Mysql5.7Java1.8.0_241Hadoop3.3.0Zookeeper3.4.6Hive3.1.2Flink1.14.5Hudi0.11.1Doris1.1.0Dinky0.6.6Flink CDC2.2.0Presto0.261Hue4.1.01. Hadoop集群部署1.1 集群安装1）上传Hadoop安装包到 /opt/software目录下2）解压安装文件到/opt/s
转载
2023-08-01 22:43:05
342阅读
Hadoop集群组件安装部署——HadoopHadoop集群组件安装部署HadoopHadoop部署配置集群配置历史服务器配置日志的聚集分发Hadoop群起集群Hadoop群起脚本集群时间同步 Hadoop集群组件安装部署集群所有进程查看脚本 1）在/home/ly/bin目录下创建脚本xcall.sh[ly@hadoop102 bin]$ vim xcall.sh2）在脚本中编写如下内容#!
转载
2024-03-02 09:52:37
35阅读
1、 安装JDKa) 从http://www.oracle.com/technetwork/java/javase/downloads/index.html上下载Linux下的JDK安装文件jdk-6u30-linux-i586.bin。b) &n
转载
2024-01-04 23:53:25
50阅读
一、主机规划3台主机：1个master、2个slaver/workerip地址使用docker默认的分配地址：master：主机名： hadoop2、ip地址： 172.17.0.2slaver1：主机名： hadoop3、ip地址： 172.17.0.3主机名： hadoop4、ip地址： 172.17.0.4二、软件安装1、在docker中安装centos镜像，并启动centos容器，安装ss
原创
2018-07-26 17:27:08
10000+阅读
点赞
CDH部署Hadoop集群是一项非常重要的任务，涉及到大数据的存储和计算，对于数据处理非常有用。在本文中，我将告诉你如何在K8S中部署Hadoop集群。
首先，让我们了解整个流程。在CDH中部署Hadoop集群一般需要以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1. | 准备K8S集群 |
| 2. | 创建Hadoop的ConfigMap和Service |
|
原创
2024-05-17 11:59:13
148阅读
# Hadoop集群部署架构
## 介绍
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它的设计目标是能够在集群中可靠地存储和处理大规模数据。Hadoop集群部署架构是指将Hadoop系统部署在多台机器上，通过分布式计算的方式来处理数据。
Hadoop集群部署架构主要包括以下几个组件：
- Hadoop分布式文件系统（HDFS）：用于存储大规模数据集的分布式文件系统。
-
原创
2023-10-17 13:49:24
57阅读
软件环境：VMware10.0，VMware10,ubuntu15.10桌面版（ubuntukylin-15.10-desktop-i386.iso），Apache hadoop（hadoop-1.2.1.tar.gz），JDK（jdk-8u11-linux-i586.tar.gz） 一 安装JDK
原创
2022-09-20 12:23:50
49阅读
