首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
69阅读
关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service
原创
2023-03-10 14:55:40
76阅读
上一篇中搭建了4台linux虚拟机，用这4台虚拟机就可以搭建一个完全分布式hadoop集群了。1.虚拟机规划集群中包括4个节点，1个master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下： 机器名称IP地址Master 219.244.84.92Slave1 219.244.84.93Slave2219.244.
转载
2023-09-15 12:31:02
120阅读
第1章 准备工作1.1 实验环境介绍操作系统版本：CentOS 6.4-64bitHadoop版本：hadoop-2.2.0.x86_64.tar.gzZooekeeper版本：zookeeper-3.4.5.tar.gzJDK版本：jdk-7u80-linux-x64.rpm本实验准备了6台虚拟机搭建Hadoop集群1.2 集群IP和主机名规划主机名ip地址安装的软件运行的进程hadoop117
原创
2016-04-04 19:40:47
509阅读
Hadoop集群部署
原创
2019-04-19 19:38:05
628阅读
1.Hadoop的3种运行模式 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点  
原创
2015-05-09 15:35:44
569阅读
Hadoop部署1. 安装完全分布式Hadoop1.1 安装准备工作1.1.1 规划 本安装示例将使用六台服务器(CentOS 6.5 64bit)来实现，其规划如下所示： IP地址 &nb
原创
2015-11-06 11:29:01
1858阅读
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
原创
2018-09-17 13:21:36
805阅读
目录hadoop的几种部署模式：单机模式：伪分布式模式：完全分布式模式：高可用模式：联邦模式：安装分布式的准备：伪分布式安装：完全分布式安装：高可用模式安装过程中的问题1.查看集群日志2.主机名3.启动的时候某一个进程启动不了（jps查看进程）4.格式化的问题 5.时间同步问题6.环境变量的配置hadoop的几种部署模式：单机模式：安装在一个节点上。不存在分布式文件系统，所有的文件存取都
转载
2023-09-14 13:50:18
128阅读
完全分布式运行模式分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群Hadoop部署1）集群部署规划 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 注意：ResourceManager也很消耗内存，不要和NameNo
转载
2023-07-14 15:31:22
71阅读
Hadoop集群组件安装部署——HadoopHadoop集群组件安装部署HadoopHadoop部署配置集群配置历史服务器配置日志的聚集分发Hadoop群起集群Hadoop群起脚本集群时间同步 Hadoop集群组件安装部署集群所有进程查看脚本 1）在/home/ly/bin目录下创建脚本xcall.sh[ly@hadoop102 bin]$ vim xcall.sh2）在脚本中编写如下内容#!
1、 安装JDKa) 从http://www.oracle.com/technetwork/java/javase/downloads/index.html上下载Linux下的JDK安装文件jdk-6u30-linux-i586.bin。b) &n
Hadoop集群配置及运行一、集群配置二、运行 一、集群配置1、修改安装好的hadoop260文件的用户权限，修改为root用户。chown -R root:root hadoop260/ 2、设置JDK，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑hadoop-env.sh文件。 3、配置hadoop文件系统，进入安装好的hadoop260文件下的etc/hadoo
转载
2023-08-27 21:42:41
68阅读
Docker搭建Hadoop集群环境准备依赖安装Docker单例模式（Without Docker）安装安装JDK安装Hadoop配置环境变量设置免密登录修改 hadoop-env.shHDFS创建目录修改core-site.xml修改hdfs-site.xml格式化HDFS启动HDFSHDFS WebHDFS 测试YARN修改mapred-site.xml修改yarn-site.xml启动Ya
一：hadoop集群存储部署
1.环境说明
namenode：10.2.34.115 hadoop1
datanode：10.2.34.116 hadoop2
10.2.34.117 hadoop3
版本：hadoop-1.1.1-1
原创
2013-01-29 14:28:43
629阅读
前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利 搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起 ...
转载
2021-07-19 19:45:00
814阅读
2评论
软件版本Mysql5.7Java1.8.0_241Hadoop3.3.0Zookeeper3.4.6Hive3.1.2Flink1.14.5Hudi0.11.1Doris1.1.0Dinky0.6.6Flink CDC2.2.0Presto0.261Hue4.1.01. Hadoop集群部署1.1 集群安装1）上传Hadoop安装包到 /opt/software目录下2）解压安装文件到/opt/s
转载
2023-08-01 22:43:05
150阅读
Hadoop3.0集群搭建1.集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager 那mapreduc
转载
2023-08-04 11:23:39
66阅读
没有进行单点配置的同学，请参考的的上一篇博客hadoop单点配置1、域名映射 编辑/etc/hosts 文件，注意host name不要有下划线192.168.0.128 master
192.168.0.129 slave1
重启网络服务
service network restart
ubuntu下：/etc/init.d/networking restar
前言关于kubernetes HA集群部署的方式有很多种（这里的HA指的是master apiserver的高可用），比如通过keepalived vip漂移的方式、haproxy/nginx负载均衡实现的高可用等。我这里一系列的部署都是通过haproxy 和 nginx 负载均衡的方式去实现集群的部署，并且由于现在k8s使用的用户越来越多，所以网上有很多相似的解决方案。如果本篇文章涉及的抄袭，可
转载
2023-08-10 11:16:54
80阅读
