1、准备 四台虚拟机 ①卸载openjdk ②安装jdk2. 配置静态ip: ip : 每个机器在internet上的唯一标识 子网掩码： 必须结合IP地址一起使用，将某个IP地址划分成网络地址和主机地址两部分。 网关 ： 网关既可以用于广域网互连，也可以用于局域网互连。 网关是一种充当转换重任的计算机系统或设备 DNS ： 它作为可以将域名和IP地址相互映射的一个分布式数据
转载
2024-09-06 23:15:03
16阅读
# Hadoop必须要Zookeeper吗？
Hadoop是一个广泛应用于大数据存储与处理的框架，其核心组件包括HDFS（Hadoop分布式文件系统）和MapReduce（数据处理模型）。为了保证这些组件的高可用性和协调性，Zookeeper成为了Hadoop集群管理的重要角色。但是，Hadoop并不是绝对依赖Zookeeper的，下面我们将具体分析。
## Zookeeper的作用
Zoo
这节就开始讲述Hadoop的安装吧。在这之前先配置下SSH免密码登录，为什么需要配置这个呢？大家都知道Hadoop集群中可能有几十台机器甚至是上千台机器，而每次启动Hadoop都需要输入密码才能够登录到每台机器的DataNode上的，所以为了避免后期繁琐的操作，一般都会配置SSH免密码登录。 注:笔者使用的远程连接工具是XShell,很好用的一款远程连接工具，推荐大家使用，还可以安装一下xf
转载
2023-10-27 16:26:40
94阅读
0 前提条件1）安装JDK 2）安装zookeeper 3）集群规划192.168.199.101(master-1)192.168.199.102(master-2)192.168.199.103(slave-1)NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKZKFCZKFCResou
转载
2024-01-17 09:19:54
420阅读
ZooKeeper1、下载这里从一个镜像地址下载，版本为3.5.8的wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz加压下载后的文件tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz2、配置集群信息（这里已三台集群为
# Hadoop 必须要 SSH：理解 Hadoop 的分布式架构与 SSH 的重要性
Hadoop 是一个开源的分布式计算框架，主要用于大数据存储和处理。它的核心组件包括 Hadoop 分布式文件系统（HDFS）和 MapReduce。Hadoop 经过设计可以在廉价的硬件上运行，并且能够高效地处理海量数据。虽然 Hadoop 的功能强大，但它的运行依赖于一种基础的网络通信协议——SSH（Se
1、环境准备1.1 java环境准备由于hadoop需要运行在java环境下，所以，java环境是必须的，需要安装jdk，最好不要用linux上自带的openjdk，需要用oracle官网提供的jdk才行。下载jdk网址为： http://www.oracle.com/technetwork/java/javase/downloads/index.html安装方法请自行参阅官
转载
2023-11-29 20:04:39
41阅读
由于资源限制，我们只能在6台服务器上进行搭建，虽然ResourceManager是高可用的，但是我们也只能创建一台ResourceManager节点用于节省资源。下面是各服务器节点中启动的服务和应该运行的进程的分析：我们本次模拟的环境是在无网络的状态下进行的，所以需要下载hadoop的linux压缩包，首先将下载好的安装包解压缩，这里我解压到/herry目录下(注意：需要配置的文件都在hadoop
转载
2024-05-14 11:36:55
27阅读
前两周花了些时间在研究tcc分布式事务的一些相关基础上边，这周来写一篇关于seata的实践文章。 网上关于seata落地的demo其实也蛮多的，自己在结合案例和相关文章进行实际落地的过程中踩了不少坑，所以这篇文章主要记录关于落地案例中遇到的困难。技术选型SpringBoot + Dubbo + JdbcTemplate + MySQL + Seata + Nacos使用场景购买商品的时候，扣减库存
为什么要使用配置中心？ 项目中常用的一些配置，例如数据库的配置等，一般都是直接写死在项目中。如若更改，简单暴力的办法就是修改配置文件后再上传。单个或小型分布式项目部署的微服务所需的配置都很少，但集群若有上百台或者更多的机器，一个个地修改可就不那么好办了，因此使用配置中心作统一的配置管理是非常有必要的。 在S
转载
2024-05-30 10:45:50
36阅读
一、集群的规划Zookeeper集群：192.169.2.145 yfzx-ap1
192.169.2.146 yfzx-ap2
192.169.2.148 yfzx-srvHadoop集群：192.169.2.148 （yfzx-srv） NameNode1主节点 ResourceManager1主节点 Journalnode
192.169.2.145 （yf
转载
2024-04-10 12:04:37
49阅读
经过 Apache DolphinScheduler PPMC 们的推荐和投票，我们高兴的宣布：Apache DolphinScheduler 迎来了 2 位 PPMC 。他们是(github id)：Tboy 和 khadgarmage。对于成为 PPMC ，两位小伙伴说道：Tboy：社区在 dev 邮件列表通知被选为 PPMC 时，非常的激动。从19年10月参与 ds，到19年12月选为 co
Kafka集群搭建本文使用的zookeeper是kafka自带的，最好不要用kafka自带的，可以先搭建好zookeeper集群 1、 Kafka的安装需要java环境，cent os 7自带java1.6版本，可以不用重新安装，直接使用自带的jdk 即可；如果觉得jdk版本太旧，也可以自己重新安装； 2、 准备好kafka安装包，官网下载地址： http://kafka.apache.
转载
2024-05-21 17:45:04
792阅读
【准备的安装包】repo.tar.gzrepo.tar.gz链接：https://pan.baidu.com/s/1wGCgV_3R3VUm2ka_aVA8GQ提取码：lrejHadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gz 链接：https://pan.baidu.com/s/1uRMGIhLSL9QHT-Ee4F16jw提取码：jb1djdk jdk-7
摘要：hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储。本文主要介绍hadoop的安装与集群服务器的配置。准备文件： ▪ VMware11.0.0 ▪ CentOS-6.5-x86_64-bin-DVD1.iso ▪ j
# Spark与Hadoop的关系：必须先部署Hadoop吗？
Apache Spark是一个高速的集群计算框架，用于大规模数据处理。而Hadoop则是一个更为广泛的生态系统，包括分布式存储和数据处理工具。很多人问：“使用Spark时一定要先部署Hadoop吗？”这篇文章将为您解答这个问题，并配以代码示例与关系图。
## Spark与Hadoop的基本关系
在Apache Spark的早期版
原创
2024-09-20 16:43:33
192阅读
标题：从零开始安装Spark并配置Hadoop
概述：
本文将指导新手开发者如何从零开始安装Spark，并配置Hadoop。我们将通过一系列步骤详细讲解每个步骤需要做什么，并提供相应的代码和注释来帮助理解。
步骤一：安装Java JDK
首先，我们需要安装Java JDK。请按照以下步骤进行操作：
1. 在官网（ JDK安装程序，并按照安装向导进行安装。
2. 安装完成后，打开终端或命令提
原创
2024-01-21 10:29:35
40阅读
# ZooKeeper必须基于Hadoop吗？
## 引言
Apache ZooKeeper是一个开源的分布式协调服务，广泛应用于构建高可用性、可伸缩的分布式系统。尽管ZooKeeper在Hadoop生态系统中常被使用，但它并不是必须依赖于Hadoop的。本文将探讨ZooKeeper的基本概念、用途，以及它与Hadoop的关系，并提供一个基本的代码示例来展示ZooKeeper的使用。
##
操作系统hadoop目前对linux操作系统支持是最好的，可以部署2000个节点的服务器集群；在hadoop2.2以后，开始支持windows操作系统，但是兼容性没有linux好。因此，建议在MAC OS或者linux(CentOS或者Unbuntu)操作系统上安装。安装javahadoop2.6以前的版本，需要jdk1.6以上的版本；从hadoop2.7开始，则需要jdk1.7以上的版本。我们可
转载
2023-07-14 14:25:10
122阅读
1.虚拟机hadoop的环境是Linux，所以我们还需要安装Linux系统。hadoop，有单机安装，伪分布安装和分布安装。对单机模式大家可以不用去关心和学习，因为hadoop的单机模式就失去了它分布式的优势，也就没有意义了。在学习中建议搭建伪分布式，完全分布式是生产环境中使用，当大家把伪分布式学习后，必须对完全分布式有所了解，知道是如何工作的，也可以试着搭建hadoop的完成分布式。因为我们的习
转载
2023-07-12 14:02:14
331阅读
