1、环境准备1.1 java环境准备由于hadoop需要运行在java环境下，所以，java环境是必须的，需要安装jdk，最好不要用linux上自带的openjdk，需要用oracle官网提供的jdk才行。下载jdk网址为： http://www.oracle.com/technetwork/java/javase/downloads/index.html安装方法请自行参阅官
转载
2023-11-29 20:04:39
41阅读
Hadoop的HA高可用（可行）一、集群的规划Zookeeper集群192.168.116.121192.168.116.122192.168.116.123hsiehchou121hsiehchou122hsiehchou123Hadoop集群192.168.116.121192.168.116.122192.168.116.123192.168.116.124hsiehchou121hsieh
转载
2024-04-18 11:14:29
24阅读
1.什么是Axios Axios 是一个开源的可以用在浏览器端和 NodeJS 的异步通信框架，主要作用就是实现 AJAX 异步通信，其功能特点如下：从浏览器中创建 XMLHttpRequests
从 node.js 创建 http 请求支持 Promise API [JS中链式编程]拦截请求和响应转换请求数据和响应数据取消请求自动转换 JSON 数据客户端支持防御
搭建HDFS高可用在搭建hdfs高可用过程中，以node1、node2和node3来搭建高可用环境，每个节点所分配的作用如表4.3所示。 由表4.3中可以看出，NameNode（NN）分别配置在node1和node2上，ZKFC配置在node1和node3上，JournalNode（JN）配置在node1、node2和node3上，ZooKeeper（ZK）配置在
转载
2023-07-12 11:41:14
413阅读
工作中需要使用Hadoop环境，在三节点上搭建了一套Hadoop环境，顺便做下笔记。因为机器内存较低，没有使用CDH，为保证和线上环境一致，使用Hadoop等版本和CDH5.10的一致。
一、环境及软件准备设置ip地址，hosts，ssh免密登录，scp，sudo，关闭防火墙，yum，ntp时间同步 略。Java安装 略
转载
2023-12-27 12:57:13
60阅读
在Kubernetes中，部署Hadoop集群时通常需要使用ZooKeeper来实现协调和管理，因为Hadoop本身并不是一个分布式系统，而ZooKeeper是一个高可用性的分布式协调服务，可以帮助Hadoop集群进行领导者选举、配置管理等操作。下面我将向你介绍如何在Kubernetes中部署一个Hadoop集群并使用ZooKeeper。
首先，让我们来看一下整个流程及所需步骤：
| 步骤
原创
2024-05-07 10:55:55
115阅读
hadoop包含zookeeper吗
在大数据处理的世界里，Hadoop和Zookeeper各自扮演着至关重要的角色。很多人常常会问：“Hadoop包含Zookeeper吗？”为了回答这个问题，我们将深入探讨这些工具的关系以及如何使用它们。
### 协议背景
首先，Hadoop和Zookeeper之间的关系可以通过一个关系图来清晰展示。
```mermaid
erDiagram
H
## Hadoop 需要 Zookeeper 吗？
在大数据技术的世界中，Apache Hadoop 是一个非常重要的组成部分。它提供了分布式存储和处理大规模数据集的能力。在使用 Hadoop 时，很多用户会问：Hadoop 需要 Zookeeper 吗？在这篇文章中，我们将探讨这个问题，并提供一些代码示例来帮助你理解。
### 什么是 Zookeeper？
Apache Zookeeper
这里写自定义目录标题一. 原理分析二. 搭建HDFS高可用集群1. 环境准备2. 安装zookeeper3. zookeeper 安装包下载4.准备3个zk下创建数据存放目录5.在每个数据文件夹中准备一个myid文件6. 编辑每个data目录中myid7. 将zk配置文件zoo.cfg创建在zkdata目录中8.启动zk节点8. 查看zk角色信息9. 其他三台Hadoop机器10.配置hadoo
转载
2023-11-02 08:25:32
88阅读
0 前提条件1）安装JDK 2）安装zookeeper 3）集群规划192.168.199.101(master-1)192.168.199.102(master-2)192.168.199.103(slave-1)NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKZKFCZKFCResou
转载
2024-01-17 09:19:54
420阅读
一 nginx简述 Nginx是一款轻量级的网页服务器、反向代理服务器。相较于Apache、lighttpd具有占有内存少，稳定性高等优势。**它最常的用途是提供反向代理服务。**
- 负载均衡 - 二 安装nginx步骤（建议下述安装过程全程root）0 概数 在Centos下，yum源不提供nginx的安装，可以通过切换yum源的方法获取安装。也可以通过直接下载安装包的方法
# K8S能不用Docker吗？
Kubernetes（简称K8S）是当今最流行的容器编排工具之一，而Docker则是最常用的容器化工具之一。很多人可能会认为K8S一定要配合Docker才能使用，但实际上K8S并不依赖于Docker，也可以使用其他的容器运行时（Container Runtime）来替代Docker。在本文中，我将向你展示如何在K8S中使用其他容器运行时替代Docker。
#
原创
2024-04-03 10:45:38
145阅读
Hadoop配置部署 每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。下面所有的操作都使用waibao用户，切换waibao用户的命令是：su waibao密码是：waibao将软件包中的Hadoop生态系统包复制到相应waibao用户的主目录下（直接拖拽方式即可拷贝） 3.3.1 Hadoop安装包解压 进
安装软件包安装包软件名软件包jdkjdk-8u261-linux-x64.tar.gzhadoophadoop-3.3.0.tar.gzzookeeperapache-zookeeper-3.8.0-bin.tar.gz服务器分配模块名称node10node11node12node13NameNode**DataNode****ResourceManager**NodeManager****Zoo
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。（文末附视频教程）一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作）0.将三台电脑安装centos6.5系统1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信）vim /etc/sysconfig/network-scrip
转载
2024-10-21 20:06:14
16阅读
# ZooKeeper必须基于Hadoop吗？
## 引言
Apache ZooKeeper是一个开源的分布式协调服务，广泛应用于构建高可用性、可伸缩的分布式系统。尽管ZooKeeper在Hadoop生态系统中常被使用，但它并不是必须依赖于Hadoop的。本文将探讨ZooKeeper的基本概念、用途，以及它与Hadoop的关系，并提供一个基本的代码示例来展示ZooKeeper的使用。
##
Hadoop HA高可用+Zookeeper搭建简介本篇介绍在VMware+CentOS 7.4环境上搭建Hadoop HA+Zookeeper。Hadoop集群分布如下：编号主机名namenode节点zookeeper节点journalnode节点datanode节点resourcemanager节点1master1√√√√2master2√√√√3slave1√√√4slave2√使用软件版本
转载
2023-08-21 10:35:56
73阅读
老项目是09-11年搞的，用的是spring+struts2，没有用注解，全xml配置。web.xml中也配置了一大堆。现在启动新项目，在项目中用spring+springmvc ，主要用注解，也用了少量的必要的spring xml配置component-scan之类，其实是结合使用，最近看了spring的书，说可以完全去掉xml，用@Configuration @EnableWebMvc和 基于
转载
2024-02-17 21:06:33
33阅读
Zookeeper 是Hadoop的高可用高性能的分布式协调服务。
1 Partial Failure 部分失败 即：我们不知道一个操作是否已经失败。分布式应用经常出现这个问题，比如：网络错误导致不知道对方是否收到，或者接受者进程死掉。解决方法：发送者重新连接接受者并且询问。 Zookeeper 不能避免这个问题，也不会隐藏部分失败。提供一组工具可以处理部分失败。
转载
2024-07-08 00:04:52
41阅读
Zookeeper官网介绍Zookeeper的简介ZooKeeper 是一个开源的分布式协调框架，它的定位是为分布式应用提供一致性服务，是整个大数据体系的管理员。 可以简单的认为 Zookeeper 就是文件系统和监听通知机制。文件系统
Zookeeper维护一个类似文件系统的树状数据结构，这种特性使得 Zookeeper 不能用于存放大量的数据，每个节点的存放数据上限为 1M。每个子目
转载
2023-11-29 20:14:57
45阅读
