Hadoop-3.13高可用集群部署
原创
精选
2022-03-11 13:36:02
5350阅读
点赞
一、部署规划1、部署环境主机名IP地址版本备注yun1192.168.43.14Hadoop 3.1.3主节点yun2192.168.43.254Hadoop 3.1.3数据节点yun3192.168.43.180Hadoop 3.1.3数据节点2、创建hadoop用户三台主机节点都新增一个Hadoop用户创建新用户：sudo useradd -m hadoop -s /bin/bash设置密码：
转载
2023-10-28 11:26:35
313阅读
# Hadoop中的hadoop-functions.sh
Hadoop是一个开源的分布式计算平台，用于处理大规模数据集的存储和处理。在Hadoop中，有一个重要的脚本文件hadoop-functions.sh，它位于/opt/module/hadoop-3.1.3/libexec目录下，包含了许多Hadoop的核心函数和变量。
在hadoop-functions.sh文件中，第1842行出现
原创
2023-08-21 03:30:31
426阅读
操作系统：本人的操作系统为CentOS7.4，软件安装包路径为 /data ， 软件安装路径为 /apps ，环境搭建过程中路径请做相应改动 准备工作：一、下载软件安装包(附官下载地址)：1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8）https://www.oracle.com/technetwork/java
转载
2023-09-14 15:16:46
972阅读
# Hadoop 日志目录创建警告
## 引言
在使用 Hadoop 进行大数据处理时，日志是非常重要的。它们可以帮助我们了解作业的运行状态、排查错误和优化性能。然而，在启动 Hadoop 时，可能会遇到日志目录不存在的警告。本文将解释该警告的原因，并提供了解决该问题的代码示例。
## 警告信息
当启动 Hadoop 时，可能会遇到以下警告信息：
```
WARNING: /opt/mo
原创
2023-08-12 07:30:11
5411阅读
# 了解JAVA_HOME的作用及解决错误
## 什么是JAVA_HOME？
JAVA_HOME是一个环境变量，用于指定Java安装目录。当我们在系统中安装了多个Java版本时，JAVA_HOME可以帮助我们明确指定要使用的Java版本。在Linux系统中，我们可以使用`export`命令来设置JAVA_HOME。
## JAVA_HOME的作用
JAVA_HOME的设置对于Java开发和
原创
2023-08-22 06:04:57
25阅读
RS485串口服务器ZLAN5143I的一款专门为抗雷击、抗电磁干扰、抵抗恶劣环境要求而设计的一款高可靠性、高性能串口服务器/Modbus网关产品，是串口服务器的旗舰级产品。可以应用于隧道监控、风力发电、野外地质灾害监控等需要抗干扰、抗雷击的工业应用场合。ZLAN5143I具有良好的接口隔离特性。其RS485/RS422不仅具有正负15KV的抗静电干扰，而且具有2500V的接口隔离，即在RS485
转载
2024-07-11 04:29:43
50阅读
Apache Hadoop和Apache Spark是大数据处理中非常重要的两个框架。在实际的应用中，可能会遇到需要将Hadoop 3.1.3与对应的Spark版本进行整合的情况。在本文中，我将详细介绍如何实现“hadoop3.1.3对应spark版本”，帮助刚入行的小白快速掌握这个知识点。
整件事情的流程如下表所示:
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载并安装
原创
2024-05-20 10:01:48
338阅读
文章目录一. 下载spark和scala并解压二. 配置SPARK_HOME环境变量三. 修改配置3.1 修改 spark-defaults.conf3.2 修改spark-env.sh3.3 修改slaves文件四. 将spark目录分发到其他节点五. 启动Spark集群六. 在web界面查看Spark UI七. 测试八. Yarn模式8.1 启动hdfs、yarn服务8.2 修改Hadoop
转载
2023-07-20 14:55:48
1663阅读
1评论
教程适用的环境及软件选用的版本系统：Windows 10 21H1 JDK：1.8.0_271 Scala：2.12.11 Hadoop：3.3.0 IDEA：2021.1.3提供附件格式说明官网下载速度较慢，所以将使用到的附件上传到了阿里云盘 附件 winutils-master.exe、hadoop-3.3.0.exe 之所以采用.exe（自解压格式），是因为阿里云盘不支持压缩文件的分享；若担
转载
2023-10-09 22:07:59
24阅读
hadoop 3.1.3 完全分布式+HA+Zookeeper
原创
2023-09-29 21:57:39
174阅读
# Hadoop 3.1.3高可用
## 介绍
Hadoop是一个开源的分布式计算平台，可以处理大规模数据集。它的核心特性是高可用性，也就是能够在节点故障的情况下继续提供服务。Hadoop 3.1.3是Hadoop的最新版本，它引入了许多新特性和改进，其中包括对高可用性的增强。
本文将介绍如何在Hadoop 3.1.3中实现高可用性，并提供一些代码示例来帮助您理解和实践。
## Hadoo
原创
2023-07-23 16:10:24
92阅读
1、spark win10安装（1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2（2）添加环境变量SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2%SPARK_HOME%\bin%SPARK_HOME%\sbin（3）测试 cmd下输入spark
转载
2023-07-12 11:58:43
419阅读
python3对接嵌入式数据库BerkeleyDB 工具 python3 BerkeleyDB -> pip install berkeleydb windows下安装失败使用非官方编译版本 bsddb3-6.2.9-cp36-cp36m-win_amd64.whl -> https://www.l ...
转载
2021-08-31 20:20:00
259阅读
2评论
# 使用Python3对接RESTful API
在现代应用体系中，RESTful API已成为一种主流的通信方式。它提供了一种简单、可靠的方式来实现服务器与客户端之间的数据交换。本文将介绍如何用Python3对接RESTful API，并提供相应的代码示例，以及相关的流程图和甘特图，以帮助读者全面理解这个主题。
## 1. 什么是RESTful API？
RESTful API（Repre
首先感谢一些网上大家的分享。感觉趟了一次坑，所以分享一下，希望能帮到大家。先从linux主机开始，搭建一个vncserver（系统版本 ubuntu：14.04）：安装server：sudo apt-get install vnc4server
启动：
vnc4server :1(:1是桌面号)
检查是否启动成功（也可以去 ~/.vnc目录下是否有xx
The Hadoop Distributed Filesystem The Design of HDFSHDFS is a filesystem designed for storing very large files with streaming data access patterns, running on clusters of commodity hardware. Let’
Spring 5 是流行的 Spring 框架的下一个重大的版本升级。Spring 5 中最重要改动是把反应式编程的思想应用到了框架的各个方面，Spring 5 的反应式编程以 Reactor 库为基础。在之前的文章《使用 Reactor 进行反应式编程》中，已经对 Reactor 库进行了详细的介绍。读者如果需要了解 Reactor，可以参考之前的那篇文章。Spring 5 框架所包含的内容很
一、Flume集成Kafka在实际工作中flume和kafka会深度结合使用1：flume采集数据，将数据实时写入kafka 2：flume从kafka中消费数据，保存到hdfs，做数据备份下面我们就来看一个综合案例使用flume采集日志文件中产生的实时数据，写入到kafka中，然后再使用flume从kafka中将数据消费出来，保存到hdfs上面那为什么不直接使用flume将采集到的日志数据保存到
转载
2023-11-24 08:25:57
297阅读
1评论
本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。准备工作1、Hadoop官方下载地址： http://hadoop.apache.org/releases.html选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快2、将tar.gz包解压至D盘根目录：[外链图片转存失败,源站可能有防盗链机制,建议将图
转载
2023-08-11 13:03:07
110阅读
