51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

大数据集群配置【Hadoop+Spark】（非伪分布）
选择对应的 Hadoop 版本的预编译包，最好是Hadoop版本是一样的，这样适n。HADOOP_CONF_DIR 应该输出 /usr/local/hadoop/etc/hadoop。
大数据
hadoop
spark
Hadoop
转载
bugouhen
1月前
402阅读

大数据公司集群架构 大数据集群平台
大数据平台是为了满足企业对于数据的各种要求而产生的。 大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据新手学习交流群，如果有想学习大
大数据公司集群架构
golang 大数据平台
大数据平台
Hadoop
大数据
转载
feiry
2023-08-15 21:07:45
103阅读

大数据集群架构 大数据集群部署方案
1.前期准备1.1系统和yum源镜像准备需要的条件：① 至少三台刚装上Centos7.0系统的物理机或者虚拟机；② CentOS-7.0-x86_64-bin-DVD1.iso镜像，用于制作本地yum源；注意：本文三台物理机或虚拟机的操作系统镜像是CentOS-7-x86_64-Minimal-1804.iso。用于制作本地yum源的CentOS-7.0-x86_64-bin-DVD1.
大数据集群架构
大数据
scala
java
CentOS
转载
mob64ca1409d8ea
2023-08-25 18:02:06
223阅读

大数据集群搭建
其他
转载
孙中明
2021-07-27 16:12:51
229阅读

大数据集群 IT架构
在当今的数据驱动时代，大数据集群 IT 架构变得至关重要。它为数据存储、处理和分析提供了一种高效的方法，能够为企业快速挖掘出有价值的信息。本文将详细探讨构建大数据集群的架构，包括技术原理、架构解析、源码分析、性能优化及扩展讨论。 ## 背景描述 大数据集群是通过将大量数据分布在多个节点上进行存储和处理的技术。其核心目的是提高数据处理的效率和可靠性。以下是大数据集群建设的主要流程： ```me
数据集
数据处理
数据
原创
mob64ca12d12b68
6月前
15阅读

大数据集群搭建
虚拟机环境配置##集群规划jiqunguihua.png853×356 18.3 KB元数据服务存储##网卡配置vi PROTO=sta..
虚拟机
转载
孙中明
2021-07-27 16:12:54
197阅读

集群故障大数据分析 大数据集群架构
大数据集群搭建目录概叙 4 1.1 引言 4 1.2 集群拓扑图 5 1.3 整体架构图 5 1.4 设备选型 6 1.5 版本选择 6 1.6 功能分布 7集群基础配置 7 2.1修改主机名 7 2.2 hosts主机名IP映射文件修改 7 2.3关闭防火墙 8 2.4 配置免秘钥SSH 8 2.5 Jdk安装 8 2.6 Mysql安装 8集群组件配置 9 3.1 Hadoop配置 9 3.1
集群故障大数据分析
hadoop
xml
mysql
转载
IT独行侠
2023-12-25 13:13:48
64阅读

离线安装大数据hadoop集群 大数据hadoop集群搭建
hadoop集群安装部署文档一、 系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、 Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改 hadoop-env.sh 文件3、执行本地模式wordcount案例4、克隆虚拟机5、修改网络配置及主机
离线安装大数据hadoop集群
大数据
hadoop
集群
部署
转载
mob64ca141139a2
2024-05-15 06:23:34
63阅读

【大数据】hadoop集群
HADOOP根据生产环境搭建并且已在生产环境中使用，多多指教
集群
HADOOP
Flink
HDFS
原创 精选
DonotCTR
2022-08-25 23:07:16
731阅读

大数据集群搭建
虚拟机环境配置##集群规划jiqunguihua.png853×356 18.3 KB元数据服务存储##网卡配置vim /etc/sysconfig/network-scripts/ifcfg-eth0内容如下：
hive
hadoop
zookeeper
转载
孙中明
2022-04-13 14:05:34
257阅读

大数据集群搭建
在进行大数据集群搭建之前，首先需要明确整个流程和每个步骤需要做什么。下面是一份简单的指南表格，帮助你理解大数据集群搭建的流程： | 步骤 | 操作 | 代码示例 | |------|---------------------|----------------------------| | 1 | 准备集群节点
大数据
集群搭建
Docker
原创
轻舟已过万重山亾
2024-04-30 10:54:29
130阅读

大数据集群迁移
大数据集群迁移是指将一个大规模的数据集群从一个地方迁移到另一个地方，通常是为了扩展容量、升级或者备份数据。在Kubernetes（K8S）中，我们可以利用一些工具来帮助我们实现大数据集群迁移。下面我将会向你介绍如何在Kubernetes中实现大数据集群迁移的流程和步骤。 ### 实现大数据集群迁移的流程 在Kubernetes中实现大数据集群迁移主要可分为以下几个步骤： | 步骤
数据集
数据
上传
原创
不会抓老鼠的猫
2024-05-07 11:07:31
100阅读

大数据集群部署
大数据集群部署是一个在大数据处理和分析领域非常重要的操作，它可以帮助我们高效地处理海量数据。在Kubernetes（K8S）中部署大数据集群是一种常见的做法，它可以帮助我们快速搭建、管理和扩展大数据处理平台。 下面我将向你介绍如何在Kubernetes中部署大数据集群，希望这些信息对你有所帮助。 ## **部署流程** 下表展示了在Kubernetes中部署大数据集群的步骤： | 步骤 |
Hadoop
大数据
大数据处理
原创
不会抓老鼠的猫
2024-05-30 10:00:14
100阅读

zookeeper伪集群
由于公司服务器数量的限制，我们往往没有那么多的服务器用来搭建zookeeper的集群，所以产生了伪集群的搭建，也就是将多个zookeeper搭建在同一台机器上。准备工作：1，一台服务器，我们这里用虚拟机来代替，虚拟机上将jdk安装好。2，将zookeeper安装包上传到虚拟机上。3，将Zookeeper解压 ，创建data目录(存放数据的目录) ，将 conf下zoo_sample.cfg 文件改
zookeeper伪集群
zookeeper
服务器
IP
转载
技术领航探索者
1月前
345阅读

伪集群 zookeeper
超详细，多图文介绍redis集群方式并搭建redis伪集群超多图文，对新手友好度极好。敲命令的过程中，难免会敲错，但为了截好一张合适的图，一旦出现一点问题，为了好的演示效果，就要从头开始敲。且看且珍惜。再认识redis集群前，若想先知道redis单机版的可查看，springboot整合redis。好了，下面开始了。每个redis实例可称为一个节点，安装redis并以默认端口启动是节点，不关闭，以另
伪集群 zookeeper
redis
Redis
配置文件
转载
mob64ca14061c9e
5月前
24阅读

大数据架构 之 集群机器 大数据集群组件
文章目录1. 手册说明2. 部署规划2.1. 服务器信息2.2. 服务器规划2.3. 组件及其对应版本3. 组件部署3.1. 服务器基础配置3.1.1. 解除 Linux 系统限制1. 解除打开文件数限制：3.1.2. 修改主机名和主机映射1. 永久修改主机名：2. 临时修改主机名：3.1.3 配置主机映射3.1.3. 关闭防火墙和selinux1. 关闭防火墙：2. 关闭SELinux3.1.
大数据架构 之 集群机器
hadoop
zookeeper
服务器
vim
转载
代码工匠大师
2024-05-30 23:16:59
32阅读

【zookeeper】伪集群
最近想学习一下zk，今天就先搭建一个伪集群吧。我的系统是macOS，zk的安装是真的简单，可\
zk
zookeeper
集群
配置文件
官网
原创
wx636dc453ed367
2022-11-11 12:26:58
151阅读

redis搭建集群（伪集群）
集群搭建步骤 1、创建6个文件夹 2、复制redis.conf文件，并修改redis.conf 配置文件 3、创建集群 4、连接客户端 5、查看状态 创建 6个文件夹来存放redis.conf,因为redis集群最小需要的是，三组三从，每个文件夹代表一台服务器，6007跟6008可忽略 先复制一个到
redis
配置文件
redis集群
原创
TinaRoot.CN
2022-01-10 16:38:56
1188阅读

我的大数据开发第3章：kafka单节点伪集群安装
我的大数据开发第3章：kafka单节点伪集群安装kafka 都依赖 zookeeper。1. zookeeper 单机伪分布式部署确保环境变
java
zookeeper
kafka
大数据
原创
mapaware
2023-01-10 11:42:59
92阅读

我的大数据开发第4章：hbase单节点伪集群安装
我的大数据开发第4章：hbase单节点伪集群安装前提是确保hadoop和zookeeper如第1章，第3章安装正确：我的大下：<configuration> <property>
hadoop
hbase
zookeeper
大数据开发
单节点
原创
mapaware
2023-01-10 11:43:06
47阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

我的大数据开发第1章：hadoop 单节点伪集群安装

linux的Hadoop大数据集群部署 大数据hadoop集群搭建

Kubernetes中部署 Hadoop 大数据集群 大数据hadoop集群搭建

大数据集群的镜像推荐以及版本 大数据集群技术

大数据集群架构图 大数据集群部署方案

大数据集群的架构图 大数据集群部署方案

redis 伪表 redis伪集群搭建

grafana监听大数据集群 大数据语音监听

大数据平台 监控 集群 大数据组件监控

大数据集群异地容灾 大数据地区

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯