简介Compose 作为Docker官方编排工具，可以让用户通过编写一个简单的模板文件，快速的搭建和管理基于Docker容器的应用集群。其定位是“定义和运行多个Docker容器的应用”，它允许用户通过一个YAML格式的模板文件来定义一组相关联的应用容器为一个项目。官方文档：https://hub.docker.com/r/sequenceiq/spark/安装我的安装环境是：centos 7.3
转载
2024-03-11 06:26:09
41阅读
## Docker Spark集群搭建
### 概述
在本文中，我们将介绍如何使用Docker搭建Spark集群。Spark是一个用于大规模数据处理的开源分布式计算系统，而Docker是一种容器化平台，它可以帮助我们快速部署、管理和扩展应用程序。
### 整体流程
首先，让我们来看一下整个搭建Spark集群的流程，如下所示：
```mermaid
flowchart TD;
开始 -->
原创
2023-12-04 10:27:05
307阅读
一、环境准备1、spark官网Apache Spark™ - Unified Engine for large-scale data analytics2、下载地址Index of /dist/
原创
2022-03-15 11:23:33
723阅读
转载一个大神的blog，其实我是想转载另一篇的，但是不小心 改完了，才发现 转的是 准备看的 这篇， 好吧，不严谨了。 反正都要 转，先转了。刚开始搭建Hadoop集群的时候，使用的是VMware创建的虚拟机。结果卡到心态爆炸。。。 今天尝试使用Docker搭建hadoop集群，发现是如此的好用快捷，也比使用VMware简单。 在这里记录一下防止以后忘记，为以后的学习做准备。1.获取镜像。如
转载
2023-12-26 21:52:14
69阅读
一、docker中创建pxc 容器1.拉取PXC 镜像 pull
docker pull percona/percona-xtradb-cluster:5.7.21
2.更改镜像名称为pxc tag
docker tag percona/percona-xtradb-cluster:5.7.21 pxc
3.删除旧名称的镜像 rmi
docker rmi percona/p
转载
2023-08-10 11:17:12
74阅读
前几天做了个hadoop镜像，hadoop擅长的场景在于离线计算，对于实时性要求要的场景还是得spark上场，于是研究了下spark。项目地址 https://github.com/liuchengts/docker-spark用法基本与上次的hadoop类似，同样我只在此说明 dockerfile的内容。spark环境是在原先hadoop基础上增加一些其他必要组件，所以有些步骤是几乎一
转载
2023-10-14 06:13:37
105阅读
spark环境搭建 3台服务区分别是master 192.168.29.160
slave1 192.168.29.161
slave2 192.168.29.162
slave3 192.168.29.163 一般在有hadoop的节点上放一个spark 1、上传jar包并解压 tar -zxvf xxx.jar 2、配置 standalone 集群模式 2.1、拷贝conf文件夹下的文件sla
转载
2023-10-14 08:52:22
6阅读
1 概述 现在国内的资料很少，即使你看到了，资料也不是很全，每个人都为中国在这方面做点贡献，也是为了相互学习。作为学习Spark中的一个重要环节--搭建Spark集群，此次搭建环境使用了Docker1.7，Spark1.4-hadoop2.6，搭建的集群环境，操作系统为CentOS6.5，内存4G 2 升级Linux内核 &nbs
转载
2024-04-11 19:29:33
130阅读
1 制作hadoop镜像 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。yum install which -y2 启动容器docker run --name hmaster --hostname hmaster --network hadoop -d -P \
-
转载
2023-11-19 16:00:31
55阅读
一、容器编排工具
docker machine
docker compose //单节点
docker swarm // docker集群编排，类似k8s，没有k8s强大，
 
转载
2023-09-02 17:37:31
88阅读
一、k8s简介1.简介官方中文文档：https://www.kubernetes.org.cn/docs
Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容
转载
2024-05-29 00:25:39
138阅读
docker6_搭建spark集群1、安装spark2、配置spark3、Standalone-HA4、Spark-On-Yarn 链接: 基于CentOS 8镜像的spark集群搭建连接进入node1容器docker exec -it gpb_hdp_node1 bash
或
ssh -p 10122 root@localhost1、安装spark退出到实体机上传安装包到/root目录siri
转载
2024-05-31 21:49:31
80阅读
最近好不容易搞到了三台测试机，可以用来搭建spark集群搞模型。本宝宝开心得不行，赶紧行动，把spark集群搭起来，模型跑起来。1.搭建hadoop集群hadoop的hdfs文件系统是整个生态圈的基础，因为数据量大了以后，数据一般就都放hdfs上头了。因为四台测试机之前已经搭建好了hadoop集群环境，而且经过本宝宝测试，hadoop集群也是可用的，所以就省了搭hadoop集群的功夫。2.配置集群
转载
2023-11-01 18:23:30
97阅读
目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章 spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spa
转载
2023-11-21 11:10:36
563阅读
1.虚拟机与Linux Spark+Tachyon+HDFS（HDFS擅长迭代运算，Tachyon基于内存分布式系统） Spark是一个计算框架，需要相应的存储框架。目前是基于下面三种存储： 1.Hadoop的HDFS 2.S3，也就是云存储 3.Tychyon（业界在越来越多使用） Spark+Tachyon+HDFS，将来是黄金组合 Tychyon是基于内存的分布式存储（分布式内
转载
2023-10-01 09:11:55
98阅读
Spark是通用的基于内存计算的大数据框架，可以和hadoop生态系统很好的兼容，以下来部署Spark集群 集群环境：3节点 Master:bigdata1 Slaves:bigdata2,bigdata3 Master负责任务的分发，与集群状态的显示 Slaves运行具体的Worker任务，最后交由Executor执行任务代码 集群搭建之前，必须满足如下条件： 1、集群主机名和hosts文件映射
转载
2023-07-25 00:21:02
208阅读
# 搭建Spark集群的新手指南
Apache Spark 是一个强大的分布式计算框架，可以处理大规模的数据集。对于初入行的开发者来说，搭建一个Spark集群是一个重要的技能。在本文中，我将带领你了解如何搭建一个简单的Spark集群，从而让你能够进行大规模数据处理。
## 流程概述
在本指南中，我们将按照以下步骤搭建Spark集群：
| 步骤 | 说明
原创
2024-09-09 06:29:31
101阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
需要和hadoop版本对应，不然会有protocal的错）解压配置spark-env.shexport
原创
2023-04-20 16:40:42
105阅读
### Spark集群搭建实践
#### 一、流程概述
在搭建Spark集群之前，需要准备好相应的软件和资源，然后按照以下步骤逐步完成集群搭建。
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 准备集群环境 |
| 2 | 安装并配置Hadoop |
| 3 | 配置Spark集群 |
| 4 | 启动Spark集群 |
| 5 | 验证Spark集群是否正常使用
原创
2024-04-23 20:06:20
128阅读
