docker-compose搭建spark集群（含hdfs集群） 前言 说明：网上看到了大佬写的几篇使用docker极速搭建spark集群的文章，跟着做了一遍，还是遇到了很多问题，特在此整合内容，加上自己收集的一些资料来完善，一方面是想记录一下教程，另一方面帮助大家少走弯路。参考文章在本文末尾，可自行参考学习。我们经常会遇到这样一个情况，想搭建一个简单的大数据环境用来运行一些小工程小项目或者仅仅是
转载
2024-09-29 20:09:09
49阅读
1 概述 现在国内的资料很少，即使你看到了，资料也不是很全，每个人都为中国在这方面做点贡献，也是为了相互学习。作为学习Spark中的一个重要环节--搭建Spark集群，此次搭建环境使用了Docker1.7，Spark1.4-hadoop2.6，搭建的集群环境，操作系统为CentOS6.5，内存4G 2 升级Linux内核 &nbs
转载
2024-04-11 19:29:33
130阅读
# 如何实现 Pulsar Docker 集群
在现代分布式系统中，Apache Pulsar 是一种高效的消息处理工具，它支持多种消息协议和强大的数据存储能力。为了便于部署，我将教你如何使用 Docker 快速搭建一个 Pulsar 集群。以下是我们实现这一目标的步骤。
## 流程概述
| 步骤 | 操作内容 |
|------|---------
docker 部署 redis 的三种集群模式master+slave(主从)主从模式介绍主从快速部署启动&验证sentinel(哨兵)哨兵模式介绍哨兵快速部署启动&验证cluster(集群)cluster集群模式介绍集群快速部署启动&验证 master+slave(主从)主从模式介绍主从模式:是三种集群方式里最简单的。它主要是基于Redis的主从复制特性架构的。通常我们
转载
2024-10-22 19:34:19
28阅读
## Docker搭建Pulsar集群
### 简介
Pulsar是一种分布式的消息和流处理平台，具有高可用性和可扩展性。使用Docker可以方便地搭建Pulsar集群，本文将介绍如何通过Docker搭建Pulsar集群的步骤和具体操作。
### 准备工作
在开始搭建Pulsar集群之前，需要确保已安装Docker和Docker Compose。如果还没有安装，请按照Docker官方文档进
原创
2023-12-01 05:52:45
290阅读
# 使用 Docker 搭建本机 Pulsar 集群
Apache Pulsar 是一个开源的分布式消息系统，旨在提供高吞吐量、低延迟的消息传递服务。相比于许多传统的消息队列，Pulsar 的多租户支持、地理复制及强大的流处理功能使其在处理大型数据流时非常有效。本文将介绍如何使用 Docker 在本地搭建一个简单的 Pulsar 集群。
## 准备工作
首先，确保你已经安装了 Docker
原创
2024-08-12 06:38:54
147阅读
目录引言一、Docker-compose简介二、YAML文件格式及编写注意事项1、YAML文件格式2、YAML格式的注意事项3、YAML数据结构三、Docker Compose配置常用字段四、Docker-compose常用命令五、compose部署六、总结 引言Dockerfile可以让用户管理一个单独的应用容器，而Compose则允许用户在一个模板（YAML）中定义一组相关联的应用容
转载
2023-08-28 23:27:23
526阅读
本文是《docker下，极速搭建spark集群(含hdfs集群)》的续篇，前文将spark集群搭建成功并进行了简单的验证，但是存在以下几个小问题：spark只有一个work节点，只适合处理小数据量的任务，遇到大量数据的任务要消耗更多时间；hdfs的文件目录和docker安装目录在一起，如果要保存大量文件，很可能由于磁盘空间不足导致上传失败；master的4040和work的8080端口都没有开放，
转载
2024-05-30 15:09:16
111阅读
# Pulsar Docker安装
## 简介
Apache Pulsar是一个开源的分布式消息和流处理平台，具有高性能、可扩展性和可靠性。通过使用Docker，可以快速方便地安装和部署Pulsar。
本文将介绍如何使用Docker安装Pulsar，并提供相应的代码示例。
## 前提条件
在开始之前，需要确保已经安装了Docker，并且具备基本的Docker知识。
## 安装Pulsa
原创
2024-01-24 12:09:25
119阅读
### 如何在 Docker 中安装 Pulsar
作为一名经验丰富的开发者，我将帮助你学习如何在 Docker 中安装 Pulsar。下面是整个过程的步骤和详细说明。
#### 步骤概览
| 步骤 | 描述 |
|------------|-----------------------------------|
| 步骤一
原创
2024-07-11 04:33:07
99阅读
# Docker安装Pulsar教程
## 简介
在本教程中，我将指导你如何使用Docker安装Pulsar。Pulsar是一个开源的分布式消息传递平台，具有高可扩展性和可靠性。通过使用Docker，我们可以快速、方便地安装和运行Pulsar。
## 整体流程
整个安装过程可以分为以下几个步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装Docker |
| 步
原创
2024-01-13 11:34:07
392阅读
## Docker安装Pulsar教程
### 导语
Docker是一种轻量级的容器化技术，而Pulsar是一个强大的分布式消息传递平台。本教程将向你介绍如何使用Docker安装Pulsar，让你能够快速搭建一个可靠的消息传递系统。
### 整体流程
下面是安装Pulsar的整体流程：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤1：安装Docker | 安装D
原创
2023-08-13 15:42:13
1126阅读
# Docker 安装 Pulsar
## 引言
Pulsar 是一种高性能、可扩展的开源分布式消息传递系统，由 Apache 软件基金会开发和维护。它具有低延迟、高吞吐量和可靠性等特性，适用于构建大规模的实时数据处理和流式处理应用程序。本文将介绍如何使用 Docker 安装 Pulsar。
## 安装 Docker
在开始之前，我们需要先安装 Docker。Docker 是一个开源的容器
原创
2024-01-11 05:15:18
248阅读
引言 https://pulsar.apache.org/docs/deploy-bare-metal/Apache Pulsar越来越多的公司使用，与Apache Kafka、Apache RocketMQ并列成为消息领域三家马车，有必要对其研究一番。下面以笔者曾在生产环境使用的配置梳理，内容提要：Pulsar的安装与部署Pulsar集群的验证生产环境机器配置生产环境内存分配生产环境b
转载
2024-01-30 06:12:21
311阅读
小米2022年12月份发布了万兆路由器，里面可以使用Docker。 今天尝试在小米的万兆路由器里安装Alist v3.9.2。准备工作创建存储在第三方管理(SimpleDocker)，单击"存储管理"=》“创建”，创建一个新的存储卷，单击刚刚创建的存储卷(时间最新的)的右侧的“详情"图标，拷贝挂载点(MountPoint) 信息，查看Docker Hub镜像信息访问https://hub.dock
转载
2023-07-06 23:01:51
1247阅读
# 如何在Windows上安装Pulsar
## 引言
在本文中，我将向你介绍如何在Windows操作系统上安装Pulsar，这是一种高性能的分布式消息传递和流处理平台。如果你是一名刚入行的开发者，不要担心，我将一步一步地指导你完成安装过程。
## 准备工作
在开始安装Pulsar之前，请确保你已经安装了以下软件和工具：
- Docker：用于创建和管理容器化应用程序的平台。
- Git：用于
原创
2024-01-19 04:05:23
737阅读
# 使用 Docker 安装与使用 Apache Pulsar 的指南
## 一、概述
Apache Pulsar 是一个流式数据处理和存储的开源平台，具有极高的伸缩性和可靠性。本文将介绍如何在本地通过 Docker 安装和使用 Apache Pulsar。我们将提供完整流程的步骤和对应的代码示例，确保即使是刚入行的小白也能轻松上手。
## 二、安装流程
下面是安装和使用 Apache P
原创
2024-08-14 08:42:36
125阅读
之前的一篇帖子里曾经在Ubuntu云服务器上部署了Scrapyd容器，帖子如下：云服务器下docker部署scrapyd目前需要对scrapyd添加了日志解析，该库的名称为logparser，它被用作在scrapyweb中解析scrapyd的日志。这里不介绍scrapyweb，感兴趣的可以去github上了解。logparser库的工作原理是每隔一段时间（默认10s）查看一下日志文件夹，然后解析，
转载
2024-10-28 22:35:45
19阅读
# 使用Docker安装和启动Apache Pulsar
Apache Pulsar是一个强大的分布式消息传递系统，为了帮助刚入行的小白朋友实现“Docker安装和启动Pulsar”，下面我们将介绍整个流程，并逐步提供所需的代码和解释。
## 流程图
首先，我们来看看流程的整体步骤：
| 步骤 | 操作 |
| ---- | -----------
原创
2024-08-19 05:56:41
126阅读
一、环境1、环境准备安装Docker镜像加速安装 docker检查版本安装Docker-compose二、Docker-compose 安装 Prometheus1、【方式一】手动创建 docker-compose 和 配置文件创建prometheus监控的文件夹创建alertmanager的配置文件 - config.yml新建grafana的配置文件 - config.mo
转载
2024-09-11 14:39:39
263阅读
