在互联网开发方面“数据可视化”是永恒的话题。自己开发成本太高，使用市场成熟的BI工具又太贵（大公司就无所谓，小企业毕竟不想花这个钱）。我们公司其实也面临这种情况，在经过长期选型之后最终选定了开源的Superset作为可视化工具，下面就为大家说明Docker版Superset是如何搭建的，并且通过一个例子说明如何在外部项目加载superset页面。1. 搭建首先我们先从DockerHub下载1.4.
转载
2024-07-03 08:49:27
37阅读
最最重要的kafka集群参数配置一、Broker 端参数1：Broker是需要配置存储信息的，即Broker使用哪些磁盘，针对存储信息的参数如下：log.dirs：指定Broker需要使用的若干个文件目录，这个参数没有默认值，这个需要自己指定。log.dir：他是上一个参数的补充。所以只用设置log.dirs即可。2：一般线上的生产环境中都会给log.dirs指定多个路径，例如：/opt/kafk
转载
2024-02-11 14:16:19
67阅读
Kafka的Replica概念kafka的replica指的是消息的备份，为了保证kafka的高可用（当leader节点挂了之后，kafka依然能提供服务）kafka提供了备份的功能。这个备份是针对partition的。可以通过 default.replication.factor 对replica的数目进行配置，默认值为1，表示不对topic进行备份。如果配置为2，表示除了leader节点，对于
转载
2024-03-10 11:03:33
114阅读
# 单Linux配置Kafka Docker集群
Kafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。Docker是一个开源的应用容器引擎，可以轻松地打包和部署应用程序。本文将介绍如何在单台Linux服务器上使用Docker配置Kafka集群。
## 环境准备
在开始之前，请确保你的Linux服务器上已经安装了Docker和Docker Compose。可以通过以下命令安
原创
2024-07-22 09:28:51
39阅读
Docker下Spark分布式集群搭建本教程使用docker模拟3台主机搭建分布式Spark集群，属于伪分布式：1、Docker安装2、下载已经配置好的Spark集群镜像文件3、新建3个容器，分别命名为cloud8，cloud9，cloud104、启动集群5、通过web端查看6、测试案例1、Docker安装Docker可以在Window下和Linux下安装，本教程基于Ubuntu16.04之上安装
转载
2023-08-18 13:28:58
141阅读
kafka集群配置
原创
2018-03-19 17:20:02
1157阅读
点赞
原创
2021-09-05 14:27:30
286阅读
本文主要记录了 Kafka 线上环境集群部署考虑因素以及非常非常重要的 Kafka 参数配置讲解。1. 概述Kafka 生产环境的一些注意事项，包括集群部署的考量和 集群配置参数的设置等，具体见下图：2. 集群部署2.1 操作系统主要为以下 3 方面：I/O 模型的使用
Kafka 客户端底层使用了 Java 的 selector，selector 在 Linux 上的实现机制是 epoll
转载
2024-04-25 11:07:48
78阅读
一、Server(Broker) 的全局配置
最为核心的四个配置 broker.id、port、log.dir、zookeeper.connect。
------------------------------------------- 系统 相关 -------------------------------------------
##每一个broker在集群中的唯一标示，要求是正数。在改变I
转载
2024-06-12 15:50:47
266阅读
一、前期准备1. 三台主机都需要安装好jdk2. 三台主机都要配置好zookeeper3. 准备好kafka压缩包二、kafka集群的安装1. 上传压缩包2. 解压 3. 创建消息目录4. 修改server.properties文件5. 分发 kafka安装目录6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.propertie
转载
2023-09-02 22:16:32
138阅读
1，解压[root@localhost ~]# tar -zxvf kafka_2.10-0.10.0.1.tgz -C /usr/local[root@localhost ~]# mv /usr/local/kafka_2.10-0.10.0.1 /usr/local/kafka这里我们将kafka安装到了/usr/local目录下。2，配置kafka集群这里将kafka安装到/us
转载
2024-02-09 12:03:37
64阅读
kafka简介 Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。使用Scala语言进行编写，提供了与JMS规范类似的特性，但是编写上并不是jms实现。kafka中只有topic的概念，没有队列。kafka的应用场景 kafka 具有高吞吐量、具有分区特性、副本机制及容错性的优点(kafka 每秒可以处理几十万消息)，让 kafka 成为了一个
转载
2024-04-02 20:24:13
58阅读
Broker端参数存储信息相关配置1.log.dirs:指定Broker需要使用的若干个文件目录路径，无默认值
2.log.dir:单路径，对log.dirs参数的补充
生产环境只需设置log.dirs,多个路径逗号分隔，如/home/kafka1,/home/kafka2,/home/kafka3,另外最好保证这些目录挂载到不同的物理盘，这样的好处是：
提升读写性能：多块物理盘可同时读写数据
能
转载
2024-06-03 21:31:36
90阅读
背景近期在使用 kafka，不过用的是阿里云的服务。一时心痒痒，就想本地安装一下，环境是 window7，作为记录，便于以后查阅。基本环境jdk apache kafka 基于 java 实现，所以需要安装下 java 基本环境。λ java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0
转载
2024-05-15 21:06:09
442阅读
# Kafka集群Java配置
Kafka是一个分布式流处理平台，它可以处理高吞吐量的实时数据流。在Kafka集群中，可以通过Java代码进行配置和管理。本文将详细介绍如何使用Java代码配置和管理Kafka集群，并提供示例代码。
## Kafka集群架构
在开始配置之前，让我们先了解一下Kafka集群的基本架构。一个Kafka集群由多个Broker组成，每个Broker是一个独立的Kafk
原创
2024-01-20 11:05:14
92阅读
概述有挺长一段时间没写技术文章了，正好这两天美团kafka团队有位小伙伴加了我微信，然后咨询了一个JVM crash的问题，大家对crash的问题都比较无奈，因为没有现场，信息量不多，碰到这类问题我们应该怎么去分析，我想趁这次机会和大家分享一下我针对这种问题的分析过程。不过我觉得这个分析过程可能会有点绕，因为crash文件太大，不能让大家看到crash文件的全貌而对让大家理解起来没那么有体感，因
转载
2024-09-05 19:44:51
47阅读
第5章 Kafka集群部署根据前面章节的介绍，知道了Fabric组网过程的第一步是需要生成证书等文件，而这些默认配置信息的生成依赖于configtx.yaml及crypto-config.yaml配置文件。在采用Kafka作为启动过类型的Fabric网络中，configtx.yaml 及 cryto-config.yaml配置文件依然有着重要的地位，但是其中的配置样本与先前的内容会有些不同。本章将
今天下午真是天朗气清啊，作者的内心也是荡漾无比，趁着这个大号的心情，给学习kafka的童鞋开一扇门~ &nb
kafka集群模式下部署fabric先把 crypto-config.yaml 和 configtx.yaml 两个文件上传到kafka0这个服务器。 找到我们部署单机环境的那个包hyperledger-fabric-linux-amd64-1.4.6.tar.gz首先，我们在kafka0或者说默认为第一台服务器进行操作。cd /opt/gopath/src/github.com/hyperl
# 搭建Kafka Java集群配置教程
作为一名经验丰富的开发者，我将会帮助你实现Kafka Java集群配置。首先，让我们看一下整个配置流程：
| 步骤 | 操作 | 代码示例 |
|------|----------|-------------------------|
| 1 | 下载Kafka | 下载Kafka压缩包 |
原创
2024-02-28 03:39:21
38阅读
