kafka基本操作 kafka基本操作kafka基本操作修改 topics检查 consumer 位置管理 Consumer 组修改broker配置kafka-server-start.shkafka-console-consumer.shkafka-console-producer.shkafka-topics.sh扩展群集优雅的关机Balancing leadership垮机架均衡副本集群之间
转载
2024-03-27 16:23:03
44阅读
7、kafka文件存储： 由于生产者生产的消息会不断追加到 log 文件末尾， 为防止 log 文件过大导致数据定位效率低下， Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment对应两个文件——“.index”文件和“.log”文件。 这些文件位于一个文件夹下， 该文件夹的命名规则
转载
2024-02-24 01:57:48
52阅读
一、kafka基础介绍0. kakfa概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）开源消息系统，由Scala写成，是由Apache软件基金会开发的一个开源消息系统项目，该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。kafka基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量
# Java 连接 Kafka SASL Keytab
## 介绍
Apache Kafka是一个分布式的流处理平台，它可以处理大规模的实时数据流。Kafka的安全性可以通过使用SASL（Simple Authentication and Security Layer）进行认证和授权来增强。在本文中，我们将学习如何使用SASL keytab来连接Java应用程序和Kafka集群。
## 准备
原创
2023-11-12 06:56:06
117阅读
在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能1. 尽量在合适的场合使用单例使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面：第一，控制资源的使用，通过线程同步来控制资源的并发访问；第二，控制实例的产生，以达到节约资源的目的；第三，控制数据共享
转载
2024-07-09 14:08:00
21阅读
1 前言combineByKey是使用Spark无法避免的一个方法，总会在有意或无意，直接或间接的调用到它。从它的字面上就可以知道，它有聚合的作用，对于这点不想做过多的解释，原因很简单，因为reduceByKey、aggregateByKey、foldByKey等函数都是使用它来实现的。combineByKey是一个高度抽象的
转载
2024-09-11 01:10:08
5阅读
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个
转载
2024-02-26 13:30:55
196阅读
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。Configuring a Cluster for Kerberos-Authenticated HDFS Users and SSH ConnectionsAmazon EMR 为集群上运行的应用程序创建通过 Kerberos 进行身份验证的客户端，例如，hadoop 用户、spark 用户等。您还可以添加已通过使用 K
API文档生成工具-----Knife4j的详细介绍、配置及应用 文章目录一、Knife4j是什么?二、Knife4j如何配置?三、在Controller类或方法上如何使用?四、如何访问API文档?其他项目应用 一、Knife4j是什么?Knife4j是一个基于Swagger构建的开源Java API文档工具，它为Java开发者提供了生成、展示和调试API文档的功能。它提供了一套美观且功能强大的界
理论上，通过kerberos认证后又没开启sentry，可以随意访问服务，但有的服务还有额外的acl权限限制，比如hdfs和hbase，需要额外进行授权，sentry只能管hive，hdfs和hbase用的是acl，当然，sentry可以通过acl来管理hdfs。缩写add_principal，addprinc，ank delete_principal，delprinc ktadd，xst cha
转载
2024-07-09 06:42:21
350阅读
(1).在 Active Directory 服务器中，为运行认证墙的主机创建一个用户帐户（选择“新建”>“用户”，而不是“新 建”>“计算机”）。 在创建该用户帐户时，应使用计算机的简单名称。例如，在 Active Directory 中创建一个名为 authwall的用户。 请记录下创建用户帐户时定
转载
2023-11-01 21:49:35
102阅读
Flume 概述Flume 是 Hadoop 生态圈子中的一个重要组件，在上一课时中提过，它是一个分布式的、高可靠的、高可用的日志采集工具。Flume 具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们使用 Flume 收集数据的速度超过下游的写入速度时，Flume 会自动做调整，使得数据的采集和推送能够平稳进行。Flume 支持多路径采集、多管道数据接入和多管道
转载
2024-03-26 04:51:44
57阅读
一，背景公司需要用到flink和kafka来处理大数据，对于一个没有接触过这两个东西的40岁程序员，决定自学一下，用了两天的时间终于实现了flink和kafka的对接，目标就是要向kafka输入 "时间戳,温度,设备ID"，然后在flink里面按照时间戳分组，再按照设备ID计算的在一个时间段内的温度平均值。 二，运行环境window 10, kafka 2.1.1, flink 1.7.
转载
2024-03-01 15:52:11
308阅读
目录记录一次流处理引擎选择的过程1、Spark Streaming2、Kafka Streaming3、Flink最后 记录一次流处理引擎选择的过程先描述下项目需求，要处理的消息来源为RabbitMQ的队列A，队列A的数据是10万个点位（物联网采集点）数据每秒一次推送产生的，现在的需求是：要新增一些虚拟计算点位，点位建立规则是已有物理点位的计算表达式，比如V001为P001+2*P002。每个计
转载
2023-07-11 16:58:28
118阅读
目的最近会不定期抽空整理flink的相关知识，整理的逻辑大纲就是下面自己画的学习框架图。如果有大佬发现下面知识框架有问题也欢迎指出。因为FlinkKafkaConsumer 是flink自己对kafka的数据读取进行管理的中间件，与kafka自带的进度管理方式稍有不同，而kafka又是flink最常用的resource和sink之一。这里对FlinkKafkaConsumer的管理机制进行学习记录
转载
2024-04-23 11:46:31
81阅读
本文是《Flink的sink实战》系列的第二篇，《Flink的sink实战之一：初探》对sink有了基本的了解，本章来体验将数据sink到kafka的操作；版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.15.3 (MacBook Pro 13-inch, 2018)IDEA：2018.3.
转载
2024-03-21 11:25:15
83阅读
Flink学习-DataStream-KafkaConnector摘要本文主要介绍Flink1.9中的DataStream之KafkaConnector，大部分内容翻译、整理自官网。以后有实际demo会更新。可参考kafka-connector如果关注Table API & SQL中的KafkaConnector，请参考Flink学习3-API介绍-SQL1 Maven依赖FlinkKaf
转载
2024-03-19 02:42:02
40阅读
前言之前有文章 《Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。前提准备安装 RabbitMQ这里我直接用 doc
转载
2024-03-22 08:34:07
90阅读
Kafka 数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。用户可以把流数据导入到 Kafka 的某个 Topic 中，通过 Flink 算子进行处理后，输出到相同或不同 Kafka 示例的另一个 Topic。Kafka 支持同一个 Topic 多分区读写，数据可以从多个分区读入，也可以写入到多个分区，以提供更
转载
2023-08-03 18:49:04
285阅读
Flink的Checkpoint和savepoint的区别和作用一、Flink的checkpointflink的checkpoint是异步的、分布式的、轻量级的，将同一时间点的task/operator的状态数据全局统一快照处理，包括用户自定义的keyed state和operator state 当未来程序出现问题，可以基于保存的快照容错。checkpoint的原理A：flink会在输入的数据集
转载
2024-02-20 10:38:34
78阅读
