简介Kafka是一种高吞吐量的分布式发布订阅消息系统Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，Kafka是分布式的流数据平台Producer：Producer即生产者，消息的产生者，是消息的入口。Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个b
转载
2024-02-26 14:36:26
149阅读
调优Kafka集群在软件工程领域，非功能性需求是依照某些条件判断系统运行情形或特性，而不是针对系统特定行为的需求，常见非功能需求如下性能：最重要的非功能需求之一，大多数生产环境对集群性能有着严格的要求，不同的系统对于性能有不同的诉求，对于Kafka而言，性能一般指吞吐量和延时两方面吞吐量：broker或clients应用程序每秒能处理多少字节或消息延时：通常指producer端发送消息到broke
转载
2024-07-11 11:19:38
42阅读
1. kafka整体结构图Kafka名词解释和工作方式Producer ：消息生产者，就是向kafka broker发消息的客户端。Consumer ：消息消费者，向kafka broker取消息的客户端Topic ：咋们可以理解为一个队列。Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手
转载
2024-04-09 16:54:30
50阅读
总体介绍GroupCoordinator是一个协调器，它协调的是在同一个组的消费者对topic_partition的分配策略。其主要作用是根据客户端支持的分配策略，选出一个leader并让leader来做partition的分配并通知给其他所有的consumer的操作。GroupCoordinator不做topicPartition的分配，其主要是根据客户端传来的分配策略选举出一个策略，并选举一个
转载
2024-06-11 10:55:46
25阅读
集群成员关系Kafka使用zookeeper来维护集群成员信息。每个broker都有一个唯一标识符broker.id。在broker启动时，它把自己的ID注册到zookeeper。Kafka组件订阅zookeeper的brokers/ids/路径，当有broker加入或退出集群时，这些组件就获得通知。控制器控制器有一般broker功能之外，还负责分区首领的选举，集群里第一个启动的broker通过z
转载
2024-03-26 09:42:50
73阅读
1.什么是kafka？注：高吞吐量的分布式发布订阅消息系统。能力：流处理。发布订阅消息。1.1没有架构时候：用户调用系统注册板块，然后板块写入db，然后成功了，再去调用短信接口，在返回。1.2 如果短息服务出现了故障。那么所有调用注册都会发生异常。异步发送：加上消息队列，用户注册将数据写入db，同时注册系统，会将成功信息发到消息队列，发送短信服务里的消费者会不停去取队列的消息，最后直接返回给用户。
转载
2024-09-10 09:52:24
40阅读
常用命令Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。topic相关kafka-topics.shkafka-topics.sh用于维护topic。包括create, delete, describe, change#创建topic
kafka-t
转载
2024-10-17 23:46:45
70阅读
Kafka学习笔记之四-HAReplica如果没有replica在没有Replication的情况下，一旦某机器宕机或者某个Broker停止工作则会造成整个系统的可用性降低。随着集群规模的增加，整个集群中出现该类异常的几率大大增加，因此对于生产系统而言Replication机制的引入非常重要.算法实现 Kafka分配Replica的算法如下：将所有Broker（假设共n个Broker）和待分配的
1、什么是Nginx，谈谈个人都理解，项目中是否用到，为什么要用，有什么优点？Nginx ，是一个 Web 服务器和反向服务器用于 HTTP、HTTPS、SMTP、POP3 和 IMAP 协议。主要功能如下：1、正向、反向 2、负载均衡、分流 3、虚拟主机（绑定host）优点：跨平台、配置简单，非阻塞、高并发连接、内存消耗小、成本低廉。2、正向和反向的区别是什么？正向是一个位于
很多刚刚接触java语言的人会问——java是什么？java语言的优点有哪些?其实，Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强 […]很多刚刚接触java语言的人会问——java是什么？java语言的优点有哪些?其实，Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解
转载
2023-09-10 15:34:33
310阅读
一、kafka概述在流式计算中，kafka是用来缓存数据的，storm通过消费kafka的数据进行计算。kafka的初心是，为处理实时数据提供一个统一、高通量、低等待的平台；1、kafka是一个分布式消息队列：kafka对消息保存是根据topic主题进行归类，发送消息者称为producer，消息接受者称为consumer，此外kafka集群有多个kafka实例组成，每个实例（server）称为br
转载
2024-03-26 10:06:42
28阅读
(Introduction to working with(in) Spark)After the previous post wherein we explored Apache Kafka, let us now take a look at Apache Spark. This blog post covers working within Spark’s interactive shell
转载
2024-08-06 21:03:22
32阅读
生产者：Producer。向主题发布新消息的应用程序。 消费者：Consumer。从主题订阅新消息的应用程序。 消费者位移：Consumer Offset。表征消费者消费进度，每个消费者都有自己的消费者位移。 消费者组：Consumer Group。多个消费者实例共同组成的一个组，同时消费多个分区以实现高吞吐。 消息：Record。Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。
转载
2024-03-26 05:24:08
36阅读
什么是KafkaKafka是一款分布式消息发布和订阅系统，它的特点是高性能、高吞吐量。 最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控所以kafka一开始设计的目标就是作为一个分布式、高吞吐量的消息系统，所以适合运用在大数据传输 场景。Kafka的应用场景由于kafka具有更好的吞吐量、内置分区、冗余及容错性的优
转载
2024-04-21 19:28:24
195阅读
介绍 Apache Kafka™ 是 一个分布式数据流平台. 这意味什么呢?我们认为一个数据流平台有三种能力:它让你发布和订阅数据流. 在这方面他与消息队列或企业级消息系统很像.它让你具有很强容灾性的存储数据流.它让你及时的处理数据流.那么Kafka适合做什么呢? 它通常被使用在两大类应用中:搭建可以使数据在系统或应用之间流动的实时数据流管道（pipelines）搭建可以针对流数据实行
转载
2024-10-11 17:19:52
51阅读
可能丢消息的场景从Producer的角度考虑消息在写入累加器之前失败了，这个只能靠上层应用自行处理消息写入累加器后吗，未发送到Broker前Producer宕机，因为消息存在内存里，所以有丢失的风险。 kafkaProducer.close()方法会在Producer退出前等待累加器中消息被处理Sender线程将消息发送到Broker前因为一些可重试的异常（比如网络抖动、leader选举）导致发送
转载
2024-09-26 19:15:03
20阅读
由于我们初识MySQL数据库，可能会出现不同的人使用相同的数据库术语表示不同的事物，从而会造成一些混乱，因此，弄懂MySQL中的一些重要概念就显得尤为重要。本文我们就来罗列一份重要的MySQL必知概念大全清单。1.数据库(database)数据库是保存有组织的数据的容器(通常是一个文件或一组文件)。易混点：人们经常用“数据库”这个词代表他们使用的数据库软件。数据库软件是 DBMS(数据库管理系统)
转载
2023-09-25 12:29:55
132阅读
随着互联网的高速发展，一个应用为了保护用户的隐私，通常会通过设置用户名+密码的验证方式保证用户隐私的相对安全，我知道一般网站的登录验证，通常会设置一个二维码，通过验证二维码，防止恶意软件通过机械程序，对用户密码进行破解，那么Android设备如何实现这个功能呢？相信很多开发者对此不屑一顾，因为这样增加了用户使用的复杂性，很多软件是不会这样设计的，现在我们暂且不谈它是不是有用，今天我们重点探讨一
转载
2023-07-24 22:33:45
25阅读
<<= 什么意思？|=什么意思？ x <<= 2; // x = x << 2; y |= 8; // y = y | 8; 这些都是被缩写了！位运算……
原创
2022-05-08 14:35:48
398阅读
关于鸿蒙OS（操作系统）的介绍已经很多了，也是大家广为关注的，但是我觉得鸿蒙OS的特性背后所反映出来的技术方向还有华为应对外在挑战的策略更有意思。 什么是鸿蒙OS？ 先说名字。鸿蒙有开天辟地的意思，英文名Harmony是音译，和谐的意思。对内霸气侧漏，对外低调温和，对心理的拿捏非常地准确。感觉Harmony的名字更好一些，毕竟为物联网而生，能让万物互联，和谐互通才是它最应该做的
转载
2023-07-19 16:17:34
488阅读
