本文使用的Kafka版本0.11先思考些问题:我想分析一下用户行为（pageviews），以便我能设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操作效率低。这个时候，我们就可以用到分布式消息系统了。虽然上面的描述
转载
2024-07-18 09:44:53
26阅读
生产者：Producer。向主题发布新消息的应用程序。 消费者：Consumer。从主题订阅新消息的应用程序。 消费者位移：Consumer Offset。表征消费者消费进度，每个消费者都有自己的消费者位移。 消费者组：Consumer Group。多个消费者实例共同组成的一个组，同时消费多个分区以实现高吞吐。 消息：Record。Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。
转载
2024-03-26 05:24:08
36阅读
为了成为一个会理财的程序员熊二，我来了。 直接成本和间接成本 直接成本(direct cost)：由一个特定项目引起的成本，如人工费、材料费等。 间接成本(indirect cost):整个组织运营成本的一部分，是与所有项目共享的，通常用直接成本的百分比计算，并分配到所有项目中，如税金、管理层工资等。 固定成本和可变成本 固定成本(fixed cost)：不随生产量或工作量的变化而变化
转载
2024-04-24 10:29:59
24阅读
限流是指对系统或应用的访问流量进行调整或限制的过程，以维护系统的可用性和稳定性。是为了保护系统在高负载或者异常情况下不被过多的请求压垮，在实际应用中，限流通常是通过控制一定时间内的请求数量或请求速率来实现的。它可以帮助我们解决一些常见问题，例如：防止恶意攻击：恶意发起大量的请求可能会占用服务器的大量资源
转载
2024-08-12 19:42:50
465阅读
# Docker 重置是什么意思？如何操作？
Docker 是一个流行的容器化平台，使开发者能快速构建、测试和部署应用程序。使用 Docker 的过程中，可能会遇到需要重置 Docker 的情况，比如要清理旧的容器、镜像或其他资源。在本文中，我们将详细介绍 Docker 重置的意义和完整的操作步骤，让刚入门的小白也能轻松理解和实施。
## 一、Docker 重置的含义
“Docker 重置”
原创
2024-08-30 08:22:40
125阅读
Kafka 概括：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行
转载
2024-04-02 20:28:31
55阅读
1.1.2 消息队列的两种模式1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）消
转载
2024-04-26 17:50:51
34阅读
上一篇文章讲解了kafka如果生产不丢失数据。这篇文章我们从消息有序、防止重复消费的角度介绍下kafka的消费流程。 任何的消息队列都存在一个消费者的角色，kafka也是如此，但是相比较单独消费者而言，kafka提出了一个消费组的概念。 Consumer Group(消费者组)：官网的定义就是消费者使用一个消费者组名来标记自己
转载
2024-02-13 16:03:35
92阅读
注意事项kafka重平衡比较坑，当客户端收不到最新的消息时，大概率是kafka在重平衡，可以查看消费位点，查看kafka是否活跃，是否在重平衡。常用命令docker中查看消费位点:docker exec -it kafka /bin/bash
cd /opt/kafka/bin
kafka-consumer-groups.sh --bootstrap-server localhost:9092
转载
2024-02-09 21:43:41
257阅读
就我看来，一段程序，最该关注的是“逻辑表现”，次要的“性能”等问题的优化。当然，肯定也会有需要追求性能的场景，不过这并不是“追求”出来的，而是在大量经验累计情况下做出的正确决策。就算在那种情况下，“逻辑表现”还是非常重要的。 “逻辑表现”的意思，就是如何用程序清晰地体现你的逻辑。每个程序的目标都是解决某个特定的问题，解决问题便有思路，这个思路用程序表现出来便是逻辑。与初中高中证明数学题一样，逻辑清
转载
2024-03-26 21:27:45
8阅读
概述Kafka是一个开源的分布式事件流平台(Event Streaming Platform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。Producer ：消息生产者，就是向 kafka broker 发消息的客户端。Consumer ：消息消费者，向 kafka broker 取消息的客户端。Consumer Group （CG）：消费者组，由多个 consumer 组成
转载
2024-03-26 10:01:13
76阅读
前言之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》 ，有生产者自然也就有消费者。建议对 Kakfa 还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。也用 Kafka 消费过日均过亿的消息（不得不佩服 Kakfa 的设计），本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。
转载
2024-03-22 10:33:24
79阅读
Spring-Kafka如何实现批量消费消息并且不丢失数据先给答案：// 批量消费配置: 1批量, 2手动提交
factory.setBatchListener(true);
factory.getContainerProperties().setAckMode(AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE);
/
转载
2024-06-12 14:06:57
73阅读
摘要：PMP®进度压缩是在确保项目范围不变的前提下，通过技术手段和管理方法缩短项目完成时间的过程。它主要通过快速跟进和赶工两种方式实现，并受到项目资源、风险和利益相关者需求等多种因素的影响。
转载
2024-10-15 18:41:55
109阅读
通过消费组A开始消费队列中的消息，消费到中途时由于故障导致已消费的消息在客户端未保存，所以需要重新再消费一遍，但是由于Kafka内部机制的原因已消费成功的消息无法再次消费，可怎办呢？终于在帮助中找到如下内容，可以解决我的问题：如果想跳过某些未消费的消息，或者想重新消费队列中的已消费的消息，或者只想消费某个时间点之后的消息（这些消息不论之前是否消费过），那么可以通过“消费重置”功能实现选择性跳过或者
转载
2024-03-15 10:49:42
120阅读
沉没成本百度定义：
沉没成本，是指以往发生的，但与当前决策无关的费用。从决策的角度看，以往发生的费用只是造成当前状态的某个因素，当前决策所要考虑的是未来可能发生的费用及所带来的收益，而不考虑以往发生的费用。
人们在决定是否去做一件事情的时候，不仅是看这件事对自己有没有好处，而且也看过去是不是已经在这件事情上有过投入。我们把这些已经发生不可收回的支出，如时间、金钱、精力等称
转载
2024-05-10 22:59:01
21阅读
1. kafka整体结构图Kafka名词解释和工作方式Producer ：消息生产者，就是向kafka broker发消息的客户端。Consumer ：消息消费者，向kafka broker取消息的客户端Topic ：咋们可以理解为一个队列。Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手
转载
2024-04-09 16:54:30
50阅读
总体介绍GroupCoordinator是一个协调器，它协调的是在同一个组的消费者对topic_partition的分配策略。其主要作用是根据客户端支持的分配策略，选出一个leader并让leader来做partition的分配并通知给其他所有的consumer的操作。GroupCoordinator不做topicPartition的分配，其主要是根据客户端传来的分配策略选举出一个策略，并选举一个
转载
2024-06-11 10:55:46
25阅读
大数据篇：Kafkakafka.apache.orgKafka 是什么?Kafka是一种高吞吐量的分布式发布、订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。如果没有Kafka大数据领域的每秒数百万以上的消息，消息的持久化无法处理；传统领域
转载
2024-04-22 13:08:12
230阅读
常用命令Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。topic相关kafka-topics.shkafka-topics.sh用于维护topic。包括create, delete, describe, change#创建topic
kafka-t
转载
2024-10-17 23:46:45
70阅读
