发行说明 - Kafka - 版本2.0.1以下是Kafka 2.0.1版本中解决的JIRA问题的摘要。有关该版本的完整文档，入门指南以及有关该项目的信息，请参阅Kafka项目站点。有关升级的注意事项：在升级群集之前，请仔细查看此版本的 升级文档。升级说明讨论了有关不兼容性和重大更改，性能更改以及可能影响Kafka生产部署的任何其他更改的所有重要信息。可以在http://kafk
转载
2024-07-18 10:16:16
36阅读
消费者消费位移的提交分为同步和异步，手动和自动提交分区管理之优先副本选举、主题的分区重分配、复制限流日志索引–稀疏索引，偏移量索引和时间戳索引，根据偏移量索引或者时间戳索引二分法查找具体的某个消息的位置日志清理之日志删除和日志压缩，日志清理之后的小文件会进行合并日志磁盘存储–页缓存、零拷贝服务端–协议设计、定时任务之时间轮、延时操作、Kafka控制器是管理主题与分区的(包括Leader选举)客户端
转载
2024-07-18 09:59:50
17阅读
EFAK（Eagle For Apache Kafka，以前称为 Kafka Eagle）EFAK是开源可视化和管理软件。可以查询、可视化、监控kafka集群，是将 kafka 的集群数据转换为图形可视化的工具。Kafka-Eagle 是一款完全开源的对 Kafka 集群及应用做全面监控的系统，其核心由以下几个部分组成： 数据采集：核心数据来源 JMX 和 API 获取； 数据存储：支持 MySQ
转载
2024-01-21 01:49:25
54阅读
一、Kafka 无消息丢失核心概念Kafka 只对“已提交”的消息做有限度的持久化保证。二、生产者程序丢失数据目前Kafka Producer 是异步发送消息，也就是说如果你调用的是 producer.send(msg)这个API，那么它通常会立即返回，但此时你不能认为已经发送成功了。 如果出现消息丢失，我们是无法知晓的， 这种发送方式不靠谱，不过还有一些公司在用这种API发送消息。 这种发送方式
转载
2024-04-17 14:25:39
29阅读
在启动的时候，每台HRegion服务器都会检查自己的Hlog文件（Hlog是磁盘上的记录文件，它记录着所有的更新操作），看看最近一次执行flushcache之后有没有新的更新写入操作。如果没有更新，就表示所有的数据都已经更新到文件中了；如果有更新，服务器就会先把这些更新写入高速缓存，然后调用fulshcache写入到文件中。最后服务器会删除旧的Hlog文件，并开始让用户访问数据。因此，为了节省时间
转载
2024-10-15 16:37:51
24阅读
摘要在这一篇的文章中，我将从Sarama的同步生产者和异步生产者怎么创建开始讲起，然后我将向你介绍生产者中的各个参数是什么，怎么使用。然后我将从创建生产者的代码开始，按照代码的调用流程慢慢深入，直到发送消息并接收到响应。这个过程跟上面的文章说到的kafka各个层次其实是有对应关系的。1.如何使用1.1 介绍在学习如何使用Sarama生产消息之前，我先稍微介绍一下。Sarama有两种类型的生产者，同
介绍
kafka是一个高吞吐量分布式的消息系统，由linkedin开源。
特点：
1、分布式、高吞吐量、速度快；
2、同时支持离线和实时两种解决方案；
3、开源；
4、源码是用Scala写的，可以运行在JVM上；
术语：
1、kafka将消息以topic为单位进行归纳；
2、将向topic发布消息的程序称为producer；
3、将预定topic并消费消息
# 科普文章：Redis Grafana
## 1. 什么是Redis和Grafana？
### Redis
Redis是一个开源的内存数据库，也可以用作缓存、消息代理和排行榜应用。它支持多种数据结构，如字符串、列表、集合、有序集合和哈希表。Redis非常快速，并且具有持久性和复制功能，使其成为许多应用程序的首选数据库之一。
### Grafana
Grafana是一个流行的开源数据可视化工
原创
2024-06-07 06:25:04
17阅读
在当前的技术环境中，许多组织都希望通过Grafana和MySQL生成可视化报表。而在Windows平台上，结合这两者的操作也在不断提升。因此，本文将详细探讨如何在Windows环境下使用Grafana创建 MySQL 报表的过程，并涵盖协议背景、抓包方法、报文结构、交互过程、性能优化和安全分析等方面。
## 协议背景
在现代的数据展示与监控中，Grafana作为一个开源的分析与监控工具，能够与
JBPM流程监控的实现
JBPM是JBOSS公司的一个开源工作流产品，它功能强大，商业工作流所提供的功能它基本上都有。然而在JBPM中没有提供流程监控的功能的相关API，这点让很多使用JBPM做企业应用的开发人员颇为头疼。
其实，在JBPM中我们可以通过手工编码的方式来实现商业工作流中所具有的流程监控功能。
kafka的idempotence
生产者
服务器
分区文件
正常流程
发送record(PID, Seq)
写入磁盘
检查PID的Seq是否 > CurrentSeq
正常ACK
异常流程
发送re
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，
## 如何实现"redis grafana 慢请求"监控
作为一名经验丰富的开发者，我将教你如何实现"redis grafana 慢请求"监控。首先，我们需要了解整个流程，然后逐步实现每一个步骤。
### 流程步骤
下面是实现"redis grafana 慢请求"监控的步骤表格：
| 步骤 | 描述 |
|---|---|
| 1 | 安装 Redis |
| 2 | 配置 Redis 慢
原创
2024-06-04 04:25:08
55阅读
Flarum 是一款优雅简洁论坛软件。 让在线交流变得更加轻松愉快。 程序基于 PHP 构建，因此很容易安装部署。界面使用 Mithril 构建，Mithril 是一个高性能的 JavaScript 框架。更少的等待，更多的交流。这篇文章就用宝塔面板来安装部署 Flarum ，废话不多说了，步入正题~~~之前介绍的论坛程序安装教程：1、简介项目：https://git
转载
2024-03-13 11:32:42
215阅读
# 在 Grafana 中监控 MySQL 数据库
在现代软件开发中，监控系统的健康与性能至关重要。本文将探讨如何利用 Grafana 监控 MySQL 数据库，帮助你快速发现性能瓶颈和潜在问题，从而保持系统的可用性和稳定性。我们将覆盖整个流程，包括安装、配置和可视化。
## 1. 前期准备
要监控 MySQL，你需要确保以下软件安装在你的系统上：
- **MySQL**：需要有一个正在运行
# 在Docker中运行Grafana
## 概述
在本文中，我将向你介绍如何在Docker中运行Grafana。Grafana是一个用于监控和可视化数据的开源工具，它提供了强大的查询和图表功能，使你能够更好地了解你的数据。
作为一名经验丰富的开发者，我将逐步指导你完成这个过程。下面是整个过程的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装Docker |
原创
2023-08-27 05:57:49
127阅读
zk做为分布式架构中的重要中间件，通常会在上面以节点的方式存储一些关键信息，默认情况下，所有应用都可以读写任何节点，在复杂的应用中，这不太安全，ZK通过ACL机制来解决访问权限问题，详见官网文档：http://zookeeper.apache.org/doc/r3.4.6/zookeeperProgrammers.html#sc_ZooKeeperAccessControl总体来说，ZK的节点有5
目录索引模块ngx_http_autoindex_module1)语法Syntax: autoindex on | off;
Default:
autoindex off;
Context: http, server, location
#优化部分
#显示具体大小 off 显示K/M/G单位 on 单位就是 bytes
Syntax: autoindex_exact_size on |
# 使用 Docker 部署 Grafana （中文界面）
在现代软件开发中，Grafana 是一个流行的开源可视化工具。通过 Docker 部署 Grafana 可以简化环境配置，并易于管理。在这篇文章中，我将指导你如何在 Docker 上运行带有中文支持的 Grafana。我们将分步骤进行，同时提供每一步的详细说明和代码示例。
## 整体流程概览
下面是实现 Docker Grafana
原创
2024-10-10 04:11:52
94阅读
从来没写过Blog，想想也是，工作十多年了，搞过N多的架构、技术，不与大家分享实在是可惜了。另外，从传统地ERP行业转到互联网，也遇到了很所前所未有的问题，原来知道有一些坑，但是不知道坑太多太深。借着填坑的机会，把过程Log下来。 言归正传，先说说背景吧。Teld的业务平台中存在大量的物联网终端传感数据和车辆运行数据，这些数
转载
2024-08-07 09:58:40
40阅读
