前言：其实在应用各种产品的时候，也有发现过有些手机号码和邮箱地址等，都会有一部分是密文显示。 嗯，其实最明显的就是银行卡了，基本上就没有全部明文显示的。 这两天在做一个需求的时候，刚好也有这样的要求。 之前没有想过为什么，这次简单想了想，记录一下。 一、需求整理其实就是当为手机号：则显示前３位和后３位，其余的以＊补齐； 而当是邮箱地址时，显示第一个字符以及＠和之后的字符，其余的以＊补齐。 示例：1
内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈1. 什么是ZooKeeper？ZooKeeper 是一个开放源码的分布式协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈
# 项目方案：Docker Kafka日志分析
## 1. 项目背景及目标
在使用Docker部署Kafka集群时，我们经常需要对Kafka的日志进行分析，以解决生产环境中出现的问题。本项目方案旨在提供一种基于Docker Kafka日志的分析方案，帮助用户快速定位和解决Kafka相关的问题。
## 2. 方案概述
本方案将使用ELK（Elasticsearch + Logstash + Ki
原创
2023-08-19 05:37:56
372阅读
# 如何查看Docker Kafka中的消息
在使用Docker搭建Kafka集群时，经常会遇到需要查看Kafka中的消息的情况。本文将介绍如何在Docker中使用一些工具来查看Kafka中的消息。
## 问题描述
在实际开发中，我们可能需要查看Kafka中的消息，以便排查问题、监控数据等。但是在Docker环境中，直接访问Kafka并不是那么方便，需要借助一些工具来实现。
## 解决方案
原创
2024-05-01 04:53:14
317阅读
在使用JavaKafka时，了解如何查看topic中是否有数据是一个常见而又重要的问题。本文将详细讨论这个问题的背景、错误现象、根因分析、解决方案、验证测试以及预防优化等方面，帮助你更有效地进行Kafka的管理。
## 问题背景
在一个基于Kafka的微服务架构中，许多应用程序依赖Kafka作为消息传递机制。用户往往需要监控特定的topic，以确保应用程序中的数据传递正常。为了达到内容可视化，
一、 ActiveMQ 简介1 什么是 ActiveMQActiveMQ 是 Apache 出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持 JMS1.1 和 J2EE 1.4 规范的 JMS Provider 实现，尽管 JMS 规范出台已经是很久的事情了，但是 JMS 在当今的 J2EE 应用中间仍然扮演着特殊的地位。2 什么是消息“消息”是在两台计算机间
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？一、页缓存技术 + 磁盘顺序写首先Kafka每次接收到数据都会往磁盘上去写，为了保证数据写入性能，Kafka是基于操作系统的页缓存来实现文件写入的。 操作系统本身有一层缓存，叫做page ca
转载
2024-02-23 12:25:05
78阅读
# 项目方案：使用Docker Compose启动Kafka并进行检测
## 简介
Kafka是一个高性能、分布式的消息队列系统，用于实现大规模的实时数据流传输。Docker Compose是Docker官方提供的一个用于定义和运行多容器Docker应用程序的工具。本项目方案旨在使用Docker Compose来启动Kafka，并通过一系列的检测来验证Kafka是否成功启动。
## 前提条件
原创
2023-11-10 07:06:27
263阅读
Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。同时支持离线数据处理和实时数据处理。Kafka的设计原理分析一个典型的kafka集群中包含若干
1、磁盘类型和容量规划1.1 磁盘类型机械磁盘（HDD） 一般机械磁盘寻道时间是毫秒级的，若有大量随机I/O，则将会出现指数级的延迟，但是kafka是顺序读写的，因此对于机械磁盘的性能也是不弱的，所以，基于成本问题可以考虑。固态硬盘（SSD） 读写速度可观，没有成本问题可以考虑。JBOD (Just Bunch Of Disks ) 经济实惠的方案，对数据安全级别不是非常非常高的情况下可
# Docker中如何查看Kafka消息
Apache Kafka 是一个分布式流媒体平台，用于构建实时数据流处理应用程序。由于其设计的特殊性，Kafka的消息通常是以分区的形式存储在多个代理（Broker）上。当我们通过Docker部署Kafka时，查看Kafka中的消息通常需要借助一些命令行工具或客户端库。
## 1. 环境准备
在开始之前，你需要确保以下环境已经准备好：
- Dock
原创
2024-08-06 12:02:07
476阅读
Java 怎么看Kafka的偏移量
在现代的数据驱动应用中，Kafka作为一个流行的消息队列解决方案，承载着大量实时数据流的传输与处理。为了确保数据的准确性和完整性，开发者必须密切关注每个消费者的偏移量，尤其是在需要进行故障排查或性能调优时。本文就将探讨如何通过Java来查看Kafka的偏移量，以及相关的影响和优化方法。
## 问题背景
在微服务架构或者大数据平台中，Kafka的消息的消费是
问题反馈： xx现场测试环境下，整个平台的数据，除了原始数据模块，其他模块正常运行。相同版本的包，在线上环境上原始数据的订阅是正常的，但是测试环境没有，查看所有相关的日志，均没有报异常，且日志中有正常显示已经把数据发送到kafka。但是从kafka的日志里查，没有收到转发过来的数据。 这里梳理一下这个 原始数据 的整个流程：upload 转发 原始数据到 kafka，用的topic为&n
转载
2024-10-12 12:06:11
32阅读
关于Spring CloudSpring Cloud为开发人员提供了工具，可以快速构建分布式系统中的一些常见模式(譬如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领袖选举(字面翻译)、分布式会话、集群状态)。协调分布式系统致力于统一工作，并且使用Spring Cloud的开发人员可以快速地实现这些模式的服务和应用程序。他们将会很好地工作在任何分布式环境下，包括开发人
消费滞后消息堆积是消息中间件的一大特色，消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积是一把亦正亦邪的“双刃剑”，如果应用场合不恰当，反而会对上下游的业务造成不必要的麻烦，比如消息堆积势必会影响上下游整个调用链的时效性。在某些情况下，有些中间件如 RabbitMQ 在发生消息堆积时还会影响自身的性能。对 Kafka 而言，虽然消息堆积不会给其自身性能带来太大的
转载
2024-02-26 12:51:35
269阅读
对象的初始化(1) 非静态对象的初始化在创建对象时，对象所在类的所有数据成员会首先进行初始化。基本类型：int型，初始化为0。如果为对象：这些对象会按顺序初始化。※在所有类成员初始化完成之后，才调用本类的构造方法创建对象。构造方法的作用就是初始化。(2) 静态对象的初始化程序中主类的静态变量会在main方法执行前初始化。不仅第一次创建对象时，类中的所有静态变量都初始化，并且第一次访问某类(注意此时
转载
2023-08-25 17:41:11
78阅读
Java快速入门:Java修饰符类型修饰符是一种添加到定义以更改其含义的关键字。Java语言有各种各样的修饰符,包括以下两种 - Java访问修饰符 - 例如:private,protected,public等。 Java非访问修饰符 - 例如:static,final等。 要使用修饰符,请在类,方法或变量的定义中包含修饰符关键字。一文解析Java的对象下面将深入了解什么是对象。 如果考虑现实世界
转载
2024-06-12 12:22:15
38阅读
引子之所以写这篇文章是因为之前面试时候被面试官问到(倒)了，面试官说：“你说你对Kafka比较熟？看过源码? 那说说kafka日志段如何读写的吧？”我心里默默的说了句 “擦…我说看过一点点源码，不是亿点点。早知道不提这句了！”，那怎么办呢，只能回家等通知了啊。但是为了以后找回场子，咱也不能坐以待毙，日拱一卒从一点点到亿点点。今天我们就来看看源码层面来Kafka日志段的是如何读写的。Kafka的存储
转载
2024-03-06 00:00:20
33阅读
文章目录Kafka高效读写数据及事务1. Kafka高效读写数据1.1 顺序写磁盘1.2 零复制技术2. Zookeeper 在Kafka中的作用3. Kafka事务3.1 Producer事务3.2 Consumer事务☆ Kafka高效读写数据及事务1. Kafka高效读写数据1.1 顺序写磁盘Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端
转载
2024-03-19 07:17:53
62阅读
前言线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思，并且结合本次故障，对kafka使用的最佳实践有了更深刻的理解。好了，一起来回顾下这次线上故障吧，最佳实践总结放在最后，千万不要错过。1、现象线上kafka消息突然开始堆积消
转载
2024-02-28 21:00:46
231阅读
