1.前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？Flink or Spark？2.为何需要实时计算？根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这
# Redis QPS是如何计算的
Redis（Remote Dictionary Server）是一种高性能的key-value存储系统，它支持各种数据结构，如字符串、哈希表、列表、集合、有序集合等。在实际应用中，我们通常关注Redis的性能指标之一，即每秒查询速率（QPS）。
QPS是指系统在每秒内能够处理的查询请求数量。对于Redis来说，每个查询请求都包含一个命令和相应的操作。因此，计
原创
2023-11-29 08:44:37
91阅读
kafka集群的目标：亿级消息处理能力，每天处理1亿的请求，平均每秒1000-2000的请求，高峰每秒抗住6000并发QPS估算二八法则：一天24小时，凌晨12点到凌晨8点这8个小时几乎是没有数据。根据二八法则80%的数据会在白天8点和晚上12点之前16个小时产生，1亿80=8千万 ,也就是8千万的数据会在16个小时产生，而且8千万数据的80%(6400万)会在16个小时的20%时间(3小时)涌入
转载
2024-04-18 09:58:51
569阅读
我是 Redis，今年 11 岁了~曾几何时我是辣么的单纯，辣么的可爱，而如今我竟背叛了当初“誓言”，决心在多线程这条路上义无反顾的一路狂奔，没错我就是你们口中那个既可爱又迷人的 Redis，你可以叫我小 R...R 。一波骚操作结束，我们开始今天的正文。我们知道在 Redis 4.0 之后就陆陆续续添加了一些多线程的功能，难道单线程不香了吗？单线程慢吗？Redis 的单线程曾几何时还是我们炫耀的
转载
2024-06-13 06:59:08
33阅读
1.技术选型的考量条件业内常用的MQ有哪些？每一种MQ各自的表现如何？这些MQ在同等机器条件下，能抗多少QPS（每秒抗几千QPS还是几万QPS）？性能有多高（发送一条消息给他要2ms还是20ms）？可用性能不能得到保证（要是MQ部署的机器挂了怎么办）？2.深层次的考量他们会不会丢数据？如果需要的话能否让他们进行线性的集群扩容（就是多加机台机器）？消息中间件经常需要使用的一些功能他们都有吗（比如说延
转载
2024-09-13 19:41:04
137阅读
应该大部分小伙伴都清楚，用机油装箱举个例子。所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存，且仅仅是起到了缓存的作用而并不是真正的缓存，
测试方法在其他虚拟机上使用 Kafka 自带 kafka-producer-perf-test.sh 脚本进行测试 Kafka 写入性能尝试使用 kafka-simple-consumer-perf-test.sh 脚本测试 Kafka Consumer 性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip 和 Snappy 的传输速度 MB/S 是通过压缩
转载
2024-03-27 15:33:02
68阅读
前面说过Kafka集群环境的部署，现在主要说一下在本地测试中Kafka单机环境的部署，和前面一样首先保证zookeeper服务的正常运行，然后解压并释放kafka安装包，并放到指定位置： tar -xvzf kafka_2.9.2-0.8.2.2.tar.gz
mkdir /usr/kafka
mv kafka_2.9.2-0.8.2.2 /usr/kafka/
cd /usr/kafka/
转载
2024-03-21 09:08:44
40阅读
1、概念Kafka是分布式的、可分区的，可复制的消息系统。2、原理【待补充】3、组成1）Topics/Logs一个topic是对一组消息的归纳。每个topic将被分成多个partition，每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置成为offset，offset为一个long型数字，它是一
转载
2024-04-10 22:50:12
69阅读
如何在 Centos_7.2 下构建 Kafka_2.13 分布式消息系统的单例模式 一、前言本文对于 kafka 分布式消息系统，是一个不错的入口点，首先从安装开始，这样就可以对 kafka 有一个基本的概念了，再了解 kafka 相关的基本概念就比较好理解些啦 ！！！ 关于 Kafka：Kafka 是一个分布式的、可分区的、可复制的消息系统。 Kafka是由Apache软件基金会开发的一个开
大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。 最近公司日志Kafka集群出现了性能瓶颈，单节点还没达到60W/tps时消息发送就出现了很大延迟，甚至最高超过了10s，截图说明如下： 虽说使用的机械磁盘，但这点压力对Kafka来说应该是小菜一碟，这引起了我的警觉，需要对其进行一番诊断了。通过
转载
2024-03-25 22:54:59
37阅读
前言背景算法优化改版有大需求要上线，在线特征dump数据逐步放量，最终达到现有Kafka集群5倍的流量，预计峰值达到万兆网卡80%左右(集群有几十个物理节点，有几PB的容量，网卡峰值流出流量会达到800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估，提前做好容量规划，保障服务持续稳定运行L3层 dump特征 @xxx
1.依赖文章特征公共服务2.依赖用户
转载
2024-03-21 09:17:54
37阅读
作者: 钟涛编译在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。微服务、事件驱动架构和 CQRS(命令查询的责任分离 Command Query Responsibility Segregation)是构建当代业务应用程序的主要工具。除此以外，物联网、移动设备和可穿戴设备的普及，进一步对系统的近实时能力提出了挑战。首先让我们对“快”这个词达成共识，这个词是
应用场景异步解构：在上下游没有强依赖的业务关系或针对单次请求不需要立刻处理的业务系统缓冲：有利于解决服务系统的吞吐量不一致的情况，尤其对处理速度较慢的服务来说起到缓冲作用消峰作用：对于短时间偶现的极端流量，对后端的服务可以启动保护作用数据流处理：集成 spark 做实事数据流处理Kafka 拓扑图（多副本机制）由上图我们可以发现 Kafka 是分布式，同时对于每一个分区都存在多副本，同时整个集群的
丁威 《RocketMQ 技术内幕》作者读完需要10分钟 速读仅需 3 分钟在双十一过程中投入同样的硬件资源，Kafka 搭建的日志集群单个 Topic 可以达到几百万的 TPS，而使用 RocketMQ 组件的核心业务集群，集群 TPS 只能达到几十万 TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS 只是众多性能指标中的一个，我们在做技术选型方面要从多方
转载
2024-06-05 08:32:12
46阅读
Kafka介绍kafka背景一、 什么是kafka1.1 kafka基本术语1.2 kafka特性1.3 kafka使用场景1.4 kafka的topic为什么要分区？二、Kafka安装2.1 kafak启动2.2 kafka常见命令三、SpringBoot+Kafka3.1 依赖引入3.2 kafka配置3.3 生产者config3.4 消费者config3.5 注册topic并发送消息3.6
转载
2023-08-06 11:40:59
222阅读
引言在Kafka安装目录下 ($KAFKA_HOME/bin), 提供了很多内置的脚本供我们使用, 使用脚本可以测试 Kafka 的大多数功能, 下面我们就脚本的使用作出说明.启动 brokerbin/kafka-server-start.sh 脚本提供了启动 broker 的功能.前台启动bin/kafka-server-start.sh config/server.properties后台启动
性能测试及集群监控工具Kafka提供了非常多有用的工具，如Kafka设计解析（三）- Kafka High Availability （下）中提到的运维类工具——Partition Reassign Tool，Preferred Replica Leader Election Tool，Replica Verification Tool，State Change Log Merge Tool。本章
转载
2024-03-21 10:05:34
108阅读
QPSTPSPVUVIPGMVRPS《Java 2019 超神之路》《Dubbo 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析 —— 精品合集》《MyBatis 实现原理与源码解析 —— 精品合集》《Spring MVC 实现原理与源码解析 —— 精品合集》《Spring Boot 实现原理与源码解析 —— 精品合集》《数据库实体设计合集》《Java 面试题 —— 精品合
转载
2023-11-03 06:59:55
57阅读
点赞
离上次写博客又隔了很久，心中有愧。在我不断使用Java的过程中，几乎都是拿来就用，就Java并发这块我还没有系统的梳理过，趁着国庆有空余时间，把它梳理一遍。以下部分内容参考相关书籍，以作学习之用，特此说明。1.并行定律随着科技的发展，集成电路上的晶体管数量也达到了物理极限，摩尔定律也随之不再那么有效，例如Amdahl定律和Gustafson定律代替它成为计算机性能发展的源动力。从这个演变也可以看出
转载
2024-08-13 15:52:01
29阅读
