作者 | 雷架谈到大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。在业界已经有很多成熟的消息中间件如：RabbitMQ, RocketMQ, ActiveMQ, ZeroMQ，为什么 Kafka
转载
2023-07-31 16:29:18
69阅读
区块链技术发展到目前，常常被人所诟病的是吞吐量低，处理速度慢。尤其是在区块链技术运用最为广泛的金融领域，在传统互联网中本可以更高效、更迅速的完成的交易量，而到了区块链技术上反而常常会引起网络拥堵、崩溃。这让人不禁怀疑这样低效运行的区块链技术真的能改变世界吗？TPS 到底是什么？TPS (Transaction Per Second)平均每秒事务处理量，它是软件测试结果的测量单位。指的是一个客户机向
转载
2023-12-22 13:55:52
6阅读
QPS: 每秒钟处理完请求的次数；注意这里是处理完。具体是指发出请求到服务器处理完成功返回结果。可以理解在server中有个counter，每处理一个请求加1，1秒后counter=QPS。吞吐量: 这个问题从业务上来讲，可以理解为应用系统每秒钟最大能接受的用户访问量。或者每秒钟最大能处理的请求数； TPS：每秒钟处理完的事务次数，一般TPS是对整个系统来讲的。一个应用系统
ELK实战（一）Filebeat+Logstash发送Email告警日志（1）ELK应用案例典型ELK应用架构本次我使用的架构（Filebeat+Logstash发送Email告警日志）使用的Filebeat+Logstash版本介绍，包括jdk。Filebeat配置文件讲解(filebeat.yml)Logstash配置文件讲解(logstash.conf)邮件收到的具体信息如下总结目前本人使
转载
2024-03-20 21:47:37
34阅读
postman是一款支持http协议的接口调试与测试工具，其主要特点就是功能强大，使用简单且易用性好 。无论是开发人员进行接口调试，还是测试人员做接口测试，postman都是我们的首选工具之一 。那么接下来就介绍下postman到底有哪些功能，它们分别都能干些什么 。下面先通过一张图来直观的来看下postman中所包含的功能 。img当然，以上功能也只是展示了postman的一部分功能，为了能更加
转载
2024-10-17 19:38:17
50阅读
处理百万级以上的数据提高查询速度的方法： 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，
转载
2024-03-29 13:36:02
657阅读
目标实现查询超出百万的数据，并且对数据进行处理，导出excel表问题所在: 查询数据速度；内存溢出；步骤1.分页查询（解决内存溢出） 2.异步阻塞查询组合数据（解决查询效率慢） 3.SQL优化（通过limit，索引优化效率（explain），具体字段优化） 4.主动gc，对使用完的list数据主动回收。内容概述本文中，每查询10w条数据，其中每1w条数据通过异步并发分页查询数据，查询的limit在
转载
2024-02-19 01:41:37
617阅读
1．合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下： ●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。 ●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。 ●在
Hulu如何扩展InfluxDB使其支持每秒百万TPS导读：InfluxDB是最常用的时间序列数据库之一，大家广泛使用其开源版本。然而其开源版本缺乏一些高可用相关的特性，本文介绍Hulu在使用InfluxDB的过程中碰见的问题和解决方案，十分值得一读。随着Hulu的持续增长，时间序列数据库已成为公司监控系统的关键部分。这可以像机器性能指标或应用程序本身的数据一样简单处理。由于我们拥有的数据量很大，
原创
2020-11-02 20:47:47
790阅读
如何对系统的承载能力和响应时间做出准确的评估，为资源的合理配置及优化提供依据，性能测试就成了必不可少的测试手段，本文会给读者推荐一款业界占有率最高的一款性能测试工具——Jmeter。
原创
2022-11-15 17:52:57
627阅读
提出问题PostgreSQL数据库如何进行简单的性能分析和调优解决问题前言PostgreSQL的配置参数作为性能调优的一部分，起着重要的位置。有时候一个简单的配置参数就会影响应用的性能。因此有必要简单了解下其相关的配置参数。查询Linux服务器配置在进行性能调优之前，需要清楚知道服务器的配置信息，比如说 CPU，内存，服务器版本等信息。查询系统版本信息root@ubuntu160:~# lsb_r
API网关项目，这是所有互联网大厂都有的一个核心服务，承接着来自用户的滴滴打车、美团外卖、京东购物、微信支付，更是大促期间千万级访问量的核心系统。
? 那么它是一个什么样的项目呢？为什么会有它的存在？它是怎么设计实现的呢？都用到了哪些技术栈呢？
原创
精选
2022-08-17 07:39:19
10000+阅读
在金融科技、电商交易等高性能场景下，构建能够支持百万级TPS（每秒事务处理量）的低延迟系统是Java开发者面临的重要挑战。本文将深入探讨从零开始设计并优化这样一个系统的关键技术，包括架构设计、性能优化和实战技巧，并提供可落地的代码示例。
1、TPS:是每秒事务数，具体事务的定义，都是人为的，可以一个接口、多个接口、一个 业务流程等等。一个事务是指事务内第一个请求发送到接收到最后一个请求的响应的过程，以此来计算使用的时间和完成的事务个数。以单接口定义为事务为例，每个事务包括了如下3个过程： a.向服务器发请求 b.服务器自己的内部处理（包含应用服务器、数据库服务器等） c.服务器返回结果给客户端 如果每秒能够完成N次这三个过
转载
2024-05-07 11:07:47
117阅读
导读：阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？文章大纲如下：前言搜索离线平台基本概念主搜业务特点与性能要求Blink Job 性能调优详解结语本文将与大家分享阿里主搜在实现全量高吞吐、增
原创
2022-04-20 11:49:07
305阅读
TPS：transaction per second 服务器每秒处理的事务数。Transactions Per Second（每秒传输的事物处理个数），即服务器每秒处理的事务数。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数，最终利用这些信息来估计得分。客户...
原创
2023-04-14 17:27:26
145阅读
使用时注意点 1 private async void button5_Click(object sender, EventArgs e)
2 {
3 /*
4 string i1 = await F1Async();
5 MessageBox.Show("i1=" + i1);
6
前言：这里对压测进行一些简介，本篇介绍redis压测场景，使用redis官方自带的工具进行压测。压测相关的一些指标：QPS（Queries Per Second）：每秒能够响应的查询次数，也即是最大吞吐能力（吞吐量）。TPS（Transactions Per Second）：每秒处理的事务数目。一个事务是指一个客户端向服务器发送请求然后服务器做出反应的过程。TPS 的过程包括：客户端请求服务端、服
转载
2023-05-30 15:46:45
627阅读
导读
2018年，ebay全面展开了下一代百万TPS支付账务系统的设计与实现。本文主要介绍核心账务系统的性能和容灾能力，将从账务系统简介、百万TPS压测实验、系统架构分析、开源计划四个方面进行阐释。希望能给同业人员一定启发和借鉴。
1. 序
亿贝 (www.ebay.com) 于2018年全面展开了下一代支付系统的设计和实现。支付宝的双十一和微信财付通的春节红包已经向世界展示
原创
2021-08-11 13:55:01
612阅读
面试这么回答没毛病
转载
2021-07-27 16:42:31
207阅读
