大数据环境下，在HDFS文件系统中存储数据，对数据进行压缩是十分有必要的。压缩数据可以使集群能够存储更多数据，减少磁盘IO，加快任务处理速度。但是，在hadoop上使用压缩也有两个比较麻烦的地方：第一，有些压缩格式不能被分块，并行的处理，比如gzip。第二，另外的一些压缩格式虽然支持分块处理，但是解压缩
转载
2023-07-13 15:03:39
53阅读
并发的基本概念并发的概念： 指网站在同一时间访问的人数，人数越大，瞬间带宽要求更高。服务器并发量分为： 1.业务并发用户数；2.最大并发访问数；3.系统用户数；4.同时在线用户数； 估算业务并发量的公式： C=nL/T C^=C+3×(C的平方根) 其中：C是平均的业务并发用户数、n是login session的数量、L是login session的平均长度、T是指考察的时间段长度
转载
2024-05-07 17:50:41
58阅读
并发冲突是一个比较常见的问题，无论是elasticSearch还是类似于mysql的数据库都存在并发冲突的问题。 并发冲突出现的场景：例如当前售卖苹果，由于是圣诞节，苹果按个来买。当前有100个苹果。当用户1过来购买苹果1个时，用户2同时过来购买1个苹果，用户1对应的线程从es中取出数据为100，用户2对应的线程从es中取出的数据也为100。当用户1的线程执行完成之后苹果的个数减1,变成99.此时
转载
2024-03-18 13:59:16
84阅读
上篇讲述gateway的部署和使用，gateway统一管理和转发了HTTP请求，在互联网中大型项目一定存在复杂的业务关系，尤其在商城类软件中如淘宝、PDD等商城，尤其在秒杀场景中，并发量可以到达千万级别，此时数据库就会显得很无力。 以Mysql为例，
转载
2024-04-12 13:49:09
57阅读
QPSQPS：全名 Queries Per Second，意思是“每秒查询率”，是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 简单的说，QPS = req/sec = 请求数/秒。它代表的是服务器的机器的性能最大吞吐能力。 服务器的 QPS 一般我们可以使用 http_load 来测试，统计处 web 服务器的吞吐量和负载TPSTPS 即 Tr
转载
2024-01-30 22:22:01
169阅读
Nginx报错Nginx服务器访问量非常高，在Nginx的错误日志中不停的输出如下错误信息。
2021-06-17 02:53:49 [alert] 13576#0: accept() failed (24: Too many open files)2021-06-17 02:53:49 [alert] 13576#0: accept() failed (24: Too many open fi
原创
2021-07-30 15:13:17
823阅读
1、并发和多线程 并发的作用在于充分利用资源（多处理器or多核），在有限的资源下进行多任务的处理。 并发的概念表现在编程上，则为多线程编程，常见的实例：java web中的servlet就是采用的多线程机制。 线程作为轻量进程，本身不具有资源，而进程才是拥有资源的主体。2、为什么使用多线程 多线程建立在操作系统的产生之后，在此之前，机器或者说处理器处理程序时，只能按照单个的执行流程进行，即
转载
2024-04-09 22:31:30
45阅读
分布式缓存技术-redis缓存的用途高性能：redis是基于内存进行操作的，性能较高，前端发送请求后，后端会查询数据库，中间加入redis后可以将数据先存在redis中，下次读取的时候会直接读取redis的数据性能就会提高高并发：mysql的数据库每秒查询率（QPS）是2000，redis的上限就比较大，单点下系统吞吐量（TPS）是8W/S ，每秒查询率（QPS）是10W ，redis集群情况下根
转载
2023-06-14 17:11:08
7279阅读
redis集群原理 redis是单线程，但是一般的作为缓存使用的话，redis足够了，因为它的读写速度太快了。 官方的一个简单测试：测试完成了50个并发执行100000个请求。设置和获取的值是一个256字节字符串。结果:读的速度是110000次/s,写的速度是81000次/s 在这么快的读写速度下，对于一般程序来说足够用了，但是对于访问量特别大的网站来说，还是稍有不足。那么，如何提升red
转载
2024-02-17 21:18:38
81阅读
将user表、group表、order表关；（类似于多表关联查询） 测试准备:首先同步时间，然后 开启hdfs集群，开启yarn集群；在本地"/home/hadoop/test/"目录创建user表、group表、order表的文件；user文件：group文件：order文件： 测试目标：得到3张表关联后的结果； 测试代码：一定要把握好输出键值的类型，否则有可能造成
转载
2024-02-24 17:35:55
55阅读
大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。一、场景描述废话不多说，先来描述场景。某日，腾讯云某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。为了加快集群恢复的速度，调整分片恢复
转载
2024-05-11 12:37:28
82阅读
在当今信息技术发展的浪潮中，自动化运维成为了企业提高效率的重要手段之一。在众多自动化运维工具中，Ansible作为一种简单易用、高效便捷的配置管理和部署工具备受推崇。而在Ansible中，一个关键的概念就是“并发量”。本文将详细探讨Ansible并发量的重要性以及如何正确配置并行任务。
Ansible是一种基于SSH协议实现的自动化工具，它通过在远程主机上执行命令、发布模块来实现配置管理、应用部
原创
2024-02-04 14:35:23
91阅读
先说我们最熟悉的【并发量】：就是同时访问同一服务器的链接数。也可以说是：系统同时处理的request数量 QPS：Queries Per Second（字面意思为：查询每秒）官方解释为：每秒查询率：是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。可以理解为：每秒处理的request 数量通常QPS作用：表达和衡量当前系统的负载。形容当前系统的运行状态时，例如可以说
转载
2024-07-09 12:22:46
237阅读
服务器就会和浏览者
的浏览器建立链接，每个链接表示一个并发。当页面包含很多图片，图片并不是一个一个显示的，服务器会产生出多个链接同时发送文字和图片以提高浏览速度。如果页面中的图片越多那么服务器的并发链接数量就越多。当图片或页面被服务发送后服务器就关闭链接用于和其他请求者建立链接。每次并发几乎是瞬间完成一般在几个毫秒和几十毫秒之间。
10个并发连接大约可支持20-50人同时在线。
一
转载
2024-07-18 14:14:08
27阅读
文章目录QPSTPS并发数吐吞量RT计算1：QPS、RT、并发数计算PVUVDAUMAU计算2：峰值QPS和机器计算 QPSQPS Queries Per Second 是每秒查询率 ,是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准, 即每秒的响应请求数，也即是最大吞吐能力。TPSTPS Transactions Per Second 也就是事务
PL/SQL是基于Oracle的一个主流应用程序编程语言，它的主要特点是将SQL语句与过程化程序开发语言相结合，以实现更为复杂的商业逻辑。本文主要就其中多进程通信进行讨论。
显然，多进程技术是用来提高应用的并发性，进而提高整个系统的执行效率，那么如何在PL/SQL中实现多进程的通信呢？其实，PL/SQL其设计的初衷主要是增强SQL语句的功能，
Hadoop正式诞生于2006年1月28日，它是一个开源项目的生态系统，从根本上改变了企业存储、处理和分析数据的方式。跟传统系统的区别是，Hadoop可以在相同的数据上同时运行不同类型的分析工作。 自2006年2月项目正式启动，短短的十年间，Hadoop逐步发展成为最近十年来最成功的开源社区的历程。 核心Hadoop中目前的代码行数：
转载
2023-11-07 12:39:11
59阅读
Nginx的一些优化(突破十万并发) nginx指令中的优化（配置文件） worker_processes 8; nginx进程数，建议按照cpu数目来指定，一般为它的倍数。 worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 为每个进程分配
【秒杀系统的接口优化之异步下单】 问题： 针对秒杀的业务场景，在大并发下，仅仅依靠页面缓存、对象缓存或者页面静态化等还是远远不够。数据库压力还是很大，所以需要异步下单，如果业务执行时间比较长，那么异步是最好的解决办法，但会带来一些额外的程序上的复杂性。思路：系统初始化，把商品库存数量stock加载到Redis上面来。后端收到秒杀请求，Redis预减库存，如果库存已经到达临界值的时候，就不需要
转载
2024-05-28 15:05:55
54阅读
要将redis运用到工程项目中，只使用一台redis是万万不能的，原因如下：
（1）从结构上，单个redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大。
（2）从容量上，单个redis服务器内存容量有限，就算一台redis服务器内存容量为256g，也不能将所有内容都用作redis存储内存，一般情况下，单台redis最大使用内存不应该超过20g
转载
2023-05-25 09:14:44
777阅读
