在多核系统中，一般TPS会随并发数的增加而提升，但是当并发数超过一定的数值（如CPU核数的2到3倍以后），性能开始下降，并发数越高，下降越严重。例子：更新500万记录表中的1条随机记录。开8000个并发。create table test_8000 (id int primary key,cntintdefault0);
insertinto test_8000 selectgenerate_se
转载
2024-08-21 13:05:01
139阅读
一、环境准备NAME宿主机Nginx1APP1APP2NFSmysql-mastermysql-slaveZabbixIP192.168.142.158172.19.0.11172.19.0.111172.19.0.112172.19.0.1172.19.0.201172.19.0.202172.19.0.254其中宿主机是centos7.6系统，docker版本是1.13.1。网站架构如下二、配
最近同学出去面试经常会被问到一个问题。面试官：你说你们公司使用nginx反向代理tornado，部署了多少多少台机器，好像很牛逼的样子，但是我问你，如果主机也就是部署了nginx那台机器并发过大导致宕机了怎么办？答曰：不考虑带宽峰值的话，比较新的 CPU 跑 nginx 单核每秒能接近 2 万请求，而且nginx如果纯做 HTTP 转发的话，Nginx 的性能高到恐怖，会挂掉很不科学。。。。面试官
转载
2023-11-29 09:23:50
89阅读
SPARK-SQL优化三剑客：1内存2并发3CPU1、内存： spark的dirver和executor内存及对应spark作业参数涉及内存调优就三个参数：spark.driver.memory ，-executor-memory 和 spark.yarn.executor.memoryOverhead2、并发：提高有shuffle（join, group by 等等数据混洗的场景）及对应业务逻辑
转载
2023-09-17 10:55:57
110阅读
# 实现MySQL并发参数
## 一、概述
MySQL并发参数是为了提高数据库的并发处理能力而设置的一些参数。通过调整这些参数，可以让MySQL在处理并发访问时更加高效稳定。本文将介绍如何实现MySQL并发参数设置，并提供详细的步骤和代码示例。
## 二、实现步骤
下面是实现MySQL并发参数的步骤，通过表格形式展示：
| 步骤 | 动作 | 代码示例 |
| --- | --- | -
原创
2023-09-14 05:21:28
93阅读
困境近期优到达GPS监控后台优化，需要百万并发的测试环境，为此我们开发了一套GPS模拟器，在单台linux系统上可以模拟60000台gps虚拟机，并在树莓派4B上通过了测试，由于操作系统TCP动态端口数限制，无法在一个操作系统下实现百万并发，初期我们想到了两种方案，增加物理机器和在物理机器里跑虚拟机系统，虽然可以实现百万并发的压测环境，但是这样做，会增加部署成本，长期以来，因为成本的问题，一直未完
转载
2023-08-18 12:39:05
96阅读
笔者使用jmeter做压测发现，并发使用200线程(5秒全部启动)时就会出现不少错误，为了解决这个问题做了一番优化，一下是优化后的总结经验。增加MySQL的最大连接数MySQL 5.7的默认最大连接数为151，如果要增加该值，需在数据库配置文件*.cnf里增加如下设置项，重启容器服务即可[mysqld]
max_connections=500 增加.Net C
转载
2023-09-12 15:34:05
100阅读
前言记录工作中的点点滴滴～Docker配置MySQL的最大连接数详细的过程:我们使用docker pull了一个MySQL的镜像，通过镜像构建了一个MySQL的容器。容器构建成功并启动后我们通过命令docker exec -it mysql /bin/bash进入到容器里面。通过命令mysql -u用户名 -p密码连接MySQL通过命令show variables like '%max_conne
转载
2023-06-08 20:19:34
562阅读
Exactly-OnceExactly-Once* ：即一条输入数据只会影响一次输出结果，以统计事件个数的 count() 的任务为例，输入是 10 条，那么输出应该是 count=10* 。对应两种传输语义的底层机制是：Begin Transaction：开启一个新事务，每次 checkpoint 可以看做
概述本文以Spark实践经验和Spark原理为依据，总结了Spark性能调优的一些方法。这些总结基于Spark-1.0.0版本。对于最近推出的Spark-1.1.0版本，本文介绍了几个版本增强。Spark性能调优Executor和分区Executor是一个独立的JVM进程，每个任务会有独立的线程来执行，Executor最大可并发任务数量与其拥有的核心数量相同，执行过程中的数据缓存放在Executo
转载
2024-04-02 15:52:18
97阅读
什么是分布式锁？在回答这个问题之前，我们先回答一下什么是锁。普通的锁，即在单机多线程环境下，当多个线程需要访问同一个变量或代码片段时，被访问的变量或代码片段叫做临界区域，我们需要控制线程一个一个的顺序执行，否则会出现并发问题。如何控制呢？就是设置一个各个线程都能看的见的标志。然后，每个线程想访问临界区域时，都要先查看标志，如果标志没有被占用，则说明目前没有线程在访问临界区域。如果标志被占用了，则说
转载
2023-12-09 15:20:50
67阅读
Docker实现Nginx和Tomcat负载均衡一．1. 安装Docker整体结构示意图在Linux操作系统（ip:10.104.15.62）上启动三个容器，Ngnix,Tomcat1,Tomcat2容器，分别映射到主机的80，18080，28080端口；Ngnix配置文件如上所示，监听10.104.15.62:80端口，配置转发服务器10.104.15.62：18080和10.104.15.62
转载
2023-08-31 14:44:41
153阅读
Docker镜像与容器理解虚拟化计算机中，虚拟化是一种资源管理技术，打破计算机的内存、网络、硬盘等资源的不可切割的障碍，更好的进行的资源分配；在实际生产环境中，虚拟化技术主要解决的是高性能的物理硬件性能过生和低性能硬件产能过低的重组重用，达到最大化的利用物理硬件，充分发挥其最大的作用虚拟化技术的种类有很多，比如软件虚拟化，内存虚拟化，服务虚拟化，虚拟机等，比如VMware理解DockerDocke
转载
2024-07-28 20:03:20
62阅读
docker搭建mysql(集群+高可用+热备份)Mysql集群（PXC）PXC介绍Percona XtraDB Cluster（简称PXC集群）提供了MySQL高可用的一种实现方法。PXC特性同步复制，事务要么在所有节点提交或不提交。多主复制，可以在任意节点进行写操作。在从服务器上并行应用事件，真正意义上的并行复制。节点自动配置，数据一致性，不再是异步复制。PXC最大的优势：强一致性、无同步延迟
转载
2024-05-30 17:40:40
98阅读
最近 fix 了一个 Go 程序系统线程数量暴增的问题，线程数量维持在2，3万个，有时候甚至更多，这情况明显不符合 Go 的并发原理。第一次发现线程数巨多是因为这个程序突然 crash 了，由于设置了程序可用的最大线程数，所以线程数一太多就会crash。这个程序其实就是现在挺火热的 Swarm，Swarm 这个程序的模式就是作为 client 的角色向数万个 docker daemon 服务器建连
转载
2024-07-08 15:48:02
86阅读
阿里 2016 年的双十一，数万台服务器支持，所有的交易系统全部都跑在了 Docker 容 器中，撑起来每秒钟 17.5 万笔的交易峰值。4 小时 26 分 31 秒交易 362 亿，超过 2013 年 双十一全体交易，最终双十一交易额 1207 亿，全球之最。要支持这么的大的访问量，就需要提升系统的并发量，要提升系统的并发量，最直接的 办法就是提升服务器的数量。阿里为支持双十一，提前准备万台服
转载
2024-02-28 20:39:25
59阅读
什么是JAVA并发java并发提高程序的执行速度，然而并不是多线程就一定比单线程高效，而且并发容易出错；若要实现正确并且高效的并发，那么要注意三个问题：上下文切换、死锁、资源限制。上下文切换上下文切换：当一条线程的时间片使用完成后，操作系统暂停线程该线程，保存他的状态信息，然后操作系统从线程堆中随机选取一个线程来执行，这个过程，称为上下文切换。但是：上下文切换都是有额外的开销的；线程的运行机制一个
转载
2024-06-01 14:56:28
68阅读
1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行
转载
2024-04-16 15:26:25
186阅读
【Spark集群并行度】 在Spark集群环境下，只有足够高的并行度才能使系统资源得到充分的利用，可以通过修改spark-env.sh来调整Executor的数量和使用资源，Standalone和YARN方式资源的调度管理是不同的。 在Standalone模式下: 1. 每个节点使用的最大内存数：SPARK_WORKER_INSTANCES*SPARK_WORKER_MEMORY； 2. 每个节
转载
2024-04-17 14:41:59
106阅读
ansible playbook 执行策略默认情况下， ansible在所有hosts中每次在5台机器上运行任务。 如果想要改变这种默认行为，可以改变forks 数量或者改变策略类型。设置策略默认是 linear strategy ， ansible提供其他策略 debug strategy ， free strategy， 它允许每个主机尽可能快地运行到播放结束： 可以通过下面方式修改- hos
转载
2024-04-07 10:05:24
331阅读
