什么是JAVA并发java并发提高程序的执行速度，然而并不是多线程就一定比单线程高效，而且并发容易出错；若要实现正确并且高效的并发，那么要注意三个问题：上下文切换、死锁、资源限制。上下文切换上下文切换：当一条线程的时间片使用完成后，操作系统暂停线程该线程，保存他的状态信息，然后操作系统从线程堆中随机选取一个线程来执行，这个过程，称为上下文切换。但是：上下文切换都是有额外的开销的；线程的运行机制一个
转载
2024-06-01 14:56:28
68阅读
SPARK-SQL优化三剑客：1内存2并发3CPU1、内存： spark的dirver和executor内存及对应spark作业参数涉及内存调优就三个参数：spark.driver.memory ，-executor-memory 和 spark.yarn.executor.memoryOverhead2、并发：提高有shuffle（join, group by 等等数据混洗的场景）及对应业务逻辑
转载
2023-09-17 10:55:57
106阅读
在多核系统中，一般TPS会随并发数的增加而提升，但是当并发数超过一定的数值（如CPU核数的2到3倍以后），性能开始下降，并发数越高，下降越严重。例子：更新500万记录表中的1条随机记录。开8000个并发。create table test_8000 (id int primary key,cntintdefault0);
insertinto test_8000 selectgenerate_se
转载
2024-08-21 13:05:01
139阅读
最近在看《java并发编程实战》，希望自己有毅力把它读完。 线程本身有很多优势，比如可以发挥多处理器的强大能力、建模更加简单、简化异步事件的处理、使用户界面的相应更加灵敏，但是更多的需要程序猿面对的是安全性问题。看下面例子： public class UnsafeSequence {
private int value;
/*返回一个唯一的数值*/
publ
最近任务在大量shuffle时，发现了shuffleread时候特别慢，查了相关的参数做一下记录。spark.reducer.maxSizeInFlight默认值：48m参数说明：该参数用于设置shuffle read task的buffer缓冲大小，而这个buffer缓冲决定了每次能够拉取多少数据。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉
转载
2023-07-17 14:13:07
105阅读
# 实现MySQL并发参数
## 一、概述
MySQL并发参数是为了提高数据库的并发处理能力而设置的一些参数。通过调整这些参数，可以让MySQL在处理并发访问时更加高效稳定。本文将介绍如何实现MySQL并发参数设置，并提供详细的步骤和代码示例。
## 二、实现步骤
下面是实现MySQL并发参数的步骤，通过表格形式展示：
| 步骤 | 动作 | 代码示例 |
| --- | --- | -
原创
2023-09-14 05:21:28
93阅读
1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释，简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产生的原因2.1、
Exactly-OnceExactly-Once* ：即一条输入数据只会影响一次输出结果，以统计事件个数的 count() 的任务为例，输入是 10 条，那么输出应该是 count=10* 。对应两种传输语义的底层机制是：Begin Transaction：开启一个新事务，每次 checkpoint 可以看做
概述本文以Spark实践经验和Spark原理为依据，总结了Spark性能调优的一些方法。这些总结基于Spark-1.0.0版本。对于最近推出的Spark-1.1.0版本，本文介绍了几个版本增强。Spark性能调优Executor和分区Executor是一个独立的JVM进程，每个任务会有独立的线程来执行，Executor最大可并发任务数量与其拥有的核心数量相同，执行过程中的数据缓存放在Executo
转载
2024-04-02 15:52:18
93阅读
Java多线程并发工具类-Semaphore对象讲解通过前面的学习，我们已经知道了Java多线程并发场景中使用比较多的两个工具类：做加法的CycliBarrier对象以及做减法的CountDownLatch对象并对这两个对象进行了比较。我们发现这两个对象要么是做加法，要么是做减法的。那么有没有既做加法也做减法的呢？当然有了。Semaphore这个工具类就可以实现One out one in的。本文
转载
2024-06-01 10:19:40
10阅读
1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行
转载
2024-04-16 15:26:25
186阅读
【Spark集群并行度】 在Spark集群环境下，只有足够高的并行度才能使系统资源得到充分的利用，可以通过修改spark-env.sh来调整Executor的数量和使用资源，Standalone和YARN方式资源的调度管理是不同的。 在Standalone模式下: 1. 每个节点使用的最大内存数：SPARK_WORKER_INSTANCES*SPARK_WORKER_MEMORY； 2. 每个节
转载
2024-04-17 14:41:59
106阅读
# 项目方案：Java多线程并发传参数方案
## 背景
在开发Java应用程序时，经常会遇到需要在多线程并发执行的情况。在多线程并发执行中，有时候需要传递参数给线程，以完成特定的任务。本文将介绍一种在Java多线程并发中传递参数的方案。
## 方案
在Java中，可以通过创建一个实现了Runnable接口的类来实现多线程并发。我们可以在这个类中定义一个参数，然后通过构造方法将参数传递给线程。下
原创
2024-03-21 04:02:25
31阅读
ansible playbook 执行策略默认情况下， ansible在所有hosts中每次在5台机器上运行任务。 如果想要改变这种默认行为，可以改变forks 数量或者改变策略类型。设置策略默认是 linear strategy ， ansible提供其他策略 debug strategy ， free strategy， 它允许每个主机尽可能快地运行到播放结束： 可以通过下面方式修改- hos
转载
2024-04-07 10:05:24
331阅读
数据库的事务（Transaction）处理技术是很重要的概念，下面结合MySQL讲讲自己对这类概念的理解。一、事务的基本概念所谓事务是用户定义的、不可分割的一组操作序列，这些操作只能全做或全都不做，不能存在中间状态。涉及到用户定义，MySQL为我们提供了三种定义事务的语句：start transaction | begin # 开始一个新事务
commit # 提交当前事务，并将修改持久化
高并发（7）- 线程并发工具类-Fork/Join前言Fork/Join 前言上篇文章讲解了线程之间的协作。本篇就进入线程的并发工具类讲解。Fork/Join一、什么是Fork/Join Fork/Join是Jdk1.7之后提供的多线程并发处理框架，Fork/Join的核心思想就是分而治之。 二、什么是分而治之 分而治之就是将一个较为复杂的计算，按照我们设定好的阈值分解成多个计算，就是
在使用hive开发数据分析代码时，经常会遇到需要改变运行参数的情况，比如select语句中对日期字段值的设定，可能不同时间想要看不同日期的数据，这就需要能动态改变日期的值。如果开发量较大、参数多的话，使用变量来替代原来的字面值非常有必要，本文总结了几种可以向hive的SQL中传入参数的方法，以满足类似的需要。
准备测试表和测试数据
第一步先准备测试表和测试数据用于后续测试：
1
转载
2023-06-24 23:47:56
206阅读
点赞
任务描述测试公司内部Spark集群能承受多少并发量 Spark集群分配参数节点数:5cpu:20核内存:40g硬盘:500g 每台节点分配参数cpu:4核内存:8g硬盘:100g 测试案例(通过spark集群自带WEBUI进行监控任务提交运行状态)1.编写测试程序1,无限循环通过Spark restful API 提交任务到spark集群运行,每个任务申请worker
转载
2023-09-17 19:53:51
200阅读
1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如： val conf = new SparkConf() .setMaste
转载
2023-08-22 12:11:47
121阅读
一 multiprocessing模块介绍 python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。 multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数），该模
转载
2024-06-18 20:04:17
11阅读
