一、概述在GCD中有两种队列，分别是串行队列和并发队列。在串行队列中，同一时间只有一个任务在执行，不能充分利用多核 CPU 的资源，效率较低。并发队列可以分配多个线程，同时处理不同的任务；效率虽然提升了，但是多线程的并发是用时间片轮转方法实现的，线程创建、销毁、上下文切换等会消耗CPU 资源。目前iPhone的处理器是多核（2个、4个），适当的并发可以提高效率，但是无节制地并发，如将大量任务不加思
转载
2024-09-25 12:10:11
70阅读
# iOS 并行请求实现指南
在开发 iOS 应用时，进行网络请求是常见的需求。有时我们需要并行处理多个网络请求，以提高应用的响应速度。本文将详细讲解如何在 Swift 中实现并行请求。
## 流程概述
要实现iOS并行请求，通常需要经过以下几个步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 确定请求的 URL 地址 |
| 2 | 创建 URLSe
原创
2024-09-29 03:36:22
49阅读
## Hive 设置并行
Hive 是一个建立在 Hadoop 之上的数据仓储工具，用于在大规模数据集上执行数据查询和分析任务。为了优化查询性能，Hive 提供了并行执行的功能。本文将介绍如何在 Hive 中设置并行，以及如何通过并行执行来提高查询性能。
### 什么是并行执行
并行执行是指同时执行多个任务或操作的一种方式。在 Hive 中，并行执行是通过将任务分解为多个子任务，并同时执行这
原创
2023-09-28 05:12:52
260阅读
一、任务和队列任务：在线程中执行的操作；执行任务有两种方式：同步执行 和 异步执行：同步执行：同步添加任务到队列中，前一个任务没有执行完，后面不能执行。不开辟新线程异步执行：异步添加任务到队列中，任务同一时间可以一起执行。开启多个新线程队列：队列是一种特殊的线性表，采用 FIFO（先进先出）的原则；GCD中有两种队列：串行队列和并发队列：串行队列：每次只有一个任务被执行，让任务一个接着一个地执行并
理解 iOS 开发中 GCD 相关的同步（synchronization）\ 异步（asynchronization），串行（serial）\ 并行（concurrency）概念2014年11月21日iOS 开发过程中，常常需要用到多线程技术，GCD 是常用的实现多线程的技术，其因简洁底层而备受欢迎。GCD 技术中，同步（synchronization）\ 异步（asynchronization）
转载
2023-11-19 11:29:38
55阅读
一、概念1.并发 当有多个线程在操作时,如果系统只有一个CPU,则它根本不可能真正同时进行一个以上的线程，它只能把CPU运行时间划分成若干个时间段,再将时间 段分配给各个线程执行，在一个时间段的线程代码运行时，其它线程处于挂起状。.这种方式我们称之为并发(Concurrent)。2.并行 当系统有一个以上CPU时,则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程
转载
2023-12-06 23:03:23
83阅读
MVCC多版本控制MVCC，也就是Copy on Write的思想。MVCC除了支持读和读并行，还支持读和写、写和读的并行，但为了保证一致性，写和写是无法并行的。在事务1开始写操作的时候会copy一个记录的副本，其他事务读操作会读取这个记录副本，因此不会影 响其他事务对此记录的读取，实现写和读并行。一、MVCC概念MVCC（Multi Version Concurrency Control）被称为
转载
2024-02-18 15:49:52
40阅读
1、GC对Spark性能影响的原理图解 如果在Task执行期间发生大量的Full GC，那么说明年轻代的Eden区域给的空间不够大，可以通过一下方式进行调优： （1）降低Cache操作占用的内存比例，给Eden等区域更多的内存空间； （2）给Eden区域分配更大的空间，-Xmn参数即可调节，通常给Eden区域预计大小的4/3，如果使用的是HDFS文件存储且每个Executor有4个Task,
转载
2024-08-14 18:07:05
118阅读
Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习：Flink Scala Shell使用教程Intellij Idea开发环境搭建教程Flink单数据流基本转换：map、filter、flatMapFlink基于Key的分组转换：ke
转载
2024-04-24 10:26:18
205阅读
Spark作业，Application，Jobs，action（collect）触发一个job，1个job；每个job拆成多个stage，发生shuffle的时候，会拆分出一个stage，reduceByKey；并行度：其实就是指的是，Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。 如果不调节并行度，导致并行度过低，会怎么样？假设，现在
转载
2023-09-06 13:13:00
178阅读
目录企业级调优执行计划（explain）fetch抓取本地模式表的优化小表大表join（mapjoin）大表join大表group bycount（distinct）去重统计笛卡尔积行列过滤合理设置map及reduce数复杂文件增加map数小文件进行合并合理设置reduce数并行执行严格模式企业级调优执行计划（explain）（1）基本语法EXPLAIN [EXTENDED | DEPENDENC
转载
2024-07-20 07:58:37
52阅读
spark并行度指的是什么？并行度：其实就是指的是，spark作业中，各个stage的task数量，也就代表了sprark作业的各个阶段（stage)的并行度。如果不调节，那么导致并行度过低，会怎么样？假设，现在已经在spark-submit脚本中给我们的spark作业分配了足够的资源，比如50个executor,每个executor有10G内存，每个executor有3个cpu core.基本已
转载
2023-08-08 09:29:02
304阅读
FLink-10-Flink相关概念-并行度/task/subtask/taskslotFlink相关概念-并行度/task/subtask/taskslot1.并行度2.task 与算子链（operator chain）相关概念：3.相关API介绍1.设置并行度的算子2.设置槽位共享组的算子3.主动隔离算子链的算子4.分区partition算子 - 数据分发策略 Flink相关概念-并行度/t
转载
2024-04-26 22:26:00
426阅读
## iOS RAC 并行执行
在 iOS 开发中，我们经常会遇到需要并行执行多个任务的场景。为了提高应用的性能和响应速度，我们可以使用 RAC（ReactiveCocoa）框架来实现并行执行。本文将介绍什么是 RAC 并行执行，并给出相应的代码示例。
### RAC 并行执行简介
RAC 是一个基于响应式编程的框架，它的核心思想就是以数据流的方式来处理事件和数据。RAC 中的并行执行是通过
原创
2024-01-04 11:51:57
53阅读
# Spark SQL Group By 设置并行
在大数据处理过程中，Spark SQL是一种广泛使用的数据查询引擎，它可以处理海量数据并进行高效的分析。在实际的使用过程中，我们经常需要对数据进行分组操作，而这些操作往往需要设置并行能力以提升计算效率。本文将介绍如何在Spark SQL中对Group By操作进行并行设置，并给出相关代码示例。
## Spark SQL中的Group By
原创
2024-08-17 05:00:20
95阅读
# 在Spark中设置并行度的步骤指南
Spark是一个强大的大数据处理工具，能够处理海量数据并提供分布式计算能力。为了提高运算效率，我们通常需要设置Spark的并行度。本文将指导您如何实现Spark的并行度设置，介绍相关步骤，并提供代码示例。
## 步骤流程
以下是设置Spark并行度的流程表格：
| 步骤 | 描述 |
原创
2024-09-14 03:31:51
74阅读
## 如何设置 SparkSession 并行度
作为一名经验丰富的开发者，你需要教会刚入行的小白如何实现“sparkSession 设置并行度”。下面是具体的步骤和代码示例。
### 步骤
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 创建 SparkSession 对象 |
| 步骤二 | 设置并行度参数 |
| 步骤三 | 运行 Spark 作业 |
###
原创
2024-06-09 03:27:39
44阅读
背景我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络延迟等原因，导致乱序的产生，特别是使用kafka的话，多个分区的数据无法保证有序。那么此时出现一个问题，一旦出现乱序，如果只根据 eventTime 决定 window 的运行，我们不能明确数据是否全部到
转载
2024-07-04 10:46:46
713阅读
# SQL Server 并行设置指南
在 SQL Server 中，正确设置并行处理是提高查询性能的关键因素之一。本文将为刚入行的小白提供一个简单的 SQL Server 并行设置流程，并详细介绍每一步的操作及必要的代码。
## 流程概述
以下是进行 SQL Server 并行设置的步骤：
| 步骤 | 描述 |
|----
## 了解Hive并行度设置
在Hive中，并行度（parallelism）是指同时执行的任务数量。通过设置合适的并行度，可以提高Hive作业的性能和效率。本文将介绍Hive并行度设置的相关知识，并提供代码示例帮助读者更好地理解。
### Hive并行度设置的影响
Hive作业的执行速度受到多个因素的影响，其中并行度是一个重要参数。合理的并行度设置可以使作业更快地完成，提高系统的整体性能。在
原创
2024-04-28 06:57:15
157阅读
