driver和executor的参数设置在yarn模式下才会起作用：--driver-cores：Spark应用Driver的CPU核数，Driver主要完成任务的调度以及和executor和cluster manager进行协调。--executor-cores：Spark应用每个Executor的CPU核数，各个 executor 使用的并发线程数目，也即每个 executor 最大可并发执行
转载
2023-07-18 22:29:02
135阅读
------概括1个低延迟,高吞吐,统一的大数据计算引擎达到毫秒级延迟金融级的数据处理能力 因为:Flink提供了一个Exactly-once(只执行一次)的一致性语义。保证了数据的正确性。flink还提供很多高级的功能。比如它提供了有状态的计算，支持状态管理，支持强一致性的数据语义以及支持Event Time,WaterMark对消息乱序的处理。------大数据计算引擎流式计算: Storm
转载
2023-12-15 10:28:03
109阅读
导读：随着 Flink 在流式计算的应用场景逐渐成熟和流行，如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具，所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。主要分为下面三点展开：设计架构项目进展性能测试
转载
2024-03-10 23:21:49
43阅读
Flink的核心特性：1、高吞吐，低延迟2、结果的准确性，提供了事件时间和处理时间，对于乱序事件流仍然提供一致且准确地结果3、精确一次(exactly-once)的状态一致性保证4、可以连接到最常用的存储系统和分布式文件系统5、高可用，本身高可用的设置，再加上从故障中快速恢复和动态扩展任务的能力，能够做到7*24小时全天候运行6、能够更新应用程序代码并将作业迁移到不同的Flink集群，而不会丢失应
转载
2023-10-23 13:26:19
209阅读
导读： 做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行，刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外，还提出了用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景。凭借高性能和全面的场景支持，Spark 早已成为众多大数据开发者
转载
2024-08-16 19:44:47
29阅读
## HBase处理性能提升技巧
Apache HBase是一个分布式、面向列的开源数据库系统，用于处理大规模数据集。在实际应用中，提升HBase的处理性能是非常重要的。本文将介绍一些提升HBase处理性能的技巧，并附带代码示例。
### 1. 数据模型设计
在设计HBase数据模型时，需要考虑以下几点以提升性能：
- **行键设计**：行键的设计影响着数据的读取性能，应尽量避免过长或者过短
原创
2024-02-25 06:28:45
26阅读
在现代数据处理领域，Apache Flink 和 Apache Spark 是两款非常流行的批处理框架。在对比它们的性能时，许多业务场景和技术细节需要考虑。这篇博文将详细记录我们在解决“Flink 批处理和 Spark 批处理性能对比”问题的全过程。
## 问题背景
在数据处理越来越成为企业核心竞争力的今天，选择合适的批处理框架对业务的成功至关重要。Apache Flink 和 Apache
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。 流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理。 Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来
转载
2024-01-29 11:28:09
116阅读
1. 加大tomcat连接数
在tomcat配置文件server.xml中的<Connector ... />配置中，和连接数相关的参数有：
minProcessors：最小空闲连接线程数，用于提高系统处理性能，默认值为10
maxProcessors：最大连接线程数，即：并发处理的最大请求数，默认值为75
acceptCount：允许的最大连接数，应大于等于maxProces
转载
精选
2012-10-25 11:21:13
1346阅读
硬盘分为机械硬盘(HDD)和固态硬盘(SSD)，早期电脑装的是机械硬盘，随着科技发展，固态硬盘开始普及。这句话告诉你固态硬盘有多重要：把电脑的机械硬盘换成固态硬盘，开机时间从60s瞬间变为10s，这就是固态硬盘这些年在用户心中的地位，小编马上跟大家分享：什么是SSD固态硬盘，跟机械硬盘有什么不同。 传统普通的机械硬盘(HDD) 机械硬盘组成部分：主要由盘片，磁头，盘片转抽及控制电机，磁头控制器
闲连接 线程数，用于提高系...
原创
2023-06-13 17:13:37
254阅读
Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个 Flink 运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的 SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once 保证，而批处理需要支持高吞吐、高
转载
2023-12-11 01:48:18
171阅读
概述Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理
转载
2023-10-24 15:11:15
121阅读
概述Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两
转载
2023-11-09 18:24:49
153阅读
Nginx 是一个很强大的高性能Web和反向代理服务，它具有很多非常优越的特性，在连接高并发的情况下，Nginx是Apache服务不错的替代品。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，因此国内知名大厂例如：淘宝，京东，百度，新浪，网易，腾讯等等都在使用Nginx网站。在我们的日常工作学习中，我们会该如何去优化自己的Nginx服务器？遇到以下问题我们
转载
2021-04-23 14:23:25
152阅读
# MySQL JSON大字段处理性能
在使用MySQL数据库时，我们经常会遇到需要存储和查询大量JSON数据的情况。然而，处理大字段的性能问题一直是MySQL开发者关注的焦点之一。本文将介绍一些提高处理大字段性能的方法，并提供代码示例来说明这些方法的使用。
## 为什么需要处理大字段性能问题？
随着互联网和移动应用的发展，我们经常需要存储和处理大量的JSON数据。这些数据可能包含复杂的结构
原创
2024-02-02 12:02:32
294阅读
Nginx 是一个很强大的高性能Web和反向代理服务，它具有很多非常优越的特性，在连接高并发的情况下，Nginx是Apache服务不错的替代品。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，因此国内知名大厂例如：淘宝，京东，百度，新浪，网易，腾讯等等都在使用Nginx网站。在我们的日常工作学习中，我们会该如何去优化自己的Nginx服务器？遇到以下问题我们
原创
2020-07-24 15:52:45
617阅读
标题：Perl和Python文本处理性能优化指南
## 引言
作为一名经验丰富的开发者，我将带领你探索如何优化Perl和Python的文本处理性能。在本文中，我将为你展示整个流程，并为每个步骤提供代码示例和注释。我们将通过使用一些常用的技术和工具来提高处理大型文本数据时的效率。
## 流程图
下面是我们将遵循的流程图，用于指导我们的优化过程：
```mermaid
gantt
tit
原创
2024-01-12 04:01:09
89阅读
性能优化设计思想
原创
2022-08-26 14:25:01
57阅读
你是否还在为反汇编工具处理大型二进制文件时的卡顿而烦恼？当分析复杂程序的指令流时，是否常常因工具响应缓慢而影响工作效率？本文将深入解析BiTE（Binary Triage Engine）反汇编器的事件处理架构，带你了解如何通过精妙的设计优化事件处理性能，让反汇编工作如行云流水般顺畅。读完本文，你将掌握BiTE的核心优化技术，了解其如何在保证准确性的同时提升处理速度，并学会如何根据自身需求调整配置以...
