Hadoop 3.x（生产调优手册）----【Hadoop综合调优】1. Hadoop小文件优化方法1. Hadoop小文件弊端2. Hadoop小文件解决方法2. 测试MapReduce计算性能3. 企业开发场景案例1. 需求2. HDFS参数调优3. MapReduce参数调优4. Yarn参数调优5. 执行程序 1. Hadoop小文件优化方法1. Hadoop小文件弊端HDFS 上每个文
转载
2024-09-04 22:23:26
20阅读
Hadoop/Spark集群搭建图文全攻略一、安装VMware二、创建Linux虚拟机三、CentOS-7安装四、Linux系统环境配置五、其他配置六、虚拟机克隆七、jdk安装八、ZooKeepper安装九、Hadoop安装十、MySQL安装十一、Hive安装十二、Hbase安装十三、Redis安装十四、Kafka安装十五、Scala安装十六、Spark安装附录xshell安装与配置使用xftp
转载
2024-01-09 21:49:07
3阅读
Twitter 工程师谈 JVM 调优 Twitter 工程师谈 JVM 调优 2016年03月24日 10:22:30 wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/50969363 一. 调优需要关注的几个方面内存调优
转载
2018-12-04 11:18:00
375阅读
2评论
# HadoopSPARK：大数据处理利器
## 引言
在当今信息爆炸的时代，大数据已经成为企业和组织的重要资产之一。然而，处理和分析大数据是一项具有挑战性的任务。为了解决这个问题，出现了许多大数据处理框架，其中最重要的两个框架是Hadoop和Spark。本文将介绍Hadoop和Spark，并讨论它们如何相互配合，提供强大的大数据处理能力。
## Hadoop
Hadoop是一个开源的分布
原创
2024-01-15 04:39:17
31阅读
1 UDP
buffer size
sysctl -a 接收 net.core.rmem_default (默认)
&nb
原创
2012-04-07 18:26:27
884阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
385阅读
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2206阅读
HDF/NiFi优化性能的设置方法Posted on Jul 07, 2017 简介NiFi的默认设置可以满足一般的运行和测试需求，但是如果想要处理大容量数据流，那就远远不够了。本文将介绍与NiFi性能有关的几个设置参数，让NiFi可以高效运转。本文重点在如何优化初始配置或者对默认参数进行小幅修改，并不会深入讨论如何优化数据流设计和NiFi处理器。这些优化可以简单地可以通过编辑
转载
2024-04-05 22:12:20
255阅读
Jvm调优总结 系列文章！
转载
2021-07-29 16:25:52
774阅读
待学习内容：linux 系统参数调优。 weblogic 调优。数据库调优jvm调优。
原创
2018-04-19 07:36:15
573阅读
点赞
命令mpstatpidstatvmstat查看某进程线程数的几种方法pstree -p 1388 | wc -l cat /proc/1388/status | grep Threadsps xH手册中说：H Show threads as if they were processes这样可以查看所有存在的线程。ps -mp <PID>手册中说：m Show thr
原创
2019-02-13 18:05:02
1194阅读
基于一台普通版的MySQL服务器目的：加快服务器的响应速度进程数=进程*线程1、Mysql的查询过程 1）客户端向服务器发送连接请求 2）服务器端（连接池）开辟线程响应用户请求 3）用户发起sql语句查询数据库select * from db.a; 4）查询缓存：记录用户的sql执行语句和查询结果2、加快Mysql服务器的运行速度 1）替换有问题的
原创
2016-10-04 15:50:17
2005阅读
（1）避免重复的RDD案例：valrdd1=sc.textFile("hdfs://zzy/hello.txt")rdd1.map(...)valrdd2=sc.textFile("hdfs://zzy/hello.txt")rdd2.reduce(...)这里条用了两次textFile，并且读取的是同一个文件，造成了多次的磁盘读取，如果是hi同一个文件，读取一次即可。（2）尽可能多的复用一个RD
转载
2019-01-04 10:40:18
1080阅读
(1)shuffle概述：  大多数spark作业的性能主要就是消耗了shuffle过程，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小
转载
2019-01-04 19:28:16
3005阅读
Spark调优 | Spark Streaming 调优1、数据序列化2、广播大变量3、数据处理和接收时的并行度4、设置合理的批处理间隔5、内存优化5.1 内存管理5.2优化策略5.3垃圾回收（GC）优化5.5Spark Streaming 内存优化6、实例项目调优6.1合理的批处理时间（batchDuration）6.2合理的 Kafka 拉取量（maxRatePerPartition 参数设置...
转载
2021-06-01 12:16:08
789阅读
一、JVM调优介绍之JTI编译器 JTI编译器（just in time）开发语言可以以编译方式来划定为编译型语言，解释型语言，分层编译型语言(包含解析和编译共存）先来了解下计算机如何读取代码程序，由于计算机的CPU只能执行相对少而特定的命令，而这种命令的形式就是汇编码或者二进制码。因此CPU所执行的程序都要翻译成这种指令，CPU才可以识别 并且运行。不同产商的CPU对应可以识别的指令集也不太一
转载
2024-08-28 22:06:46
75阅读
spark SQL 性能调整 对于某些工作负载，可以通过在内存中缓存数据或打开一些实验选项来提高性能。 1，在内存中缓存数据 Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表dataFrame.cache()。然后，Spark SQL将只扫描所需的列，并自动调整
转载
2023-06-19 10:20:35
433阅读
文章目录垃圾回收调优1. 调优领域2. 确定目标3. 最快的gc是不发生gc4. 新生代调优5. 老年代调优 垃圾回收调优1. 调优领域内存锁竞争cpu占用io2. 确定目标如果应用程序主要做科学运算，那么追求【高吞吐量】 如果做互联网项目 追求【低延迟】 提升用户体验 然后选择合适的回收器。 追求高吞吐量：ParallelGC 响应时间优先：CMS（jdk9不推荐，推荐G1）,G1,ZGC（目
转载
2024-08-14 20:40:24
111阅读
JVM实战调优jvm不会开启记录GC日志，会影响性能，调优之后，就会关掉GC日志JVM调优主要就是调整下面两个指标 减少FGC执行次数，减少FGC执行时间停顿时间：垃圾收集器做垃圾回收中断应用执行的时间。-XX:MaxGCPauseMillis吞吐量：垃圾收集的时间和总时间的占比：1/(1+n)，吞吐量为1-1/(1+n)。-XX:GCTimeRatio=nGC调优步骤：
转载
2023-05-26 14:40:04
176阅读
内存调优 首先需要注意的是在对JVM内存调优的时候
原创
2022-08-02 15:28:53
297阅读
