1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2095阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
314阅读
1 UDP
buffer size
sysctl -a 接收 net.core.rmem_default (默认)
&nb
原创
2012-04-07 18:26:27
710阅读
1.spark的内存模型 （1）介绍：在执行spark的应用程序时，spark集群会启动driver和executor两种JVM进程。 -driver为主控进程，负责创建sparkContext上下文对象，提交spark作业，并将作业转化为计算任务，在各个executor进程间协调任务的调度（一个） -executor进程，负责为工作节点执行具
转载
2019-01-04 13:06:18
10000+阅读
1评论
1、业务场景：发放优惠券微服务 原来jvm配置： heap： -Xms64M -Xmx512M，2、性能压测50万用户，进行发放优惠券操作，在性能并发过程中出现 oom，如下图：2、解决方案： 从错误看出，heap内存溢出了，内存配置有点小。修改heap： -Xms1024M -Xmx1024M，压测后无heap oom溢出，问题解决！
原创
2022-04-25 10:22:53
419阅读
点赞
文章目录引言硬件层面1 选择合适的CPU2 内存的重要性3 硬盘对数据库性能的影响3.1 机械硬盘3.2 固态硬盘4 合理的设置RAID5 操作系统的影响软件层面分库分表索引优化小结 引言MySQL性能调优是个很宽泛的话题，也是面试必备考察点，MySQL调优，不仅仅是分库分表，SQL语句优化等，写这篇博客，主要从各个方面总结一下MySQL调优的方向点。硬件层面1 选择合适的CPU事实上数据库主要
文章目录一、调优工具1、explain2、analyze二、优化设计三、配置优化1、设置本地模式2、JVM重用3、并行执行四、查询优化1、自动启动Map端的join2、启用CBO(Cost based Optimizer):负载均衡3、启用Vectorization(矢量化)4、使用CTE、临时表、窗口函数等正确的编码约定五、压缩 一、调优工具1、explainexplain 查询语句;由于Hi
为什么需要性能调优？说到底就俩原因：一是获得更好的系统性能；二是满足不断增加的业务需求。通过性能调优，可以用更少的硬件资源，支撑更大量的业务发展，从而达到节省硬件投资的目的。同时，可以在资源有限，不能扩容的情况下，提升系统的响应能力，从而为用户带来更好的使用体验。性能调优三大系统我们重点说一下在进行性能优化时，硬件、操作系统、应用程序这三大系统，需要关注的一些细节和具体的优化思路。1.硬件优化。主
内存调优 首先需要注意的是在对JVM内存调优的时候
原创
2022-08-02 15:28:53
226阅读
1项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。在SpringBoot项目中，调优主要通过配置文件和配置JVM的参数的方式进行。2修改配置文件关于修改配置文件 application.properties。SpringBoot项目详细的配置文件修改文档https://docs.spring.io/spring-boot/docs/current/reference/html/c
转载
2022-04-19 09:50:30
258阅读
对于某些工作负载，可以通过在内存中缓存数据或打开一些实验选项来提高性能。1，在内存中缓存数据 Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表dataFrame.cache()。然后，Spark SQL将只扫描所需的列，并自动调整压缩
分析命令show full processlist; #该命令用于查看当前连接到mysql服务器的链接，以及经行的什么操作及状态。如果不加full，只能列出当前100条。show [global|session] status; #用于数据库运行时统计信息，默认是session。show [global|session] variables; #用于查询数据库的设置。
在网上查了些资料，大牛们说的都很齐全，博主在这里针对他们所说的，根据自己的实践，整理了一些基本方法或步骤，算是对SQL调优的一个总结吧。1.查找慢查询查看慢查询的时间：show variables like ‘long_query_time’;临时设置慢查询的值：set long_query_time=2但是，如果需要永久设置，就需要在MySQL的配置文件中进行配置。在 mysql 的配置文件中，
1.fetch（hive可以避免MapRedice）对于hive可以简单地读取employee对应的储存目录下的文件，然后输出查询结果到控制台，修改hive.fetch.task.conversion的参数为more即可
2.本地模式 设置数据出入量，设置local mr的最大输入文件个数，当输入文件滆湖小于这个值时采用local mr的方式，默认为4
3.表的优化
1.小表join大表
将key
文章目录MySQL调优数据库优化常见方案SQL生命周期慢查询日志查询是否开启慢查询日志开启慢查询日志查询慢查询日志的路径慢查询记录时间的阈值查询是否开启记录未使用索引的SQLSQL执行计划执行计划字段详解IDselect_typetabletypepossible_keysKeykey_lenrefrowfilteredrowsExtraSQL优化优化原则优化查询列优化where子句优化长难语句
基于一台普通版的MySQL服务器目的：加快服务器的响应速度进程数=进程*线程1、Mysql的查询过程 1）客户端向服务器发送连接请求 2）服务器端（连接池）开辟线程响应用户请求 3）用户发起sql语句查询数据库select * from db.a; 4）查询缓存：记录用户的sql执行语句和查询结果2、加快Mysql服务器的运行速度 1）替换有问题的
原创
2016-10-04 15:50:17
1770阅读
（1）避免重复的RDD案例：valrdd1=sc.textFile("hdfs://zzy/hello.txt")rdd1.map(...)valrdd2=sc.textFile("hdfs://zzy/hello.txt")rdd2.reduce(...)这里条用了两次textFile，并且读取的是同一个文件，造成了多次的磁盘读取，如果是hi同一个文件，读取一次即可。（2）尽可能多的复用一个RD
转载
2019-01-04 10:40:18
978阅读
(1)shuffle概述：  大多数spark作业的性能主要就是消耗了shuffle过程，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小
转载
2019-01-04 19:28:16
2886阅读
