1 UDP      buffer size              sysctl -a        接收 net.core.rmem_default  (默认)         &nb
原创 2012-04-07 18:26:27
738阅读
1.堆内存分区在具体介绍GC前,先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域,是.
原创 2022-07-29 10:49:44
330阅读
 1 查看     less /proc/PID/status     less /proc/PID/statm     pmap  PID(进程号)     memusage  命令  (yum install glibc-utils  -y)  
原创 2012-04-07 18:25:21
2127阅读
Jvm总结 系列文章!
转载 2021-07-29 16:25:52
710阅读
基于一台普通版的MySQL服务器目的:加快服务器的响应速度进程数=进程*线程1、Mysql的查询过程 1)客户端向服务器发送连接请求 2)服务器端(连接池)开辟线程响应用户请求 3)用户发起sql语句查询数据库select * from db.a; 4)查询缓存:记录用户的sql执行语句和查询结果2、加快Mysql服务器的运行速度 1)替换有问题的
原创 2016-10-04 15:50:17
1806阅读
(1)避免重复的RDD案例:valrdd1=sc.textFile("hdfs://zzy/hello.txt")rdd1.map(...)valrdd2=sc.textFile("hdfs://zzy/hello.txt")rdd2.reduce(...)这里条用了两次textFile,并且读取的是同一个文件,造成了多次的磁盘读取,如果是hi同一个文件,读取一次即可。(2)尽可能多的复用一个RD
转载 2019-01-04 10:40:18
989阅读
(1)shuffle概述:  大多数spark作业的性能主要就是消耗了shuffle过程,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle只能在整个Spark的性能中占到一小
转载 2019-01-04 19:28:16
2912阅读
Spark | Spark Streaming 1、数据序列化2、广播大变量3、数据处理和接收时的并行度4、设置合理的批处理间隔5、内存优化5.1 内存管理5.2优化策略5.3垃圾回收(GC)优化5.5Spark Streaming 内存优化6、实例项目6.1合理的批处理时间(batchDuration)6.2合理的 Kafka 拉取量(maxRatePerPartition 参数设置...
转载 2021-06-01 12:16:08
638阅读
spark SQL 性能调整 对于某些工作负载,可以通过在内存中缓存数据或打开一些实验选项来提高性能。 1,在内存中缓存数据        Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表dataFrame.cache()。然后,Spark SQL将只扫描所需的列,并自动调整
转载 8月前
298阅读
JVM实战jvm不会开启记录GC日志,会影响性能,之后,就会关掉GC日志JVM主要就是调整下面两个指标   减少FGC执行次数,减少FGC执行时间停顿时间:垃圾收集器做垃圾回收中断应用执行的时间。-XX:MaxGCPauseMillis吞吐量:垃圾收集的时间和总时间的占比:1/(1+n),吞吐量为1-1/(1+n)。-XX:GCTimeRatio=nGC步骤: 
转载 9月前
133阅读
内存 首先需要注意的是在对JVM内存的时候
原创 2022-08-02 15:28:53
240阅读
1​项目作为一名工程师,项目这事,是必须得熟练掌握的事情。在SpringBoot项目中,主要通过配置文件和配置JVM的参数的方式进行。2​修改配置文件关于修改配置文件 application.properties。SpringBoot项目详细的配置文件修改文档https://docs.spring.io/spring-boot/docs/current/reference/html/c
转载 2022-04-19 09:50:30
267阅读
分析命令show full processlist; #该命令用于查看当前连接到mysql服务器的链接,以及经行的什么操作及状态。如果不加full,只能列出当前100条。show [global|session] status; #用于数据库运行时统计信息,默认是session。show [global|session] variables; #用于查询数据库的设置。
首先上版本号:ES 版本:6.5.4一般来说ES 的默认参数已经能够满足大部分场景需求,不需要也不建议我们去调节。但是根据不同的业务场景我们还是可以做一些系统,接下来针对常用的参数总结如下:1、_routing      参数作用是将文档路由到不同的分片,默认是根据hash(document’s _id ) 进行路由的,默认情况,如果
Hive性能一 Hive性能工具 - EXPLAIN二 Hive性能工具 - ANALYZE三 Hive优化设计四 Job优化 - 本地模式(强烈推荐)五 Job优化 - JVM重用(JVM Reuse)六 Job优化 - 并行执行七 查询优化八 压缩算法 一 Hive性能工具 - EXPLAINEXPLAIN:显示查询语句的执行计划,但不运行语法EXPLAIN [EXTENDE
1.fetch(hive可以避免MapRedice)对于hive可以简单地读取employee对应的储存目录下的文件,然后输出查询结果到控制台,修改hive.fetch.task.conversion的参数为more即可 2.本地模式 设置数据出入量,设置local mr的最大输入文件个数,当输入文件滆湖小于这个值时采用local mr的方式,默认为4 3.表的优化 1.小表join大表 将key
转载 7月前
55阅读
在网上查了些资料,大牛们说的都很齐全,博主在这里针对他们所说的,根据自己的实践,整理了一些基本方法或步骤,算是对SQL的一个总结吧。1.查找慢查询查看慢查询的时间:show variables like ‘long_query_time’;临时设置慢查询的值:set long_query_time=2但是,如果需要永久设置,就需要在MySQL的配置文件中进行配置。在 mysql 的配置文件中,
文章目录MySQL数据库优化常见方案SQL生命周期慢查询日志查询是否开启慢查询日志开启慢查询日志查询慢查询日志的路径慢查询记录时间的阈值查询是否开启记录未使用索引的SQLSQL执行计划执行计划字段详解IDselect_typetabletypepossible_keysKeykey_lenrefrowfilteredrowsExtraSQL优化优化原则优化查询列优化where子句优化长难语句
对于某些工作负载,可以通过在内存中缓存数据或打开一些实验选项来提高性能。1,在内存中缓存数据        Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表dataFrame.cache()。然后,Spark SQL将只扫描所需的列,并自动调整压缩
转载 6月前
37阅读
  • 1
  • 2
  • 3
  • 4
  • 5