介绍本篇我们介绍的一些模式称为初始化模式和性能模式，主要是用在初始化以及提高性能方面，一些模式之前
转载
2022-09-08 16:52:30
55阅读
下面是hive使用过程中一些调优策略一、fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion
原创
2019-11-02 17:14:04
1579阅读
目录1.Fetch抓取(默认就有)2.本地模式(小数据集适用)3.表优化小表、大表Join (大表放右边)大表Join大表 (处理空key-过滤/替换)
原创
2023-01-02 21:25:37
132阅读
原始连接：http://hi.baidu.com/linjk03/blog/item/4b48d738c09f7ef4b211c79c.html三、常见配置举例
堆大小设置
JVM
中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存
转载
精选
2010-10-12 16:57:43
806阅读
java虽然是自动回收内存，但是应用程序，尤其服务器程序最好根据业务情况指明内存分配限制。否则可能导致应用程序宕掉。
举例说明含义：
-Xms128m
表示JVM Heap(堆内存)最小尺寸128MB，初始分配
-Xmx512m
表示JVM Heap(堆内存)最大允许的尺寸256MB，按需分配。
说明：如果-Xmx不指定或者指定偏小，应用可能会导致java.lang.Out
转载
精选
2012-03-30 14:06:18
1437阅读
JVM启动参数:java -server -Xms1G -Xmx1G -Xmn256m -XX:PermSize=64m -XX:MaxPermSize=128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCDateStamps -X
原创
2022-12-27 18:58:23
124阅读
一.回调地狱在谈到回调地狱发生的情况和解决办法,需要先了解ajax请求先列出服务器提供的数据接口：
app.get('/data1', (req, res) => {
res.send('hi')
})
app.get('/data2', (req, res) => {
res.send('hello')
})
app.get('/data3', (req, res) =>
转载
2021-02-08 19:50:02
234阅读
2评论
Java对象的大小 基本数据的类型的大小是固定的，这里就不多说了。对于非基本类型的Java对象，其大小就值得商榷。 在Java中，一个空Object对象的大小是8byte，这个大小只是保存堆中一个没有任何属性的对象的大小。看下语句：Objectob=newObject(); 这样在程序中完成了一个Java对象的生命，但
原创
2023-02-27 19:28:55
125阅读
一般情况下，各个区域的内存比例保持默认值即可。务信息，然后将任务代码再反序列化得到可执行代码，最后再结合其他
原创
2022-09-18 02:01:26
193阅读
书接上回，我们在聊完JDK6的调优之后我们再说说即将推出的JDK7的新特性(当然JDK6还没有开聊，呵呵)：
首先我们说栈是运行逻辑的单位，堆是存储数据的单位，Sun JVM中是实行了堆栈分离的，这样分离有什么好处呢：可以使得多个(栈)线程共享一个堆（对象），这样节省了空间。同时栈因为运行时的需要，比如保存系统运行的上下文，需要进行地址段的划分。由于栈只能向上增长，因此就会限制住栈存储内容的能力
推荐
原创
2010-04-22 12:28:04
4639阅读
5评论
深度学习调参体验（二） 1. 激活函数选择： 常用的激活函数有relu、leaky-relu、sigmoid、tanh等。对于输出层，多分类任务选用softmax输出，二分类任务选用sigmoid输出，回归任务选用线性输出。而对于中间隐层，则优先选择relu激活函数（relu激活函数可以有效的解决s
转载
2020-05-13 18:49:00
264阅读
2评论
2、常规性能调优二：RDD优化1）RDD复用在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示对上图中的RDD计算架构进行修改，得到下图所示的优化结果2）RDD持久化在Spark中，当多次对同一个RDD执行算子操作时，每一次都会对这个RDD以之前的父RDD重新计算一次，这种情况是必须要避免的，对同一个RDD的重复计算是对资源的极大浪费，因此，必须对多次使用的R
原创
精选
2022-10-17 12:06:49
241阅读
2评论
上次有个朋友咨询我一个GP数据倾斜的问题，他说查看gp_toolkit.gp_skew_coefficients表时花费了20-30分钟左右才出来结果，后来指导他分析原因并给出其他方案来查看数据倾斜。 其实很多朋友经常使用如下的方式来检查数据分布： select gp_segment_id,coun
转载
2019-07-04 16:15:00
313阅读
2评论
jdk 自带的 jvisualvmwindows 系统只要配置了环境变量直接在运行、线程查看...
原创
2022-08-02 15:29:33
68阅读
优化数据库结构 拆分表：冷热数据分离 拆分表的思路是，把1个包含很多字段的
原创
2022-10-02 00:01:31
64阅读
七、启用压缩模块mod_deflate网站随着用户访问量的增加和内容量的增加，网站的带宽会不断的增加，随之就是网站成本的增加。并且当内容量增大的时候，客户端如果带宽小，就会影响用户的体验。因此从这两方面考虑，网站的某些内容必须经过压缩之后再传给用户，然后在用户客户端进行解压，来实现双方共赢的效果。apache的压缩要用到mod_deflate模块，该模块提供了DEFLATE输出过滤器，允许服务器在
转载
精选
2016-05-18 11:41:15
554阅读
前言：如果对android回调的概念不明白的请看：android 回调函数一：基本概念1、定义接口package com.app.util;public interface ZYJCallBack { public void dataResult( String resultString ) ; public void progress( Intege
原创
2021-09-08 21:33:54
174阅读
在学习Java的路上很早很早就接触了回调，比如：JFram
原创
2022-08-05 10:38:35
275阅读
瘦身
当不使用mail-service服务的时候 (J2EE 标准的 JavaMail 客户端)
l 移除server/slim/deploy/mail-service.xml
l 移除server/slim/lib/mail* (mail-plugin.jar, mail.jar - JavaMail stuff)
l 移除ser
推荐
翻译
2008-05-15 12:22:44
3842阅读
1评论
