目前，我们邮件的一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.m
转载
2023-04-25 17:27:09
69阅读
通过把一部分log已经迁移到Hadoop集群上
并由Hive来执行相关的查询
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即：每一个tasktracker同时运行的map任务数为2
照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec
经过测试，发现将mapred.tasktracker.map.tasks
转载
2011-07-04 14:07:50
10000+阅读
目前，我们邮件的一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.max
原创
2023-09-20 11:42:53
99阅读
目录一、控制 reduce 端缓冲大小以避免 OOM二、JVM GC 导致的 shuffle 文件拉取失败三、解决各种序列化导致的报错四、解决算子函数返回 NULL 导致的问题五、解决 YARN-CLIENT 模式导致的网卡流量激增问题六、解决 YARN-CLUSTER 模式的 JVM 栈内存溢出无法执行问题七、解决 SparkSQL 导致的 JVM 栈内存溢出八、持久化与 checkpoint
转载
2024-06-13 08:56:44
146阅读
运行MapReduce程序时打印到下面的一句就卡住不动了INFO mapred.JobClient: map 100% reduce 0%但是运行其他的程序都正确，最后发现是这一个MapReduce作业写错了。Mapper<Text,Text,Text,Text>和map(Object key, Text value, Context context)，key的类型写错了和前面的不一致
原创
2015-03-25 21:29:32
1420阅读
...
转载
2021-07-22 20:09:00
174阅读
2评论
Hadoop Map Tasks and Concurrency
## Introduction
When it comes to processing large amounts of data, one popular solution is the Apache Hadoop framework. Hadoop allows distributing the processing of d
原创
2024-01-04 06:08:05
74阅读
常用调优测试语句 ：
①显示当前hive环境的参数值： set 参数名; 如： hive> set mapred.map.tasks;mapred.map.tasks; ②设置hive当前环境的参数值，但仅对本次连接有效 set 参数名 = 值; 如： hive> set mapred.map.tasks;mapred.map.tasks=2;
转载
2023-07-21 16:25:05
47阅读
杀死mapreduce进程 [hdfs@hadoop-slave ~]$ mapred job -kill job_1472108457736_0180
原创
2022-01-04 17:05:18
95阅读
转载
2014-08-18 23:11:00
108阅读
2评论
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configu
原创
2022-11-16 19:36:22
84阅读
自动化运维之AnsibleAsible概述与核心组件Ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible可以看作是基于模块进行工作的框架结构，批量部署能力就是由Ansible所运行的模块实现的。简而言之Ansible是基于“模块
转载
2024-05-15 07:36:44
31阅读
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来
转载
2018-02-03 17:06:00
647阅读
2评论
这里主要针对Mapreduce的性能调优。这里主要涉及的参数包括：HDFS：
dfs.block.size
Mapredure：
io.sort.mb
io.sort.spill.percent
mapred.local.dir
mapred.map.tasks & mapred.tasktracker.map.tasks.maximum
mapred.reduce.tasks &
转载
2024-05-05 17:57:11
57阅读
fixedRate，fixedDelay，Cron表达式
原创
2021-06-04 20:36:38
209阅读
Ansible是一种自动化工具，用于自动化IT任务，并且越来越受到企业和组织的青睐。在Ansible中，tasks是指定的工作单元，它们是操作系统上执行的指令序列。通过编写Ansible tasks，管理员可以轻松地配置、管理和部署服务器，使得管理整个IT基础架构变得更加高效和可靠。
在Ansible中，tasks是通过Playbooks来定义的，Playbooks是包含一系列tasks的文件，
原创
2024-03-22 10:50:14
113阅读
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词：block_size : hdfs的
转载
2023-07-03 15:53:15
107阅读
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，默
转载
精选
2014-09-01 14:53:05
6599阅读
Posted on November 13, 2008Ant has tasks for CVS and Subversion, but none that I could find for Git. I threw together these simple Ant macros to get started:<macrodef name = "git"> &nb
转载
精选
2013-05-29 12:27:53
1780阅读
Tasks 概述 Task是一系列Step的组合，每个Step主要负责运行特定的构建或交付工具从而完成相关的一次特定事项；Task以Kubernetes集群上Pod运行。Task是名称空间级别的资源。 Tasks 组成 Parameters：是使得Task及Pipeline资源定义出的“模板”更加具
原创
2023-12-12 15:21:09
188阅读
