指导手册05：MapReduce编程入门Part 1:使用Eclipse创建MapReduce工程情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用Eclipse作为MapReduce的编程工具，本小节将完成Eclipse安装，MapReduce集成环境配置。1．下载与安装Eclipse（1）在官网下载Eclipse安装包“Eclipse IDE for Java EE Devel
转载
2024-09-12 11:56:28
15阅读
MapReduce跑得慢的原因MapReduce程序的效率瓶颈在于两个方面：一、 计算机性能CPU、内存、磁盘健康、网络二、 I/O操作数据倾斜map和reduce数量设置不合理reduce等待时间过久小文件过多大量不可拆分的超大文件spill次数过多merge次数过多我们优化的重点是I/O操作MapReduce优化方法一、数据输入合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产
转载
2024-03-05 14:54:08
44阅读
CDH下载地址：CDH5.4：http://archive.cloudera.com/cdh5/Cloudera Manager5.4.3:http://www.cloudera.com/downloads/manager/5-4-3.html 准备工作：（linux必须是64位的）安装CDH之前，我们需要安装一下CM，CM环境搭建所需要的条件，对电脑来说：我们要根据我们电脑的内存进行分
转载
2023-09-02 10:53:33
82阅读
内存调优Hadoop处理数据时，出现内存溢出的处理方法？(内存调优)1、Mapper/Reducer阶段JVM内存溢出(一般都是堆)1)JVM堆(Heap)内存溢出：堆内存不足时，一般会抛出如下异常：第一种：“java.lang.OutOfMemoryError:” GC overhead limit exceeded；第二种：“Error: Java heapspace”异常信息；第三种：“ru
转载
2024-04-19 16:52:26
103阅读
通过本地yum源进行安装impala所有cloudera软件下载地址http://archive.cloudera.com/cdh5/cdh/5/http://archive.cloudera.com/cdh5/1、 impala的介绍imala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快3到10倍，其sql查询比s
1. 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。 2. 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据，namenode才耗费80G的空间。 3. 由于Hado
转载
2024-09-01 18:38:01
39阅读
MapReduce运行流程一个完整的MapReduce程序在分布式运行时有三类实例进程：1) MRAppMaster：负责整个程序的过程调度及状态协调
2) MapTask：负责map阶段的整个数据处理流程
3) ReduceTask：负责reduce阶段的整个数据处理流程当一个作业提交后(mr程序启动)，大概流程如下：1) 一个mr程序启动的时候，会先启动一个进程Application
转载
2024-02-25 07:44:18
53阅读
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
724阅读
点赞
1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.1.2 CM架构1.2 环境准备1.2.1 虚拟机准备克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主
转载
2024-01-16 20:20:06
6阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-09-04 19:40:36
110阅读
环境，业务需求说明
服务器环境使用华为FusionInsight大数据平台，使用Kerberos认证，要求搭建阿里开源canal（版本：1.1.4）来监控mysql的几张数据表，实时把数据动态传入Kafka，通过Flink做业务处理，实时插入HBase数据库。Canal：canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支
目录目录第1章 配置环境1.1.准备阶段1.1.1.服务器1.1.2.操作系统1.2.安装配置1.2.1.安装操作系统1.2.2.配置操作系统1.2.3.安装Oracle JDK （所有节点）1.2.4.配置SSH免密1.2.5.安装配置mysql1.2.6. NTP时间同步第2章 安装CDH2.1.安装配置Cloudera Manager2.2.安装配置CDH2.3 CDH的组件升级前
转载
2023-07-04 22:39:54
87阅读
前几天终于把Cloudera 5.1配置好了，配置完的第一感受就是干什么都要仔细，说实话，在这里面确实遇到了很多自己不知道的问题，自己可能对Linux一些配置还是不熟吧，为了避免新手以后在安装Cloudera遇到不必要的问题，所以我打算写这篇博客，让新手少走一些弯路。 &nb
转载
2023-10-12 10:57:40
49阅读
登录CM1、版本选择免费版本的CM5已经去除50个节点数量的限制。 各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。 接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。 点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分
转载
2023-05-19 16:42:21
117阅读
第 1 章. NTP服务器安装及客户机配置配置之前要确定时间和现实时间一致，手动配置时间命令sudo date -s "2018-04-18 14:50:02"配置时区如果已有NTP服务器，则使用已有NTP服务器，不使用集群内部重新搭建的NTP服务器。已有NTP服务器地址为：10.131.11.48，端口为123。lsof -i:123(端口号) 查看该端口下面对
转载
2023-09-20 21:34:59
89阅读
目录 一、简介：二、安装装备二、开始安装三、添加和启动spark2服务一、简介：在我的CDH5.16集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本
转载
2023-11-22 22:00:05
107阅读
CDH 安装市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）cm-cloudera mana
转载
2024-08-03 16:01:28
67阅读
这里写目录标题一.Linux的安装二.准备工作三..安装Java环境四.安装 Hadoop五.Hadoop伪分布式配置六.调用MapReduce执行WordCount对单词进行计数 一.Linux的安装一.Linux的安装 这里使用VirtualBox 安装Linux的ubuntu 14.4进行操作，下载后按自己的需求安装。安装过程若下载东西很慢可以将网络断开，这样可以减少一些软件的下载，若后续
转载
2024-04-12 22:39:00
230阅读
一、cm安装 软件下载： 1、cm下载 http://archive.cloudera.com/cm5 下载cm-5.4.1 bin文件 http://archive.clo
原创
2022-08-11 17:09:54
129阅读
1.概述在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下，在CentOS6.5操作系统上基于CDH5.12.1集群，使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2和Kafka的过程。内容概括Kudu安装Spark2安装Kafka安装服务验证测试环境操作系统版本：
转载
2024-03-22 08:51:54
198阅读
