1. 下载JDK，安装部署JAVA环境。
(1)export JAVA_HOME=/home/xxx/jdk1.6.0_24
(2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(3)export PATH=$JAVA_HOME/bin:$PATH
2. 设置ssh免登录
博主：hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先说明HA是什么？ HA意为High Available。高可用性集群，是保证业务连续性的有效解决方式，一般有两个或两个以上的节
转载
2017-08-11 11:58:00
169阅读
2评论
lk@lk-virtual-machine:~$ cd hadoop-1.0.1lk@lk-virtual-machine:~/hadoop-1.0.1$ ./bin dfs -mkdir inputbash: ./bin: 是一个文件夹lk@lk-virtual-machine:~/hadoop-...
转载
2015-01-06 14:53:00
108阅读
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output14/05/12 03:44:37 WARN mapred.JobClient: Use GenericO...
转载
2015-07-10 15:30:00
69阅读
2评论
第一部分：环境配置（含操作系统、防火墙、SSH、JAVA安装等） Hadoop 2.8集群安装模拟环境为： 主机：Hostname:Hadoop host,IP:10.10.11.225 节点1：Hostname:Hadoopnode1,IP:10.10.11.254 两台机器均为Centos 7.
转载
2017-10-16 15:09:00
74阅读
2评论
目录一、动态添加节点1.前提准备2.系统配置3.hadoop动态添加节点二、动态删除节点1.动态删除DataNode节点与NodeManager节点2.动态删除DataNode节点与NodeManager节点的另一种方式一、动态添加节点1.前提准备假设之前有三台服务器来安装Hadoop192.168.0.102 hadoop102
192.168.0.103 hadoop103
192.168.0
转载
2023-07-12 12:20:00
64阅读
为了提供对不同数据访问的一致接口，Hadoop借鉴了Linux虚拟文件系统的概念，引入了Hadoop抽象文件系统，并在Hadoop抽象文件系统的基础上，提供了大量的具体文件系统的实现，满足构建于Hadoop上应用的各种数据访问需求。通过Hadoop抽象文件系统，MapReduce目前可以运行在基于HDFS的集群上，也可以运行在基于Amazon S3的云计算环境里。Hadoop文件系统APIjava
转载
2023-07-12 12:42:57
95阅读
Hadoop查看记录行数
简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。在Hadoop中，我们经常需要处理大型文本文件，并需要了解文件中记录的数量。本文将介绍如何使用Hadoop来查看记录行数，并给出相应的代码示例。
流程图
```mermaid
flowchart TD
A[输入文件] --> B[Hadoop MapReduce]
B --> C[
原创
2023-08-25 04:43:01
167阅读
前面写一篇hadoop学习记录-安装的文章发现其实没有必要这么详细，我其实就是想记录那些自己的见解和学习心得也是为了日后的复习，所以没有必要写的那么详尽。slaves.sh uptime | sort:检查hadoop datanode节点启动时间等信息。slaves.sh jps | sort:检查各个datanode节点进程启动情况在windows上开发hadoop程序的过程中，很多人喜欢在
原创
2014-02-26 11:58:19
329阅读
linux的client 端 env：显示当前用户的环境变量 set：显示shell的所有环境变量，包括用户的。 export：显示当前导出成用户变量的shell变量。 当前用户变量和你用什么shell无关，不管你用什么shell都是存在的。比如HOME,SHELL等这些变量，但shell中自己...
转载
2013-05-15 19:24:00
53阅读
2评论
最近比较迷hadoop，因为觉得在如今互联网时代大数据应用将会有不错的前景。虽然现在已经有了很多hadoop解决方案的应用商比如说Hortonworks、Cloudera等等这样的公司，但是我还是觉得自己从apache上下载安装hadoop是一件很酷的事，这样的话所有配置都是在自己的掌握之下才能更好的学习hadoop的知识。闲话不多说了，接下来就是记录自己学习hadoop的心得与技巧
原创
2014-02-26 11:21:19
396阅读
Hadoop编译打包，基于2.7.2版本的源码。# 打包过程中需要使用到的工具java -versionmvn -versionant -versiontype protoctype cmake# Hadoop 2.7.2源码下载地址 http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar....
原创
2021-08-31 15:44:00
509阅读
1、Hadoop配置1、配置hadoop-env.sh 添加JAVA_HOME信息，如： export JAVA_HOME=/usr/java/jdk1.6 2、配置core-site.xml 参数：fs.default.name 作用：指定NameNode的IP地址和端口（端口可以修改） 注意：如果是完全分布式节点，localhost应改为该主机的IP和端口 如下：<?xml versio
转载
2023-07-04 14:57:33
113阅读
通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间 CallQueueLength(RPC Call队列的长
转载
2020-05-18 19:34:00
905阅读
2评论
可以通过一个简单的例子来说明MapReduce到底是什么： 我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件，然后安排多个人去统计。这个过程就是”Map”。然后把每个人统计的数字合并起来，这个就是“Reduce"。 上面的例子如果在MapReduce去做呢，就需要创建一个任务job，由job把文件切分成若干独立的数据块，并分布在不同的机器节点中。然后通过
http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/
标题：Cloudera’s Support Team Shares Some Basic Hardware Recommendations
提高
转载
2023-09-01 08:21:53
30阅读
1.1.1 YARN的介绍 为克服
Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN.
Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理
转载
2023-07-14 15:21:31
162阅读
一般来说，hadoop集群环境都是比较耗内存的，所以即使在虚拟机上面，配置的每台机器的内存至少不能小于50G，不然后期测试会去进行一个扩容，所以就要求自己的电脑配置相对于比较高，这样才能完成本地的一些大数据的测试。因为hadoop都是比较耗内存的，所以需要注意以下2点：1.NameNode和SecondaryNameNode不要安装在同一台服务器2.ResourceManager也很消耗内存，不要
转载
2023-07-12 02:13:39
99阅读
一. HA概述1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4 . NameNode主要在以下两个方面影响HDFS集群 &n
转载
2023-08-21 09:13:21
90阅读
1.1 安装环境操作系统deepin 15.11, VMware Workstation，hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation，在 VMware Workstation中安装两个deepin系统，采用两个节点作为集群环境，一个作为Master节点，一个作为Slave 节点。1.2 hadoop的安装准备在Master节点和Slave节
