硬件环境：四台虚拟机，hadoop1~hadoop4，3G内存，60G硬盘，2核CPU软件环境：CentOS6.5，hadoop-2.6.0-cdh5.8.2，JDK1.7部署规划：hadoop1（192.168.0.3）：namenode（active）、resourcemanagerhadoop2（192.168.0.4）：namenode（standby）、journalnode、datan
转载
2017-03-05 15:47:51
1286阅读
一：单机版1.sudo gedit ~/.bashrc 加入JDK路径#HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64export HADOOP_INSTALL=/home/sendi/ha...
原创
2021-09-04 10:52:32
168阅读
1 Linux命令1.1 文件cd path 路径名cd .. 返回上一层cd ~ 进入到当前Linux系统登录用户的主目录（或主文件夹）。在 Linux 系统中，~代表的是用户的主文件夹，即“/home/用户名”这个目录，如果当前登录用户名为 hadoop，则~就代表“/home/hadoop/”这个目录ls #查看当前目录中的文件ls -l #查看文件和目录的权限信息m
转载
2023-07-14 17:46:32
170阅读
因为需要部署spark环境，特意重新安装了一个测试的hadoop集群，现将相关步骤记录如下：硬件环境：四台虚拟机，hadoop1~hadoop4，3G内存，60G硬盘，2核CPU软件环境：CentOS6.5，hadoop-2.6.0-cdh5.8.2，JDK1.7部署规划：hadoop1（192.168.0.3）：namenode（active）、resourcemanagerhadoop2（19
原创
2016-12-25 14:45:49
3311阅读
在Linux操作系统上安装Hadoop2.6是一个常见的操作，Hadoop是一个用于大规模数据处理和分布式存储的开源框架。通过安装Hadoop2.6，用户可以充分利用集群的计算和存储资源，实现高效的数据处理和分析。
首先，为了在Linux上安装Hadoop2.6，用户需要确保已经安装了Java环境。Hadoop是用Java编写的，因此Java环境是必需的。用户可以通过在终端输入java -ver
原创
2024-05-28 10:35:37
69阅读
Linux系统作为开源领域的一颗璀璨明珠，一直受到开发者们的喜爱和推崇。而在Linux系统中，有一个备受关注的概念，那就是“红帽（Red Hat）”。红帽公司成立于1993年，总部位于美国北卡罗来纳州的罗利市，是一家专注于Linux领域的软件公司，也是全球领先的开源解决方案提供商。
红帽公司通过其领先的Linux发行版Red Hat Enterprise Linux（RHEL）在企业应用领域取得
原创
2024-04-09 10:38:29
57阅读
1.环境 hadoop 2.6 hdfs 地址 ： hdfs://localhost:9000 开发环境 ： eclipse 新建Map/Reduce 工程2.代码示例package cn.labelnet.demo;import java.io.FileInputStream;import java.io.FileNotFoundExcepti
原创
2023-02-22 11:16:30
135阅读
"hadoop"的身份进行。一、Master上安装hadoop 解压hadoop安装包 删除安装文件 rm hadoop-2.6.0.tar.gz 修改配置文件：一共有7个文件要修改 $HADOOP_HOME/etc/hadoop/hadoop-env.sh $HADOOP_HOME/etc/hadoop/yarn-env.sh $HADOOP_HOME/e
转载
2023-07-11 22:33:13
69阅读
1.背景 上篇已经学习了hadoop伪分布式安装，这篇演示一个例子；更好的理解hdfs 文件系统！2.
原创
2023-02-23 09:26:16
91阅读
Hadoop的下载官网为http://hadoop.apache.org/releases.html1.使用wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz命令下载hadoop 2.6.5例如我这里下载到了/chenjie下2.使用 tar -zxvf hadoop-2.
转载
2023-07-20 17:27:43
60阅读
1 介绍为了解决Hadoop 1.x框架中的问题：例如单namenode节点问题等问题，Apache基金会推出新一代的hadoop框架，Hadoop 2.x系列版本，在该版本中，HDFS的一些机制进行了改善，并且Hadoop的MapReduce框架升级为YARY框架（MapReduce 2），并且实现了与spark等现在叫流行的大数据分析框架的集成。关于Hadoop 2.x系列，我们将会在后面详细
转载
2023-07-14 15:37:25
80阅读
注意：1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置，参考：hadoop2.x的配置2.有关hadoop的命令，参考：hadoop2.x的命令3.先修改一台机器的配置文件，剩余机器的配置都从这台机器上拷贝。4.安装前，先优化linxu配置，参考，Linux服务器初始化优化 ：官方编译好的hadoop是32
转载
2023-07-14 15:37:02
0阅读
Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0 hadoop2.5.1 
原创
2015-03-25 15:56:00
597阅读
点赞
下载 解压Hadoop2.6.3 tar文件下载链接：
http://hadoop.apache.org/releases.html解压文件,至当前文件夹：
tar -xzvf hadoop-2.6.3.tar.gz新建自己的Hadoop目录，移动文件至该目录中新建hadoop目录
mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中
mv hadoo
转载
2023-07-21 13:53:21
97阅读
在我的认识里，传统硬盘的写速度应该能够到120M/s的样子，网络传输速度也能够达到10M/s至少，在使用千兆交换机的前提下，甚至能够达到100M/sPS:附上测试的环境参数： 机器配置如下： 机器数量：7 DataNode:7 内存：64G 硬盘：12T 5400转 磁盘 网络情况：公司内部局域网写测试： 往HDFS上写100个128M的文件： 使用命令 ：bin/hadoop jar ./sha
转载
2023-08-15 18:28:56
151阅读
一、安装前准备 CentOS6.5（64bit） hadoop-2.6.0-64.tar.gz jdk-7u67-linux-x64.tar.gz二、安装1、关闭防火墙和SELinux service iptables status
原创
2022-02-17 18:05:20
65阅读
一直都想自学下hadoop，最近不想写代码，那就瞎折腾吧。先不管其原理，动手搭建起来再说。skr...环境：一个linux（centos6.5）虚拟机 1、自然要下载安装包，去官网下的 https://archive.apache.org/dist/hadoop/common ，下载的是hadoop2.6.0 版本2.上传到虚拟机
转载
2023-09-06 12:18:12
91阅读
