环境：centos6.7，hadoop2.7.3，虚拟机VMware下载hadoop：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gznamendoe 192.168.137.9 ; secondnode 192.168.137.15 ; datanode 192.168.137.16修改三台主
原创
2016-11-29 17:25:37
689阅读
点赞
1.解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下： tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt2.修改/etc/profile3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh4.修改$HADOOP_
原创
2017-05-10 23:26:00
683阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ 提取码：97ey可以模仿TA，有问题留言
遇到问题请继续向下看，记得保存最底部有重点最近，发现新版
原创
2022-04-02 10:53:34
808阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ提取码：97ey可以模仿TA，有问题留言https://www.cnblogs.com/supiaopiao/p/7240308....
原创
2021-06-21 16:45:15
274阅读
1、概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。hadoop三种安装模式：单机模式，伪分布式，真正分布式。因在实际生产中均会使用分布式方式进行部署，本博文也将采用分布式方式进行部署。2、环境说明主机名IP地址用途说明master192.168.0.128 作为HADOOP的Namenodeslave1192
转载
2023-07-16 22:25:51
99阅读
一、依赖文件安装 1.1 JDK 参见博文：二、文件准备 2.1 文件名称 hadoop-2.7.3.tar.gz 2.2 下载地址 &nb
转载
2024-05-17 12:58:09
194阅读
集群规划主机名ip安装的软件进程hadoop01192.168.1.101jdk、hadoopNN、DFSZKFailoverControllerhadoop02192.168.1.102jdk、hadoopNN、DFSZKFailoverControllerhadoop03192.168.1.103jdk、hadoopRMhadoop04192.168.1.104jdk、hadoop、zooke
转载
2017-03-09 15:49:50
913阅读
1.利用yum安装docker 2.确保docker安装完成后需要关闭防火墙并重启系统
systemctl stop firewallds
systemctl disable firewallds
注意：执行完上面的命令之后需要重启系统 reboot -h(重启系统)闭防火墙
3.需要关闭selinux 解决方法： 1：setenforce
原创
2023-01-09 17:16:47
119阅读
hadoop2.7.3 HA高可用集群安装环境准备Hadoop安装配置修改配置所有节点安装jdk1.8，ssh，配置hosts文件，配置centos680和centos681之间的互相免登陆，centos680到其他所有机器的免登陆，关闭防火墙。在centos682，centos683，centos684上安装Zookeeper3.4.9。复制hadoop-2.7.3.tar.gz到centos6
转载
2017-03-09 15:54:16
981阅读
一： 安装准备在虚拟机VWare下安装了四个redhat操作系统，下载路径：http://pan.baidu.com/share/link?shareid=3216417135&uk=2939827074&fid=917415041364300（快速方法:安装一个，克隆3个) rhel-server-6.3-x86_64-dvd.iso四个虚拟机网络互通设置 官网下载(hadoo
转载
2024-01-05 16:01:12
117阅读
1、背景介绍 Hadoop2.0.0之前，在一个HDFS集群中，NameNode存在单节点故障（SPOF）：因为集群中只有一个NameNode
原创
2024-08-15 13:51:29
50阅读
这几天在学习Hadoop相关的东西，前些时候，搭建了单机和伪分布式的集群。但是在搭建完全分布式集群的时候遇到很多问题，网上找到很多文章，感觉都有些差别，因此，再次汇总一下，把我的详细的搭建过程记录下来。参考了很多篇文章：http://www.w2bc.com/Article/19645 &n
转载
2017-03-09 15:47:20
599阅读
1、解压jdk压缩文件，在/etc/profile文件中配置jdk环境变量2、解压hadoop压缩文件，在/etc/profile文件中配置hadoop环境变量3、执行命令【source /etc/profile】4、在/etc/hosts文件中配置集群主机名和IP对应关系5、配置ssh免密码登录，在集群所有机器上执行ssh-keygen -t rsa命令，执行完后直接回车键，会在家目录下新建.s
原创
2017-01-04 22:03:44
705阅读
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6582阅读
目录： 第一部分：操作系统准备工作： 1. 安装部署CentOS7.3 1611 2. CentOS7软件安装（net-tools, wget, vim等） 3. 更新CentOS7的Yum源，更新软件速度更快 4. CentOS 用户配置，Sudo授权 第二部分：Java环境准备 1. JDK1.
转载
2017-05-07 23:48:00
135阅读
2评论
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下： CentOS-master nameNode 192.168.11.128 CentOS-node1 dataNode 192.168.11.131 CentOS-node2 dataNode 192.168
转载
2017-08-27 17:01:00
89阅读
2评论
Apache Hadoop 2.7.3Apache Hadoop 2.7.3 is a minor release in the 2.x.y release ajor features and impr
翻译
2023-06-05 14:45:23
40阅读
开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技
转载
2017-05-09 12:12:00
101阅读
2评论
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失
转载
2017-05-09 00:27:00
90阅读
2评论
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 1.0.准备 1.1.目录 用VMware创
转载
2018-02-07 14:42:00
55阅读
