1.利用yum安装docker 2.确保docker安装完成后需要关闭防火墙并重启系统
systemctl stop firewallds
systemctl disable firewallds
注意：执行完上面的命令之后需要重启系统 reboot -h(重启系统)闭防火墙
3.需要关闭selinux 解决方法： 1：setenforce
原创
2023-01-09 17:16:47
119阅读
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6584阅读
环境：centos6.7，hadoop2.7.3，虚拟机VMware下载hadoop：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gznamendoe 192.168.137.9 ; secondnode 192.168.137.15 ; datanode 192.168.137.16修改三台主
原创
2016-11-29 17:25:37
689阅读
点赞
1.解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下： tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt2.修改/etc/profile3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh4.修改$HADOOP_
原创
2017-05-10 23:26:00
683阅读
集群规划主机名ip安装的软件进程hadoop01192.168.1.101jdk、hadoopNN、DFSZKFailoverControllerhadoop02192.168.1.102jdk、hadoopNN、DFSZKFailoverControllerhadoop03192.168.1.103jdk、hadoopRMhadoop04192.168.1.104jdk、hadoop、zooke
转载
2017-03-09 15:49:50
913阅读
hadoop2.7.3 HA高可用集群安装环境准备Hadoop安装配置修改配置所有节点安装jdk1.8，ssh，配置hosts文件，配置centos680和centos681之间的互相免登陆，centos680到其他所有机器的免登陆，关闭防火墙。在centos682，centos683，centos684上安装Zookeeper3.4.9。复制hadoop-2.7.3.tar.gz到centos6
转载
2017-03-09 15:54:16
981阅读
基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式、面向列的NoSQL数据库，基于HDFS存储，以表的形式存储数据，表由行和列组成，列划分到列族中。HBase不提供类SQL查询语言，要想像SQL这样查询数据，可以使用Phonix，让SQL查询转换成hbase
转载
2017-12-06 15:41:00
150阅读
2评论
1、背景介绍 Hadoop2.0.0之前，在一个HDFS集群中，NameNode存在单节点故障（SPOF）：因为集群中只有一个NameNode
原创
2024-08-15 13:51:29
50阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ 提取码：97ey可以模仿TA，有问题留言
遇到问题请继续向下看，记得保存最底部有重点最近，发现新版
原创
2022-04-02 10:53:34
808阅读
下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll记录安装中遇到的问题链接：https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ提取码：97ey可以模仿TA，有问题留言https://www.cnblogs.com/supiaopiao/p/7240308....
原创
2021-06-21 16:45:15
274阅读
1、概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。hadoop三种安装模式：单机模式，伪分布式，真正分布式。因在实际生产中均会使用分布式方式进行部署，本博文也将采用分布式方式进行部署。2、环境说明主机名IP地址用途说明master192.168.0.128 作为HADOOP的Namenodeslave1192
转载
2023-07-16 22:25:51
99阅读
一、依赖文件安装 1.1 JDK 参见博文：二、文件准备 2.1 文件名称 hadoop-2.7.3.tar.gz 2.2 下载地址 &nb
转载
2024-05-17 12:58:09
194阅读
这几天在学习Hadoop相关的东西，前些时候，搭建了单机和伪分布式的集群。但是在搭建完全分布式集群的时候遇到很多问题，网上找到很多文章，感觉都有些差别，因此，再次汇总一下，把我的详细的搭建过程记录下来。参考了很多篇文章：http://www.w2bc.com/Article/19645 &n
转载
2017-03-09 15:47:20
599阅读
1、解压jdk压缩文件，在/etc/profile文件中配置jdk环境变量2、解压hadoop压缩文件，在/etc/profile文件中配置hadoop环境变量3、执行命令【source /etc/profile】4、在/etc/hosts文件中配置集群主机名和IP对应关系5、配置ssh免密码登录，在集群所有机器上执行ssh-keygen -t rsa命令，执行完后直接回车键，会在家目录下新建.s
原创
2017-01-04 22:03:44
705阅读
一： 安装准备在虚拟机VWare下安装了四个redhat操作系统，下载路径：http://pan.baidu.com/share/link?shareid=3216417135&uk=2939827074&fid=917415041364300（快速方法:安装一个，克隆3个) rhel-server-6.3-x86_64-dvd.iso四个虚拟机网络互通设置 官网下载(hadoo
转载
2024-01-05 16:01:12
120阅读
mapReduce在Hadoop2.x中各部分简介：ResourceManager，RM ：管理集群上资源使用的资源管理器：Application Master ,AM ：管理集群上运行任务声明周期的应用管理器： 应用服务器MA和资源管理器RM协商集群的计算资源：容器（Container，每个容器都有
转载
2023-07-21 15:02:10
151阅读
Hadoop配置Docker安装docker$ yum install docker设置开机自启Docker$ systemctl enab
原创
2021-12-07 16:28:22
10000+阅读
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 1.0.准备 1.1.目录 用VMware创
转载
2018-02-07 14:42:00
55阅读
文 / vincentzh 这里写点 Hadoop2.6.0集群的安装和简单配置，一方面是为自己学习的过程做以记录，另一方面希望也能帮助到和LZ一样的Hadoop初学者，去搭建自己的学习和练习操作环境，后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来，LZ也是边学习边记录更新博客，路人如有问题欢迎提出来一起探讨解决，不足的地方希望路人多指教，共勉！ 目录环
转载
2023-12-05 17:26:33
68阅读
1、启动hadoop① 需要启动1、启动hdfs
sbin/start-dfs.sh
2、启动yarn
sbin/start-yarn.sh
3、启动日志（特别关键，可以很方便的从历史日志中查看你哪里出错，包括system.out.println打印的也可以呈现）
sbin/mr-jobhistory-daemon.sh start historyserver2、启动zookeeperbin/zk
转载
2023-08-29 15:55:12
171阅读
