学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法：要么找多台机器来部署(常常找不到机器)或者在本地开多个虚拟机(开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……)。那么，问题来了！有没有更有可行性的办法？提到虚拟化，Docker最近很是火热！不妨拿来在本地做虚拟化，搭建Hadoop的伪分布式集群环境。虽然有点大材小用，但是学习学习，练练手也是
转载
2024-04-10 15:42:51
63阅读
使用docker进行部署hadoop安装dockerwget -qO- https://get.docker.com/ | sh安装完成后，要启动docker服务sudo service docker start查看是否运行成功ps -aux | grep docker也可以看看docker里面有什么sudo docker ps预处理，为安装hadoop做必要准备DNS解析域名虽然更易被用户所接受
转载
2023-08-22 11:36:42
82阅读
1 通过yum的方式安装docker环境：VM+Centos7##安装docker
yum -y install docker
##启动docker
systemctl start docker
##设置docker服务开机启动
systemctl enable docker2 使用docker拉取centos进行## 查询centos镜像列表 --选择starts最多的版本拉取（该版本为官方
转载
2023-12-14 14:10:48
87阅读
启动hadoop： source /etc/profile //使JAVA_HOME，HADOOP_HOME，PATH起作用 ssh localhost //伪分布式连接 cd /opt/hadoop-1.2.1 //进入hadoop目录 bin/hadoop namenode -format //格式化HDFS(仅首次启动需要) bin/start-all.sh //启动hadoop常
转载
2023-05-30 11:42:37
464阅读
一、软件下载Hadoop-2.7.2稳定版 下载地址jdk1.8 下载地址FileZila(传文件到linux虚拟机里面) 下载地址SecureCrt(linux模拟终端) 下载地址二、环境配置1.解压刚才下载的文件 命令分别为（在/home/app目录下）tar -xvf Hadoop-2.7.2tar -xvf jdk1.82.jdk环境配置sudo vi /etc/profile;expo
转载
2023-07-20 17:36:00
187阅读
hadoop学习linux命令mkdir rmdircpmvrm查看文档内容新建文件找文件brew和tree的安装方法findlocategrep 匹配字符串启动hadoop linux命令可以用man查看命令的详细用法mkdir rmdircd ~/desktopmkdir ./testmkdir(rmdir)路径必须要一个一个的加，否则会出错mac@kkkMac desktop % mkdi
转载
2023-07-19 13:21:25
84阅读
1、登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），在HDFS中创建用户目录“/user/hadoop”命令： hadoop fs -mkdir /user/hadoop/2、接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表命令： hadoop fs -mkdir /user/hado
转载
2023-05-30 13:27:38
510阅读
1)Hadoop的启动(先启动zookeeper) 3台都得启动 zookeeper /export/servers/zookeeper-3.4.9/bin/zkServer.sh start /export
转载
2019-10-10 16:02:00
118阅读
进入 Hadoop目录 cd /usr/local/hadoop 再输入./sbin/start-dfs.sh 也可以修改环境配置后直接输入启动命令，而不用进入相应文件夹可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls
转载
2023-06-20 16:26:40
371阅读
1、首先开启ssh服务：ssh localhost 2、然后到hadoop安装目录下的bin目录下： ./hdfs namenode -format3、到hadoop安装目录下的sbin目录下：./start-all.sh
转载
2023-05-30 11:42:31
136阅读
一、安装&启动安装下载hadoop2.7.22.7.2-官方文档安装ssh## 检查是否有ssh
## 若返回结果有openssh-clients、openssh-server说明安装
rpm -qa | grep ssh
## 检查ssh是否可用ssh localhost启动查看hadoop版本./bin/hadoop version运行一个例子$ mkdir input
$ cp et
转载
2023-05-29 10:10:12
169阅读
# Docker启动Hadoop
## 介绍
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。Hadoop的安装和配置可以比较繁琐，而使用Docker可以简化这个过程。Docker是一个开源的容器化平台，可以将应用程序及其依赖项打包为一个独立的容器，方便部署和管理。本篇文章将介绍如何使用Docker启动Hadoop集群，并提供相应的代码示例。
## 准备工作
原创
2023-10-30 10:10:20
119阅读
一. Hadoop的启动 1. 启动方式要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。注意：首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。使用命令：hdfs namenode -format 或者 hadoop namenode -format关于hdfs的格式化：首次启动需要进行格式化格式化本质是
转载
2023-07-10 11:56:36
117阅读
1、启动前先将主节点下hadoop-2.2.0/hdfs/下，清空，然后新建name文件夹2、将从节点下hadoop-2.2.0/hdfs/下，清空，然后新建data文件夹3、hadoop-2.2.0/下，文件系统格式化，bin/hadoop namenode -format4、启动hdfs与yarn: 进入目录sbin下，./start-dfs.sh(可进入50070端口查看)，./start-
转载
2023-06-15 21:11:58
233阅读
1、hadoop dfsadmin -report 查看系统运行报告；2、jps 查看启动了那些Hadoop服务；3、hadoop job -list 列出当前作业4、hadoop fs -mkdir /test 在HDFS上创建/test目录5、hadoop jar hadoop-examples-1.0.0.jar wordcount /input /output &
转载
2023-05-18 10:58:00
148阅读
目录一、安装docker1. 下载离线包2. 解压3. 将解压后的文件夹复制到 /usr/local 目录4. 将docker注册为系统service5. 启动docker服务6. 查看docker运行状态7. 设置开机启动8. 拉取docker镜像（Ubuntu系统）9. 创建并运行一个容器二、docker部署hadoop1. 下载hadoop软件包2.将软件包拷贝到docker容器内部3.进入
转载
2023-10-27 16:31:00
198阅读
003-hadoop二次开发-NameNode启动流程main函数 main函数一旦调用org.apache.hadoop.hdfs.server.namenode.NameNode，那么在该类下一定有个main函数。 启动NameNode需要提交参数，首先对参数要进行合法校验，if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.
转载
2023-09-20 10:53:59
167阅读
start-all.sh
关闭HADOOP
stop-all.sh
查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
hadoop fs -ls /user/admin/aaron
列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
hadoop fs -lsr /user/admin/aaron
创建文件目录
hadoop fs
转载
2024-08-02 11:00:07
49阅读
目录创建目录查看目录下内容，包括文件名，权限，所有者，大小和修改时间将本地文件或目录上传到HDFS中的路径从本地复制文件到hdfs文件系统（与-put命令相似）将文件或目录从HDFS中的路径拷贝到本地文件路径复制hdfs文件系统中的文件到本地 （与-get命令相似）显示文件内容到标准输出上。从hdfs上过滤包含某个字符的行内容在HDFS文件系统中，将文件或目录从HDFS的源路径移动到目标路径。不
转载
2023-06-17 20:59:52
182阅读
创建NameNode的入口为NameNode.main(String[] argv)，主要的创建工作在方法NameNode.createNameNode(String[] argv, Configuration conf)中，分析如下：
一.【parseArguments(argv)】：解析启动NameNode命令传来的参数，启动参数有：“-forma
转载
2023-07-20 17:35:52
191阅读
