- Hadoop安装教程_单机/伪分布式配置(厦门大学·数据库实验室) http://dblab.xmu.edu.cn/blog/install-hadoop/
- Hadoop集群安装教程(厦门大学·数据库实验室) http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
- 将mac系统的文件传输与virtual box 相关联 可以进行文件的互相交互 方法一:可以参考一下我的另一篇文章 方法二:在mac终端上输入 scp(文件路径)hadoop@hadoop01(虚拟机的名称):~(~是/home/hadoop)
- 拒绝链接 下图为拒绝连接的一种案例 输入代码jps,查看Namenoda是否成功开启,若未出现Namenode的进程则进行以下代码
cd
cd /usr/local/hadoop
./sbin/start-dfs.sh
在进行查看重新输入jps查看Namenode是否启用成功
5. 查看文件—文件的位置(本地与hdfs文件夹的区别)
-touchz是创建一个文件夹,但是内容为空,所以图示中读取的内容为空;vim进行编辑的是hdfs中的文件夹,vim只能编辑本地文件。
----------------------------HDFS文件在线编辑的实现思路--------------------------------
1.上传文件
hdfs dfs -put
2.在文件中追加
hdfs dfs -appendToFile
3.强制更新
hdfs dfs -put -f
首先上传一个文件到HDFS上:hdfs dfs -put test1File /hadoop/test1File 然后在这个文件夹内进行增添内容:hdfs dfs -appendToFile test2File /hadoop/test1File 最后重置hdfs上的内容:hdfs dfs -put -f test1File /hadoop/test1File 命令的统一格式为:hdfs dfs -put -f <修改过的文件> <已存在的文件>
Ps特殊提示: 1.搭建集群前要确保三台虚拟机配置完成,并且能相互相互相互ping通!!! 比如 /etc/hosts /etc/hostname /etc/network/interfaces文件内容改怎么改 2.结合教程搭建的时候注意master slave节点分配,hadoop01作为Master,hadoop02,hadoop03作为slave 教程中所有涉及到Master的配置都要改成hadoop01 3.确保三台机器的所有配置保持一致!!!不一致就会出错 4.从分布式切换到伪分布式时,不要忘记修改 slaves 配置文件 5.在两者之间切换时,若遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hdfs namenode -format,再次启动试试。