Hadoop Hdfs 配置(一)
环境:
先决条件
安装
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
配置
<name>fs.default.name</name>
<value>hdfs://ws:54310</value> //你的namenode的配置,机器名加端口
</property>
<name>dfs.name.dir</name>
<value>/data/hdfs/hdfs1</value> //NameNode持久存储名字空间及事务日志的本地文件系统路径。
</property>
<property>
<name>dfs.data.dir</name> //DataNode存放块数据的本地文件系统路径,逗号分割的列表。
<value>/data/hdfs/hdfsdata1</value>
</property>
<name>hadoop.tmp.dir</name>>//Hadoop的默认临时路径,这个最好配置,然后在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令了。
<value>/data/hdfs/hdfstmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>dfs.replication</name> //数据需要备份的数量,默认是三
<value>1</value>
</property>
<name>mapred.job.tracker</name> //JobTracker的主机(或者IP)和端口。
<value>ws:54311</value>
</property>
192.168.1.12 data-dfs
192.168.1.13 client-dfs
scp -rp /data/soft/hadoop-2.20.1 192.168.1.13:/data/soft
* stop-all.sh 停止所有的Hadoop
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode
* stop-dfs.sh 停止DFS守护
同样,如果要停止hadoop,则
[master@hadoop]$bin/stop-all.sh
在HDFS中建立一个名为testdir的目录
复制文件
[master@hadoop]$bin/hadoop dfs -put /home/dbrg/large.zip testfile.zip
把本地文件large.zip拷贝到HDFS的根目录/user/dbrg/下,文件名为testfile.zip
查看现有文件
[master@hadoop]$bin/hadoop dfs -ls
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode