一、hadoop的配置文件分类
1、只读类型的默认文件
core-default.xml hdfs-default.xml mapred-default.xml mapred-queues.xml
2、定位设置
core-site.xml hdfs-site.xml mapred-site.xml mapred-queues.xml
3、守护进程设置
hadoop-env.sh
二、守护进程配置表
守护进程(Daemoon) 配置选项(Configure Options) NameNode HADOOP_NAMENODE_OPTS DataNode HADOOP_DATANODE_OPTS SecondaryNameNode HADOOP_SECONDARYNAMENODE_OPTS JobTracker HADOOP_JOBTRACKER_OPTS TackTracker HADOOP_TASKTRACKER_OPTS
三、core-site hdfs-site mapred-site的配置
1、core-site.xml
参数(Parameter) 值(Value) fs.default.name NameNode的IP地址及端口
2、hdfs-site.xml
参数(Parameter) 值(Value) dfs.name.dir NameNode存储名字空间及汇报日志的位置 dfs.data.dir DataNode存储数据块的位置
3、mapred-site.xml
参数(Parameter) 值(Value) mapreduce.jobtracker.address JobTracker的IP地址及端口 mapreduce.jobtracker.system.dir MapReduce在HDFS上存储文件的位置 mapreduce.cluster.local.dir MapReduce的缓存数据存储在文件系统中的位置 mapred.tasktracker.{map|reduce}.tasks.maximum 每台TaskTracker所能运行的Map或Reduce的task最大数量 dfs.hosts/dfs.hosts.exclude 允许或禁止的DataNode列表 mapreduce.jobtracker.hosts.filename/
mapreduce.jobtracker.hosts.exclude.filename
允许或禁止的TaskTrackers列表 mapreduce.cluster.job-authorization-enabled 布尔类型,表示Job,存储控制列表是否支持对Job的观察和修改