1.下线一个datanode节点找到namenode节点配置文件/etc/hadoop/conf/hdfssite.xml文件如下选项：<property<namedfs.hosts.exclude</name<value/etc/hadoop/conf/hostsexclude</value</property修改hostsexclude文件在hostsexclude中添加需要下线的datano
1.hdfs性能调优1.1hdfssite.xmldfs.replication此参数用来设置文件副本数，通常设为3，不推荐修改。这个参数可用来保障HDFS数据安全，副本数越多，越浪费磁盘存储空间，但数据安全性越高。dfs.block.size此参数用来设置HDFS中数据块的大小，默认为128M，所以，存储到HDFS的数据最好都大于128M或者是128的整数倍，这是最理想的情况，对于数据量较大的集
1.yarn内存和性能调优(1)Resourcemanager堆内存大小，通过hadoop的yarnenv.sh中添加以下内容实现：exportYARN_RESOURCEMANAGER_HEAPSIZE=8192exportYARN_RESOURCEMANAGER_OPTS="serverXms\{YARN_RESOURCEMANAGER_HEAPSIZE}mXmx\{YARN_RESOURCEM
redis安装部署：https://redis.io/downloadyuminstall-ywgetgccgcc-c++maketaropensslopenssl-develcmakecd/usr/local/srcwget'http://download.redis.io/releases/redis-4.0.9.tar.gz'tar-zxfredis-4.0.9.tar.gz
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
