hadoop内存超限 hadoop 内存计算

1.1 NameNode内存生产配置

1）NameNode内存计算

每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？

128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿
G     MB      KB    Byte

2）Hadoop2.x系列，配置NameNode内存

NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在hadoop-env.sh 文件中配置如下。
HADOOP_NAMENODE_OPTS=-Xmx3072m

3）Hadoop3.系列，配置NameNode内存

（1）hadoop-env.sh中描述Hadoop的内存是动态分配的

#下面这段话的意思是：如果没有进行配置，就自动按照用户的服务器内存配置进行复制
# The maximum amount of heap to use (Java -Xmx).  If no unit 
# is provided, it will be converted to MB.  Daemons will
# prefer any Xmx setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MAX=

#下面这段话的意思是：如果没有进行配置，就自动按照用户的服务器内存配置进行复制
# The minimum amount of heap to use (Java -Xms).  If no unit
# is provided, it will be converted to MB.  Daemons will
# prefer any Xms setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MIN=

（2）查看 NameNode 占用内存

a）查看进程号

[pcz@hadoop1 hadoop]$ jps
3155 DataNode
3478 NodeManager
3910 Jps
3655 JobHistoryServer
3023 NameNode

b) 查看内存占用情况

[pcz@hadoop1 hadoop]$ jmap -heap 3023

（3）查看 DataNode 占用内存

[pcz@hadoop1 hadoop]$ jmap -heap 3155

查看发现 hadoop1 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。不是很合理。
经验参考：
https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_hardware_requirements.html#concept_fzz_dq4_gbb

4）修改配置 hadoop-env.sh

a) 添加如下代码到 hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

b) 分发修改后的配置文件

pcz@hadoop1 hadoop]$ xsync hadoop-env.sh

c) 重启集群,查看是否修改成功

修改成功！

1.2 NameNode心跳并发机制

1）hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not 
configured then Namenode RPC server threads listen to requests from all nodes.NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是 10。
<property>
 <name>dfs.namenode.handler.count</name>
 <value>21</value>
</property>

企业经验：

c𝑙𝑢𝑠𝑡𝑒𝑟 𝑆𝑖𝑧e：节点个数。比如集群规模（DataNode 台数）为 3 台时，此参数设置为 21。可通过简单的 python 代码计算该值，代码如下。

[pcz@hadoop1 hadoop]$ sudo yum install -y python
[pcz@hadoop1 hadoop]$ python
Python 2.7.5 (default, Aug  7 2019, 00:51:29) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(3))
21
>>> quit()

1.3 开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

1）回收站工作机制

把被删除的文件放入回收站(/user/pcz/.Trash/….)，回收站会在指定的时间内保存文件，过了指定时间将自动清空该文件。

2）开启回收站功能参数说明

（1）默认值 fs.trash.interval = 0，0 表示禁用回收站；其他值表示设置文件的存活时间。
（2）默认值 fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为 0，则该值设置和 fs.trash.interval 的参数值相等。
（3）要求 fs.trash.checkpoint.interval<=fs.trash.interval

3）启用回收站

修改 core-site.xml，配置垃圾回收时间为 10080 分钟（7天）。

<property>
 <name>fs.trash.interval</name>
 <value>10080</value>
</property>

4）查看回收站

回收站目录在 HDFS 集群中的路径：/user/pcz/.Trash/….

5）注意：通过网页上直接删除的文件也不会走回收站。

6）通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

7）只有在命令行利用 hadoop fs -rm 命令删除的文件才会走回收站。
例如：

[pcz@hadoop1 opt]$ hadoop fs -rm /a.txt
2021-12-31 21:18:30,931 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop1:8020/a.txt' to trash at: hdfs://hadoop1:8020/user/pcz/.Trash/Current/a.txt

8）恢复回收站数据

[pcz@hadoop1 opt]$ hadoop fs -mv /user/pcz/.Trash/Current/a.txt /