hadoop开启HTTPS

原创

mob64ca12dcc794 2024-02-24 08:01:08 ©著作权

文章标签 Hadoop HTTPS bash 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12dcc794的原创作品，请联系作者获取转载授权，否则将追究法律责任

教你如何在Hadoop中开启HTTPS

1. 整体流程

首先，让我们看一下整个过程的步骤：

pie
    title HTTPS配置步骤
    "生成证书" : 30%
    "配置SSL" : 30%
    "配置Hadoop" : 40%

2. 具体步骤

步骤一：生成证书

在操作系统上生成SSL证书，可以使用OpenSSL来生成。下面是生成证书的步骤：

生成私钥 key：

```bash
openssl genrsa -out server.key 2048


2. 生成证书请求 csr：

```markdown
```bash
openssl req -new -key server.key -out server.csr


3. 根据私钥和证书请求生成证书 crt：

```markdown
```bash
openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt


### 步骤二：配置SSL

将生成的证书文件放入Hadoop的配置文件夹，并进行配置。以下是具体的配置步骤：

1. 将生成的证书文件拷贝至Hadoop配置文件夹中，通常是`/etc/hadoop/ssl`。

2. 修改hdfs-site.xml文件，增加以下配置：

```xml
<property>
    <name>dfs.https.port</name>
    <value>50470</value>
</property>
<property>
    <name>dfs.https.key.password</name>
    <value>your_password</value>
</property>
<property>
    <name>dfs.https.keystore.location</name>
    <value>/etc/hadoop/ssl/server.keystore.jks</value>
</property>
<property>
    <name>dfs.https.keystore.password</name>
    <value>your_password</value>
</property>
<property>
    <name>dfs.https.keystore.name</name>
    <value>server.keystore.jks</value>
</property>

修改mapred-site.xml和yarn-site.xml文件，增加以下配置：

<property>
    <name>mapreduce.jobhistory.webapp.https.address</name>
    <value>0.0.0.0:19888</value>
</property>
<property>
    <name>yarn.http.policy</name>
    <value>HTTPS_ONLY</value>
</property>

步骤三：配置Hadoop

修改hadoop-env.sh文件，增加以下配置：

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"