hive集成ranger cdp hive集成kerberos

目录

安装

• 下载安装包

• 解压presto-server包
• 创建etc目录
• 在etc目录创建需要配置文件

• 1. 创建config.propertie
• 2. 创建jvm.config
• 3. 创建log.properties
• 4. 创建node.properties

• 在etc目录下创建catlog目录
• 在catalog目录下配置数据源

• 1. 配置mysql数据源
• 2. 配置hive数据源（没权限）

• 客户端配置
• 测试
• 集成kerberos

• 生成persto主体的princal
• 集成Kerberos环境Hive
• 测试

 

---

安装

下载安装包

presto官网：https://prestodb.io/

• presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz
• presto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.248-executable.jar
• JDBC DRIVER 下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-jdbc/0.248/presto-jdbc-0.248.jar

解压presto-server包

tar -zxvf presto-server-0.248.tar.gz

 

文件目录结构如下

drwxr-xr-x 3 root root 4096 Mar 29 10:29 bin

drwxrwxr-x 2 root root 12288 Mar 29 09:54 lib

-rw-r--r-- 1 root root 191539 Mar 5 02:48 NOTICE

drwxrwxr-x 33 root root 4096 Mar 29 09:54 plugin

-rw-r--r-- 1 root root 126 Mar 5 02:48 README.txt

 

创建etc目录

mkdir etc

 

结构如下：

drwxr-xr-x 3 root root 4096 Mar 29 10:29 bin

drwxrwxr-x 3 root root 4096 Mar 29 15:08 etc

drwxrwxr-x 2 root root 12288 Mar 29 09:54 lib

-rw-r--r-- 1 root root 191539 Mar 5 02:48 NOTICE

drwxrwxr-x 33 root root 4096 Mar 29 09:54 plugin

-rw-r--r-- 1 root root 126 Mar 5 02:48 README.txt

 

在etc目录创建需要配置文件

1. 创建config.propertie

touch config.properties

 

内容如下：

# 指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管>理每个查询的执行过程)

coordinator=true

# 是否允许在coordinator服务中进行调度工作,

node-scheduler.include-coordinator=true

http-server.http.port=8080

query.max-memory=100MB

query.max-memory-per-node=100MB

query.max-total-memory-per-node=100MB

discovery-server.enabled=true

discovery.uri=http://test:8080

# 如果节点是worker 则是以下配置

coordinator=false

http-server.http.port=8080

query.max-memory=50GB

query.max-memory-per-node=1GB

query.max-total-memory-per-node=2GB

discovery.uri=http://example.net:8080

 

2. 创建jvm.config

touch jvm.config

 

内容如下：

-server

-Xmx500M

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+UseGCOverheadLimit

-XX:+ExplicitGCInvokesConcurrent

-XX:+HeapDumpOnOutOfMemoryError

-Djava.security.krb5.conf=/etc/krb5.conf

 

注意：如果集群没有集成kerberos，配置最后一行需要去掉。

3. 创建log.properties

配置日志级别

touch log.properties

 

内容如下：

com.facebook.presto=INFO

 

4. 创建node.properties

touch node.properties

 

内容如下：

# 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称 node.environment=production

# 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的

node.id=test1028

#该路径要自己创建 随意的目录

node.data-dir=/var/presto/data

 

在etc目录下创建catlog目录

mkdir catalog

 

在catalog目录下配置数据源

1. 配置mysql数据源

touch mysql.properties

 

内容如下：

connector.name=mysql

connection-url=jdbc:mysql://test:3306

connection-user=root

connection-password=root

 

2. 配置hive数据源（没权限）

touch hive.properties

 

内容如下:

# name后面为固定写法

connector.name=hive-hadoop2

# 需要启动hive metastore服务

hive.metastore.uri=thrift://test:9083

# hadoop集群的配置文件目录

hive.config.resources=${HADOOP_HOME}/etc/hadoop/core-site.xml,${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

 

客户端配置

将客户端放到 ${PRESTO_HOME}/bin 下：

mv presto-cli-0.248-executable.jar ${PRESTO_HOME}/bin

 

修改名称为 presto ,并赋予执行权限

 

chmod +x

 

mv presto-cli-0.248-executable.jar presto

# 赋权执行权限

 

chmod +x presto

测试

--启动服务

bin/launcher run

--启动客户端

./presto --server hadoop001:8080 --catalog myslq

 

集成kerberos

生成persto主体的princal

kadmin.local -q "addprinc -randkey presto/[e-mail]"

kadmin.local -q "xst -norandkey -k presto.keytab presto/[e-mail]"

 

集成Kerberos环境Hive

1. 修改hive.properties

connector.name=hive-hadoop2

#需要启动hive metastore服务

hive.metastore.uri=thrift://test:9083

#配置Presto访问HiveMetastore服务的Kerberos信息，该段配置可以只存在Presto的Coordinator节点

hive.metastore.authentication.type=KERBEROS hive.metastore.service.principal=hive/[e-mail] hive.metastore.client.principal=presto/[e-mail] hive.metastore.client.keytab=/etc/presto.keytab

#配置Presto访问HDFS的Kerberos信息，改段配置可以只存在Presto的Worker节点 hive.hdfs.authentication.type=KERBEROS

hive.hdfs.impersonation.enabled=true

hive.hdfs.presto.principal=presto/[e-mail] hive.hdfs.presto.keytab=/root/presto.keytab

# hadoop集群的配置文件目录

hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

 

在hive.properties配置文件中增加访问HiveMetastore和HDFS的Kerberos认证信息，将如上配置同步至Presto集群所有节点的${PRESTO_HOME}/etc/catalog/hive.properties文件中。

注意：在配置hive.metastore.url时，需要使用HiveMetastore服务的HOSTNAME，否则在使用Kerberos访问HiveMetastore时会报找不到Kerberos账号的错误。

2. 修改jvm.conf

 

server

-Xmx500M

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+UseGCOverheadLimit

-XX:+ExplicitGCInvokesConcurrent

-XX:+HeapDumpOnOutOfMemoryError

-Djava.security.krb5.conf=/etc/krb5.conf

 

注意：最后一行

3. 配置HDFS

修改core-site.xml

<property>

<name>hadoop.proxyuser.presto.hosts</name>

<value>*</value>

</property> <property>

<name>hadoop.proxyuser.presto.groups</name>

<value>*</value>

</property>

 

4. 重启HDFS 和 presto

./bin/launcher restart

 

测试

presto --server http://test:8080 --catalog hive --schema default

 

测试命令1：

show schemas;

 

内容如下：

测试命令2:

select * from sdlg_deviceday_transform;

 

结果如下：

测试成功！