业界流行的大数据权限管理框架Apache Sentry和Ranger。二者在功能上具有很高的相似性，但是在具体细节上上篇文章阐述的还不够细致。本文笔者来深入浅出地聊聊这两个框架，以及它们的少许异同点。熟悉掌握使用外部权限管理框架，并且将它们合理地应用于自身内部大数据组件系统内，无疑将会大大提高内部组件使用的安全性。

目录

  • 前言
  • Sentry和Ranger的概述
  • Sentry
  • Sentry的架构模型
  • Sentry与Hadoop生态圈组件的集成
  • Ranger
  • Ranger的架构模型
  • Ranger的策略配置
  • 对于用户的ACL控制
  • 表的行过滤及列处理
  • Ranger的Policy的灵活性
  • Ranger权限框架应用思考
  • 参考文档


前言

提到业界流行的大数据权限管理框架Apache Sentry和Ranger。二者在功能上具有很高的相似性，但是在具体细节上上篇文章阐述的还不够细致。本文笔者来深入浅出地聊聊这两个框架，以及它们的少许异同点。熟悉掌握使用外部权限管理框架，并且将它们合理地应用于自身内部大数据组件系统内，无疑将会大大提高内部组件使用的安全性。

Sentry和Ranger的概述

从最源头开始说起这2个项目，Sentry首先是由Cloudera公司内部开发而来的，初衷是为了让用户能够细粒度的控制Hadoop系统中的数据（这里主要指HDFS，Hive的数据）。所以Sentry对HDFS，Hive以及同样由Cloudera开发的Impala有着很好的支持性。

而Ranger则是由于另一家公司Hortonworks所主导。它同样是做细粒度的权限控制。但相比较于Sentry而言，它能支持更丰富的组件，包括于 HDFS, Hive, HBase, Yarn, Storm, Knox, Kafka, Solr and NiFi。

这两个框架在权限管理时都有运用到基于角色的访问控制原理（role-based access control，RBAC）。换句话说，当新来一个用户时，我们赋予它的是一个身份角色，然后这个用户的执行权限操作完全由统一的角色本身所允许的一些权限。基于角色的访问控制，能够大大减轻系统对于大数据量用户的直接ACL控制。

下面我们来细聊着两大组件的内容。

Sentry

Sentry的架构模型

上文提到过，Sentry在最初发展阶段只是对部分组件支持的比较好，没有像Ranger支持的那么多。

首先，我们来看Sentry的整体架构

rest主流框架 reason框架_Hive

DataEngine指的是具体的数据应用程序，这里指的是HDFS，Hive和Impala。
Plugin，Plugin程序负责和Sentry Server通信，做权限策略信息的同步。同时在Plugin程序中，包含了认证引擎模块，来做权限的验证操作。
Policy metadata，这里的matadata存储权限策略数据，对应的会需要一个外部存储db。

从另一个角度层面来看Sentry的内部结构

rest主流框架 reason框架_Hive_02

Sentry与Hadoop生态圈组件的集成

Sentry与Hive，HDFS，Impala等组件集成的较好， 结构图如下图所示：

rest主流框架 reason框架_HDFS_03

从上图中，我们注意到一个细节，在HDFS里面多了一个cache层，这个是用来干嘛的呢？其实为了保持HDFS的权限与HIve的一致，NameNode的Sentry Plugin程序会定期拉取Hive的Metadata信息以及Sentry Server上的权限信息，并cache起来。这可以说也是为了性能考虑了。

另外地在Sentry Sever中，它还有audit模块，记录了所有模块的请求访问记录。

Ranger

Ranger相比较于Sentry来说，它的功能可以说更加具有通用性。这里说的通用性在于以下两点：

  • 上层支持的应用组件更多
  • 对于控制的资源的类型更多
    第一点，前文已经提到过，第二点这里的资源就不仅仅只有文件和目录了这种了，它还可以有表，行以及列的访问控制。这些都是体现在Ranger的策略信息里面的。

Ranger的架构模型

以下是Ranger的架构模型，和Sentry有类似之处。

rest主流框架 reason框架_数据_04

对于具体的策略控制，由用户通过admin web ui页面进行配置。

Ranger的策略配置

对于用户的ACL控制

我们先来看最简单的，对于用户的访问控制，我们可以设置用户对于选定的路径有哪些权限，策略细节如下：

rest主流框架 reason框架_Hive_05

配置此策略信息后，系统会对这些用户做额外判断处理。

表的行过滤及列处理

Apache Ranger对Hive数据支持两种脱敏方式：行过滤Row Filter、列屏蔽Column Masking。它可对Select结果进行行列级别数据脱敏，从而达到对用户屏蔽敏感信息的目的。
注意:该功能只适用于HiveServer2使用场景(如Beeline/JDBC/Hue等途径执行的Select),对Hive Cli(如Hive -e)和直接读取Hive表的HDFS文件场景不适用。

  • 行过滤Row Filter

行过滤允许Ranger为用户指定Fliter表达式(实际上就是Where子句)。

Table: customer

+----+------------+-----------+--------------+---------------+----------------+
| id | name_first | name_last | addr_country | date_of_birth | phone_num      |
+----+------------+-----------+--------------+---------------+----------------+
|  1 | Mackenzy   | Smith     | US           | 1993-12-18    | 123-456-7890   |
|  2 | Sherlyn    | Miller    | US           | 1975-03-22    | 234-567-8901   |
|  3 | Khiana     | Wilson    | US           | 1989-08-14    | 345-678-9012   |
|  4 | Jack       | Thompson  | US           | 1962-10-28    | 456-789-0123   |
|  5 | Audrey     | Taylor    | UK           | 1985-01-11    | 12-3456-7890   |
|  6 | Ruford     | Walker    | UK           | 1976-05-19    | 23-4567-8901   |
|  7 | Marta      | Lloyd     | UK           | 1981-07-23    | 34-5678-9012   |
|  8 | Derick     | Schneider | DE           | 1982-04-17    | 12-345-67890   |
|  9 | Anna       | Richter   | DE           | 1995-09-07    | 23-456-78901   |
| 10 | Raina      | Graf      | DE           | 1999-02-06    | 34-567-89012   |
| 11 | Felix      | Lee       | CA           | 1982-04-17    | 321-654-0987   |
| 12 | Adam       | Brown     | CA           | 1995-09-07    | 432-765-1098   |
| 13 | Lucas      | Jones     | CA           | 1999-02-06    | 543-876-2109   |
| 14 | Yvonne     | Dupont    | FR           | 1982-04-17    | 01-23-45-67-89 |
| 15 | Pascal     | Fournier  | FR           | 1995-09-07    | 23-45-67-89-01 |
| 16 | Ariel      | Simon     | FR           | 1999-02-06    | 34-56-78-90-12 |
+----+------------+-----------+--------------+---------------+----------------+

假设此时我们执行以下查询语句，我们肯定能查到所有表数据的：

select * from cust.customer

如果此时我们加一个用户归属地的判断，每个用户只能查到它所属那个地域的数据。比如多了以下的用户关系：

+--------------+---------------+
| Group name   | Users         |
+--------------+---------------+
| us-employees | john,scott    |
| uk-employees | mary,adam     |
| de-employees | drew,alice    |
+--------------+---------------+

在Ranger的页面配置效果如下图所示：

rest主流框架 reason框架_Hive_06

然后我们以john用户身份去查，查出的记录所属地域就只会是US上的了，不会受全部的数据了。

[john@localhost ~]$ beeline -u jdbc:hive2://localhost.localdomain:10000/cust
0: jdbc:hive2://localhost.localdomain:10000> select * from cust.customer;
+-----+-------------+------------+---------------+----------------+--------------+
| id  | name_first  | name_last  | addr_country  | date_of_birth  | phone_num    |
+-----+-------------+------------+---------------+----------------+--------------+
| 1   | Mackenzy    | Smith      | US            | 1993-12-18     | 123-456-7890 |
| 2   | Sherlyn     | Miller     | US            | 1975-03-22     | 234-567-8901 |
| 3   | Khiana      | Wilson     | US            | 1989-08-14     | 345-678-9012 |
| 4   | Jack        | Thompson   | US            | 1962-10-28     | 456-789-0123 |
+-----+-------------+------------+---------------+----------------+--------------+
  • 列屏蔽Column Masking
    列屏蔽允许Ranger为用户配置列的mask策略。mask支持以下8种策略:
  • Redact策略 - 用x屏蔽所有字母字符，用n屏蔽所有数字字符。
  • Partial mask: show last 4 策略 - 仅显示最后四个字符,其他用x代替。
  • Partial mask: show first 4 策略- 仅显示前四个字符,其他用x代替。
  • Hash策略- 用值的哈希值替换原值。
  • Nullify策略 - 用NULL值替换原值。
  • Unmasked (retain original value)策略 - 原样显示。
  • Date: show only year策略 – 仅显示日期字符串的年份部分，并将月份和日期默认为01/01。
  • Custom策略 – 可使用任何有效Hive UDF(返回与被屏蔽的列中的数据类型相同的数据类型)来自定义策略。

对于列处理，Ranger支持对部分敏感字段实施遮掩处理，比如下面是对电话号码的处理

+-----+-------------+------------+---------------+----------------+--------------+
| id  | name_first  | name_last  | addr_country  | date_of_birth  | phone_num    |
+-----+-------------+------------+---------------+----------------+--------------+
| 1   | Mackenzy    | NULL       | US            | 1993-01-01     | xxx-xxx-7890 |
| 2   | Sherlyn     | NULL       | US            | 1975-01-01     | xxx-xxx-8901 |
| 3   | Khiana      | NULL       | US            | 1989-01-01     | xxx-xxx-9012 |
+-----+-------------+------------+---------------+----------------+--------------+

Ranger的Policy的灵活性

通过的Policy策略还有许多灵活的特性，包括它还能支持基于Tag的策略控制，有了Tag后，就无需考虑组件的差别了。另外还有condition的条件的添加控制，这些也都是由管理员用户人工控制的。

同样的，Ranger Plugin程序会拉取策略数据在本地，如果说Ranger admin server临时不可用了，也不会影响策略实际的执行认证。

以上就是本文的全部内容了，两个框架非常类似，真要说区别的话，Sentry在于它对于Hive等相关组件支持集成的比较好（也和这个项目本身发展初期设计决定），而Ranger在于它更通用化的支持和更加丰富的策略控制。

Ranger权限框架应用思考

ranger的权限管理目前还是一个底层的技术产品，用户想配置一个表的读权限还需要手动在配置对应的hdfs权限，并不能自动的实现配置完hive后同时拥有文件的读权限，在平台运营管理功能上还是有一些欠缺，对于一些较大企业还需要自己开发一套权限管理的工具，同时这些工具也给了企业级平台厂商带来了商机，希望能看到市场出现面向企业用户的方案。

ranger rest api文档可以参考，用于上层应用建设
https://ranger.apache.org/apidocs/index.html

参考文档

[1].https://cwiki.apache.org/confluence/display/RANGER/Row-level+filtering+and+column-masking+using+Apache+Ranger+policies+in+Apache+Hive?preview=/65868896/65868900/rowFilter-usecase-1.jpg [2].https://www.linkedin.com/pulse/apache-ranger-vs-sentry-mythily-rajavelu/ [3].https://cwiki.apache.org/confluence/display/SENTRY/Sentry+Tutorial

理可顿悟，事须渐修