hive数据被删了怎么查看谁删的

原创

mob649e81673fa5 2023-11-07 15:31:55 ©著作权

文章标签 Hive 日志记录数据 文章分类 Hive 大数据

©著作权归作者所有：来自51CTO博客作者mob649e81673fa5的原创作品，请联系作者获取转载授权，否则将追究法律责任

项目方案：Hive 数据被删了怎么查看谁删的

背景

在 Hive 数据仓库中，数据被意外删除或篡改可能会导致数据的丢失或数据不一致性，因此需要一种有效的方法来追踪和查看谁删除或修改了数据。

目标

我们的目标是建立一个系统，可以追踪 Hive 数据库的操作日志，并提供一种方式来查看并确定谁删除或修改了数据。

方案

我们可以使用 Hive 的日志记录功能和一些监控工具来实现这个目标。下面是一个详细的方案：

Hive 日志记录设置：在 Hive 中启用日志记录功能，以记录所有的操作日志。可以通过以下方式启用：
```
SET hive.querylog.enable=true;
SET hive.querylog.location=/path/to/query/logs;
```
这将启用 Hive 的查询日志记录，并将日志保存在指定的路径下。
监控 Hive 日志：使用监控工具（例如 Apache Ambari、Cloudera Manager 或自定义监控脚本）定期检查 Hive 的日志文件，以查看是否有删除或修改操作的记录。
- 配置监控工具以定期扫描指定的 Hive 日志目录。
- 使用适当的正则表达式或关键字过滤器来匹配删除或修改操作的日志记录。例如，可以使用以下关键字来匹配删除操作：
```
DELETE|DROP
```
- 当监控工具检测到删除或修改操作的日志记录时，它可以将相关信息发送到指定的报警渠道（例如电子邮件或消息服务），以通知相关人员。
查询日志分析：一旦监控工具检测到删除或修改操作的日志记录，我们可以通过分析查询日志来确定是谁进行了这些操作。
- 使用 Hive 的日志查询功能来搜索和分析查询日志文件。可以使用以下语句来查询指定时间范围内的日志：
```
SELECT * FROM log_table
WHERE timestamp >= '2022-01-01 00:00:00'
AND timestamp <= '2022-01-02 00:00:00'
AND query LIKE '%DELETE%';
```
- 将查询结果导出到其他工具（例如 Excel 或数据库）以进行更详细的分析和筛选。
权限审计：为了更准确地确定是谁删除或修改了数据，我们还可以结合 Hive 的权限管理功能来进行权限审计。
- 使用 Hive 的权限管理功能为每个用户或角色分配独立的权限。
- 使用 Hive 的授权日志功能来记录用户或角色的权限变更。
- 当监控工具检测到删除或修改操作的日志记录时，可以分析权限变更日志来确定是哪个用户或角色具有删除或修改数据的权限。

流程图

journey
    title 追踪 Hive 数据删除或修改操作的流程

    section 启用日志记录
        Note over 开发人员: 在 Hive 中启用查询日志记录功能
    end

    section 监控日志文件
        Note over 监控工具: 配置监控工具定期扫描 Hive 日志目录
    end

    section 查询日志分析
        Note over 监控工具: 分析查询日志并筛选出删除或修改操作的记录
    end

    section 权限审计
        Note over 监控工具: 分析授权日志来确定删除或修改操作的用户或角色
    end