数据脱敏函数hive有专门的脱敏函数供我们使用，就是mask()函数，返回值是string类型，默认需要脱敏的数据中大写字母就自动转换为X，小写字母就自动转换为x，数字就自动转换为n，也可通过mask()函数的参数来自定义转换格式。注意：入参也必须是string类型才不会有隐藏bugselect mask(要加密字段) from 表名 -- 输出默认脱敏后的
转载
2023-08-10 17:10:57
539阅读
目录一、简介二、SHA256过程详解1、公式2、常量及初始化3、消息预处理填充比特附加长度值4、计算消息摘要 消息拆分构造64个字（word）进行64次循环三、完整的代码实现 学习区块链，总是无法避开各种加密算法，因为各种加密算法在实现区块链当中的各个环节都有着不可替代的作用。这里介绍一下在比特币挖矿以及merkle树当中被大量使用的鼎鼎大名的SHA256算法。一、
转载
2023-10-30 15:09:23
60阅读
将数据库中关键敏感字段根据其安全需求分为不同级别，用对称加密算法对关键敏感字段分级别加密，其数据密钥采用椭圆曲线加密算法保护。该方案将对称加密算法、椭圆曲线公钥加密算法和单向函数有机结合，实现了用户使用权限和关键敏感字段的安全级别的关联。用该方案建立的加密数据库，不仅可以保证敏感数据的机密性和完整性，而且节省大量存储空间和支持分级别权限访问，保证了数据库的高效可用性。一、数据库加密方案新方案由系统
转载
2023-10-24 15:17:12
10阅读
摘要：传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。作者： 一枚核桃 。概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对
转载
2023-09-25 09:56:31
312阅读
最近在项目中用RSA给 数据库中某些字段加密解密，在测试 过程中 遇到几个问题 ，后来不断修改，特此记录。在项目中数据库用户表有些需要 加密的字段 身份证号 护照号 银行卡号一、刚开始打算在需要加密的字段 set方法里面加密，插入数据库，在get方法 返回解密后的字段 &
转载
2024-05-28 06:46:36
40阅读
hive对于敏感数据的加密还不够完善，现在开发一个udf函数，自己设置密钥（hive的加密函数等级比较低，也没有集成自己加密的密钥函数，所以自己开发一个），如果要加密一些数据则可以自己使用特定的密钥进行加密解密，这样很好的方便数据的加密下面将实现过程如下：1，写一个Java类专门进行加密算法，这个代码网上很多都写好了，可以直接抄一个过来，代码如下：package hive_udf;
import
转载
2023-09-08 14:56:52
116阅读
Hive 解锁操作之前使用Hive，出现过一种情况：在代码正在执行insert into或insert overwrite时，中途手动将程序停掉，会出现卡死情况，只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态，问同事有人遇到过，但是他的解决办法是……把表名换一个…… 后来废了九牛二虎之力，终于找到了一篇靠谱的博客，是说hive表被锁，需要解锁后，方可操作。
转载
2023-09-06 19:00:37
65阅读
# 实现 Hive AES 加密的完整指南
在大数据处理中，数据的安全性尤为重要，尤其是在处理敏感信息时。Hive 是一种用于大数据处理的工具，AES（高级加密标准）则是一种广泛使用的加密算法。本文将带领你逐步实现 Hive 中的 AES 加密，并提供详细的指导和代码示例。
## 流程概述
以下是实现 Hive AES 加密的主要步骤：
| 步骤 | 描述
# Hive MD 加密的实现指南
在现代数据处理的环境中，数据的安全性是至关重要的。Hive 作为一种数据仓库工具，常常被用来管理大数据，而 MD 加密则是保证数据安全的一种方法。本文将引导你如何在 Hive 中实现 MD 加密，确保你的数据安全不被泄露。
## 流程概述
为了实现 Hive MD 加密，您需要遵循以下步骤：
```mermaid
flowchart TD
A[开
目录一、安装JDK81）JDK下载地址2）设置环境变量二、Hadoop安装（window10环境）1）下载Hadoop3.1.32）Hadoop配置环境变量3）在hadoop解压目录下创建相关目录4）修改Hadoop配置文件1、core-site.xml文件：添加以下配置2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径3、mapred-site.xml文件：添加以下配置4、
# 实现Hive列加密
## 介绍
在Hive中实现列加密可以保护数据的安全性，为了帮助你学会如何实现Hive列加密，我将在下面的文章中介绍整个过程。
### 流程
首先，让我们看一下实现Hive列加密的流程：
```mermaid
erDiagram
确定加密算法 --> 生成密钥 --> 创建加密函数 --> 创建加密列 --> 加密数据
```
### 步骤及代码示例
1.
原创
2024-03-16 04:40:40
102阅读
# Hive金额加密：保护你的财务安全
在现代数字技术迅速发展的背景下，数据安全愈发重要，尤其是在金融领域。Hive，作为一种数据仓库软件，被广泛应用于大数据处理。然而，当涉及到敏感数据，例如金额时，我们必须考虑如何有效地进行加密，以确保数据的安全性和隐私性。
## 什么是Hive？
Hive是一个构建在Hadoop之上的数据仓库工具，其主要用于处理和分析大数据集。其能够将结构化的数据转化为
原创
2024-09-20 03:44:34
22阅读
linux配置1.第一种方式：rsa算法加密，非对称加密的方式基于私钥登陆的方式：（ssh连接时无需输入用户密码）
1.ssh-keygen -t rsa 然后四下回车
2./root/.ssh目录下：
私钥：id_rsa
公钥：id_rsa.pub
3.ssh-copy-id linux的IP
每个节点都需要拷贝秘钥然后分发给别的linux，执行命令后然后输入yes，然后最终
# Hive 存储加密
在大数据时代，随着数据安全的重要性日益突出，对数据存储的加密需求也越来越高。Hive作为一个基于Hadoop的数据仓库工具，也提供了对存储数据进行加密的功能。
## 什么是Hive
Hive是一个基于Hadoop的数据仓库工具，它提供了类SQL的查询语言HQL，可以将结构化的数据存储在Hadoop的分布式文件系统HDFS中，并利用MapReduce进行数据处理。Hiv
原创
2023-10-08 04:52:40
184阅读
HDFS加密存储，在可以看到很多的前辈整理的博客，但是按照所介绍的那样在我的环境并不能达到预期效果，将自己对hdfs加密的理解和实际操作做一个简单整理。 首先，hdfs的加密方式为AES加密，先对AES加密做一个简单了解。AES算法对称加密算法：AES加密算法下面简单介绍下各个部分的作用与意义：密钥K用来
Hive的安装配置以及运行wordcount一、MySQL安装卸载MySQL二、Hive安装与配置三、MySQL Connector/J安装四、启动hive五、Hive应用实例：wordcount学习资料 一、MySQL安装①官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.no
需求一些用户数据中包含诸如用户手机号等信息，直接暴露出来的话，是违法的。。。需要对数据进行脱敏，如果单纯的将手机号替换为***号，那么就意味着丢失用户的手机号数据了，因为无法再将***变回手机号。所以需要自定义UDF函数，实现敏感数据的加密解密。这里实现了两个UDF函数，一个用于加密，一个用于解密。使用Java自带的crypto模块实现AES加密。在代码中将两个UDF函数中的SecureRando
转载
2023-09-16 11:04:23
4阅读
一、加盐 在用户表的password字段中，为了防止数据库泄露后用户的密码被黑客获取，所以存储的不是用户的密码明文，而是把密码明文拼接一些随机很长的特殊字符串(slot盐值)，再进行md5加密，这种加密方式也加加盐。加盐是为了防止黑客得到数据库密码信息后把简单明文密码md5字符串进行彩虹表破解，从而反推出来你的明文密码。二、使用password_hash函数实现加盐 在不使用password_ha
转载
2024-03-01 15:26:38
116阅读
MD5是个单向加密算法，不可逆转。可通过彩虹碰撞法解密。。。A，利用JDK中的MD5算法public static String getMD5Str(String str) {
MessageDigest messageDigest = null;
try {
messageDigest = MessageDigest.getInstance("MD5");
转载
2023-12-28 11:24:57
95阅读
找到了这个题目最早出现的地方和原理解释：http://cvk.posthaven.com/sql-injection-with-raw-md5-hashes哎，都是8年前的题目了，感觉自己进展好慢。看解释原理也不复杂，就是MD5()函数中参数为true时，输出形式为原始二进制格式，如果，找到一个字符串MD5后得到的原始二进制格式在SQL中拼接成 类似 ‘or ‘1xxx的形式就可以绕过了.文章中作
