1.Hive是什么1.1 Hive概念 Hive是由FaceBook开源，主要用于解决海量结构化日志的数据统计。它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能，本质上是将HSQL转化成MR程序。1.2 Hive与数据库区别对于数据操作来说，Hive不支持数据更新删除主要原因是Hive在HDFS中存储，进行删除是物理删除，代价比较高，所以只支持
转载
2023-07-14 19:49:31
48阅读
hm3hive创建orc格式表不能像textfile格式一样直接load数据到表中，一般需要创建临时textfile表，然后通过insert into 或者insert overwrite到orc存储格式表中。临时表create table if not exists hm3.hm3_format_log_tmp(time string,source string,remote_...
原创
2021-07-12 14:25:32
530阅读
hm3hive创建orc格式表不能像textfile格式一样直接load数据到表中，一般需要创建临时textfile表，然后通过insert into 或者insert overwrite到orc存储格式表中。临时表create table if not exists hm3.hm3_format_log_tmp(time string,source string,remote_...
原创
2021-07-12 14:25:34
463阅读
目录1.查看数据库2.进入数据库3.查看表4.删除表5.删除数据库6.创建数据库7.创建分区表8.加载数据9.查询表所有10.查看表结构11.启动MySQL：12.创建表：13.查看MySQL启动状态14.添加分区15.复制表结构16.查看非当前使用的数据库有哪些表17.查看数据库中以xxx开头的表18.查看分区信息19.查看表的详细建表语句20.修改表名21.DQL顺序22.展示数据库 fm_d
转载
2023-05-22 11:43:31
36阅读
什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统。专注于实时处理的异步任务队列。同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组
转载
2020-01-31 21:14:00
86阅读
2评论
细节：sql 中有涉及到正则匹配函数的，要注意转义符号 因为在不同语言下正则匹配规则是否需要加转义符号是不同的，举例，regexp_replace 函数，在hive sql的正则匹配规则的 \d+ 需要前面给它加上转义符号\，而在java中可能不用，在Presto sql 就是不用加转义符号\的。
原创
2023-03-05 09:28:31
303阅读
字符数组转换成字符串： 构造String时转换 String s = new String(char[]) String类中方法 String.ValueOf(char[]) StringBuffer 字符串转换成整型：Integer.parseInt() 链式编程 stringBuffer.app ...
转载
2021-09-13 22:50:00
88阅读
2评论
1 Hive简介1.1 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive处理的数据存储在HDFSHive分析数据底层的实现是计算引擎，MapReduce、Spark、Tez等执行程序运行在Yarn上1.2 为什么使用Hive操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce、Spark等J
转载
2023-08-10 12:56:15
26阅读
一 L2TP VPN1.L2TP是一种典型的Access VPN技术，属于二层VPN，具备点到网的特性，特别适合单个或少数用户接入企业的情况，组织的小型远程办公室和出差人员可以花费较少的本地接入费用接入其组织中心，但不提供加密特性，在网上容易遭到窃听和篡改。由于L2TP隧道由ppp触发，承载PPP帧，因而适应性强，可以支持任意网络层协议。L2TP中的控制消息使用AVP（属性值对）是隧道两端的LAC
原创
2016-06-19 20:03:06
1817阅读
常用的命令： man config 查看linux里面所有命令的详细描述 man pwd 按回车是一行一行的走，按空格是一页一页的走，按q键是退出的意思 mkdir test 创建文件夹pwd 显示当前路径 dhclient eth0 自动获取ip 如果在使用dhclient 命令半天没有获取到ip
转载
2019-08-22 09:03:00
89阅读
2评论
x
原创
2022-11-14 18:18:34
80阅读
创建角色create role role_name;例子：create role abc_read_role;删除角色drop role role_name;例子：drop role abc_read_role;显示所有角色show roles;把整个库授权给某一个角色查询权限(给所有权限，把select 替换成all)grant select on database dbname_db to r
原创
2022-10-29 21:51:40
402阅读
# Hive 常用的加密方式
Apache Hive 是一个用于数据仓库和大数据处理的开源工具，它可以用来分析存储在 Hadoop 上的大规模数据集。随着数据安全性问题日益突出，加密技术逐渐成为 Hive 用户关注的焦点。本文将介绍 Hive 中的一些常用加密方式，包括列级加密和表级加密，最后提供相关的代码示例，以帮助您了解如何在 Hive 中实现数据加密。
## 加密方式概述
在 Hive
前言 上一篇文章《Hive查询的18种方式，你都学会了吗?》为大家系统地介绍了Hive查询的18种方式，受到了一些朋友的好评，让笔者备受鼓舞。于是本篇文章，我们再来学习关于Hive常用的函数，希望读者朋友们能够从中受益！ Hive内部支持大量的函数，可以通过 SHOW FUNCTIONS 查看Hive的内置函数。灵
原创
2022-01-24 15:48:19
320阅读
前言 上一篇文章《Hive查询的18种方式，你都学会了吗?》为大家系统地介绍了Hive查询的18种方式，受到了一些朋友的好评，让笔者备受鼓舞。于是本篇文章，我们再来学习关于Hive常用的函数，希望读者朋友们能够从中受益！ Hive内部支持大量的函数，可以通过 SHOW FUNCTIONS 查看Hive的内置函数。灵
原创
2021-06-01 14:37:03
219阅读
大数据平台hive 系列
原创
2018-04-12 10:18:42
10000+阅读
点赞
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内
原创
2024-04-17 09:56:20
53阅读
文章目录1. hive 基本操作1.1 hive是什么？1.2 hive的用途？1.3 hive的使用方式1.4 HIVE的DDL语法1.4.1 建库1.4.2 建内部表1.4.3 建外部表内部表和外部表的区别1.4.4 导入数据1.4.4.1从本地或者从hdfs目录导入数据1.4.4.2 从别的表插叙数据后插入到一张新建表中1.4.5 建分区表1.4.6 插入数据到指定分区1.4.7 导出数据
转载
2023-09-20 06:07:15
71阅读
hive为何要修改数据库: deby只支持一个SESSION会话，如果hive使用默认的deby，那么在linux客户端开启第二个Hive命令行的时候，会报错, 而mysql是支持多会话的数据库。 hive对应的列为何不规定长度: 不确定这些字段的长度, 而且最终存储在hdfs文件中(联想与txt)txt中也没法规定一个间隔列到底要固定存放多宽的举例。...
原创
2023-04-21 11:47:20
271阅读
一、问题背景 之前在做Datax数据同步时，发现源端binary、decimal等类型的数据无法写入hive字段。看了一下官网文档，DataX HdfsWriter 插件文档，是1-2年前的，当初看过部分源码其实底层hadoop是支持这些类型写入的，后来随着工作变动也忘了记录下来，借着近期datax又有人问起，勾起了回忆，索性改一下源码记录一下。很重要的一点：我们其实要知道，datax只不过是
转载
2023-12-28 13:26:44
93阅读
