1 Hive的架构2 Hive和数据库比较Hive和数据库除了拥有类似的查询语言，再无类似之处。1）数
原创
2022-11-11 10:14:14
65阅读
hive加载数据 1、使用 hdfs dfs -put '本地数据' 'hive表对应的HDFS目录下' 2、使用 load data inpath hive shell命令行// 将HDFS上的/input1目录下面的数据 移动至 students表对应的HDFS目录下，注意是 移动、移动、移动l ...
转载
2021-08-31 16:53:00
95阅读
2评论
文章目录Hive知识点总结1、什么是Hive?2、Hive的意义（最初研发的原因）?3、Hive的内部组成模块，作用分别是什么?4、Hive支持的数据格式?5、进入Hiveshell窗口的方式?6、Hive数据库、表在HDFS上存储的路径是什么?7、like与rlike的区别?8、内部表与外部表的区别?9、分区表的优点是，分区字段的要求是?10、分桶表的优点是，分桶字段的要求是?11、数据导入表
转载
2023-08-10 16:12:30
57阅读
山大软工实践hive(14)-总结回顾一下，虽然我前面几篇都去看别人的解析，看算法思想，没有解析源码，但这一部分是十分必要的，如果我不知道输入的OPTree是个什么结构，不知道优化器的一些优化思想，哪怕我从一开始直接搜索Optimizer找到了优化器，也会全程不知道该干什么。而如果我从总体流程上寻找逻辑优化从哪里开始，是更困难的。 而导致我一开始这么困难的原因是任务分工，小组人员彼此不能看同一部分
转载
2023-11-13 13:10:37
158阅读
1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的
转载
2022-09-12 01:05:59
82阅读
几种压缩方式的优缺点及应用场景1. Gzip优点： 压缩率比较高，压缩/解压速度也比较快，hadoop本身支持。缺点： 不支持分片。应用场景：当每个文件压缩之后在1个block块大小内， 可以考虑用gzip压缩格式。2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可
转载
2023-09-01 15:33:26
115阅读
什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上Hive的优缺点优点操作接口采用类SQL语法
转载
2023-07-12 16:33:11
103阅读
日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ？在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，默认的存储情况：hive.root.log
原创
2022-10-30 08:47:59
177阅读
解压hive压缩包后， 进入到conf目录cp hive-default.xml.template hive-default.xmlcp hive-env.xml.template hive-env.xmlcp hive-default.xml.template hive-site.xmlMetastore不分开模式hive_site.xml：<?xml version="1.0" enco
原创
2022-01-11 16:36:03
62阅读
调整字段顺序： ALTER TABLE vehicle_gps_log CHANGE create_time create_time string AFTER client_time ; OK Time taken: 0.339 seconds
原创
2022-01-04 17:12:17
81阅读
CSRF（跨站请求伪造）是一种挟制用户在当前已登录的Web应用程序上执行非本意的操作的攻击方法。跟跨网站脚本（XSS）相比，XSS 利用的是用户对指定网站的信任，CSRF 利用的是网站对用户网页浏览器的信任。防御方法1.只使用json api2. 验证HTTP Referer字段3. 在请求地址中添 ...
转载
2021-07-14 15:13:00
824阅读
笔记总结是一种很重要的能力，编号是很重要的。整理文档是一种能力
原创
2022-06-20 20:45:17
4591阅读
关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL
转载
2023-05-21 20:16:45
80阅读
## Hive函数总结
Hive是基于Hadoop的数据仓库工具，用于处理大规模数据集并进行数据分析。在Hive中，函数是一种非常重要的工具，用于对数据进行转换、聚合和计算。本文将总结一些常用的Hive函数，并提供代码示例。
### 1. 内置函数
Hive提供了一系列内置函数，包括字符串处理、日期处理、数学计算等方面。下面是一些常用的内置函数及其使用示例：
- 字符串处理函数：
```
原创
2023-12-23 07:17:40
27阅读
1.hive是什么？ hive是建立在Hadoop之上的数据仓库架构， 它提供了一系列的工具，对数据进行提取转化加载（ETL），这是一种可以对存储在hadoop中的大规模的数据的存储，查询和分析的机制。 它提供了类sql语言，可以让熟悉sql的开发人员查询数据。 同时这个语言也允许熟悉MapRe
原创
2014-03-11 10:36:21
586阅读
hive为何要修改数据库: deby只支持一个SESSION会话，如果hive使用默认的deby，那么在linux客户端开启第二个Hive命令行的时候，会报错, 而mysql是支持多会话的数据库。 hive对应的列为何不规定长度: 不确定这些字段的长度, 而且最终存储在hdfs文件中(联想与txt)txt中也没法规定一个间隔列到底要固定存放多宽的举例。...
原创
2023-04-21 11:47:20
271阅读
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88674278一、Hive命令说明1.执行完立刻退出使用hive -e 的形式hive -e 'select count(*) from test'2.不需看到其他无关紧要的信息hive -S -e 'select count(*) from test'...
原创
2019-03-20 13:57:19
130阅读
一、Hive命令说明1.执行完立刻退出使用hive -e 的形式hive -e 'select count(*) from test'2.不需看到其他无关紧要的信息hive -S -e 'select count(*) from test'...
原创
2022-04-22 15:49:53
453阅读
的数据存储特点（1）数据存储是基
转载
2023-05-14 14:27:01
72阅读
转自：http://www.cnblogs.com/end/archive/2013/01/15/2861448.html优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对j
转载
精选
2015-09-08 01:18:23
1341阅读
