本文主要介绍Hive的架构和以及HQL的查询阶段，主要内容包括：Hive的架构架构中的相关组件介绍HQL的查询阶段Hive的架构hive的基本架构图如下图所示：相关组件介绍数据存储Hive中的数据可以存储在任意与Hadoop兼容的文件系统，其最常见的存储文件格式主要有ORC和Parquet。除了HDFS之外，也支持一些商用的云对象存储，比如AWS S3等。另外，Hive可以读入并写入数据到其
转载
2024-02-26 14:34:38
40阅读
1.Hive环境搭建下载我们先把Hive的安装包下载到Linux系统中。这里我们选择和前面Hadoop一样的cdh5.7.0的版本。然后，我们需要把压缩包解压到“~/app/”目录下（个人习惯），然后在“/etc/profile”中配置Hive的环境变量。保存之后别忘了“source /etc/profile”。export HIVE_HOME=~/app/hive-1.1.0-cdh5.7.0
转载
2023-09-01 22:18:19
77阅读
hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.2/发现一个问题:该地址会
转载
2023-11-19 15:54:28
66阅读
从文件中加载执行语句 1. 从文件中执行hql语句 hive -f test.hql; 2. 在hive shell中使用source执行脚本 source test.hql; 注：hive执行语句的文件通常使用.hql或.q为后缀名，但不是必须的，如果以其他的格式结尾比如.sh就会报错的。 Hive join 操作：
1. 内连接：inner jo
转载
2022-01-04 17:44:38
562阅读
方法1： hive -f sql文件 t.sql文件内容：select *from userinfo limit 10; 执行命令hive -f t.sql 方法2： 进入hive shell, 执行source命令进入hive 终端$ hive
hive>使用source命令执行hive>source t.sql
转载
2023-05-23 14:41:36
48阅读
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。hive可以创建带分区的内表，
> create table sustPart (id int,name string) //创建表名为sust1
> parti
转载
2023-06-21 10:41:51
123阅读
Hive版本: hive-1.1.0-cdh5.14.21. 首字符转ascii码函数：ascii语法：ascii(string str) 返回值：int 描述：返回字符串str首字符的ascii编码0: jdbc:hive2://node03:10000> select ascii('hello') as col1, ascii('hehe') as col2, ascii('Hi') a
转载
2023-08-01 14:38:45
75阅读
Hive数据源实战Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用HiveCo
转载
2023-07-14 16:03:50
54阅读
# Source as Hive语句的含义与用法详解
## 引言
在大数据领域中，Hive是一个常用的数据仓库工具，它可以让我们使用类似SQL的语法来查询和分析存储在Hadoop集群上的大规模数据。Hive的数据模型类似于关系型数据库，通过将数据映射为表格的形式，来方便地进行数据查询和处理。
在Hive中，我们可以使用"source"命令将外部的Hive查询脚本导入到当前的Hive会话中执行
原创
2023-10-19 05:38:49
123阅读
Linux： 类Unix操作系统。支持多用户、多线程、多、进程实时性较好的功能强大而稳定的操作系统。
Linux操作系统的哲学思想就是一切皆文件。
Linux最大特点在于它是GNU的一员，遵循公共版权许可证（GPL)，秉承“自由的思想，开放的源码”原则。可以说Linux是计算机爱好者自己的操作系统。
Linux系统的优势：跨平台的硬件支持、丰富的软件支撑、多用户多任务、可靠的安全性、良好的稳定性、
转载
2024-10-23 14:21:30
24阅读
Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。 这种SQL就是Hive SQL，她可以将SQL语句转换为Map Reduce任务运行，通过特殊的SQL去查询分析需要的内容，使不熟悉map reduce的用户很方便的利
转载
2023-05-29 14:57:34
290阅读
一、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 数据仓库：主要用户存储历史数据，并进行数据分析其本质是将Hive SQL(hql)转换为MapReduce(数据计算引擎)的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可
转载
2023-07-14 12:09:58
167阅读
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。一、hive安装1、官网下载地址：http
转载
2023-07-20 22:26:10
50阅读
source insight 使用
原创
2021-12-27 13:53:24
623阅读
# Dockerfile 使用 `source` 命令的科普文章
## 引言
Docker 是一个开源的容器化平台，能够帮助开发者创建、部署和管理应用。在 Docker 的构建中，Dockerfile 是定义和配置容器环境的关键文件。本文将探讨 Dockerfile 中使用 `source` 命令的意义，并通过代码示例来进行说明。
## Dockerfile 简介
Dockerfile 是
原创
2024-09-13 06:09:55
155阅读
Kubernetes 集群中运行的应用通过 Service 抽象来互相查找、通信和与外部世界沟通。本文介绍被发送到不同类型 Services 的数据包源 IP 的变化过程，你可以根据你的需求改变这些行为。 准备开始 你必须拥有一个 Kubernetes 的集群，同时你的 Kubernetes 集群必 ...
转载
2021-09-01 16:39:00
287阅读
2评论
一，更新代码后，需要同步source insight
Project--Synchronize Files---Force all files to be re-parsed
原创
2021-10-14 17:14:56
1084阅读
1.导入Pom依赖<dependencies>
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-core</artifactId>
<version>1.7.0</version>
</de
转载
2023-12-12 19:26:18
44阅读
自定义MySQLSource1 自定义Source说明Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际
转载
2024-06-25 20:22:56
302阅读
1、什么是HiveContextSpark SQL支持对Hive中存储的数据进行读写 操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，嘤嘤嘤~还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及HiveSQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了
转载
2024-03-03 10:27:14
21阅读
