51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
24年11月软考
PMP项目管理
免费题库
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
51CTO博客
首页
关注
排行榜
精品课程
免费直播
软考题库
科目全、试题精、讲解专业，扫码免费刷
搜索历史
清空
热门搜索
查看【
】的结果
写文章
创作中心
登录
注册
hive 执行sql 脚本的sql
51CTO博客
>
热门标签
>
hive 执行sql 脚本的sql
全部内容
精选文章
精品课程
代码库
标签简介
时间
热度
默认
hive
执行
sql
脚本
的
sql
hive
执行
sql
原理
认识 HiveHive 是基于 Hadoop 构建
的
一套数据仓库分析系统，它提供了丰富
的
SQL
查询方式来分析存储在 Hadoop 分布式文件系统中
的
数据， 可以将结构化
的
数据文件映射为一张数据库表，并提供完整
的
SQL
查询功能，可以将
SQL
语句转换为 MapReduce 任务进行运行，通过自己
的
SQL
去 查询分析需要
的
内容，这套
SQL
简称
Hive
SQL
，使不熟悉 MapRed
hive 执行sql 脚本的sql
Hadoop
Hive
大数据
大讲台内测员
转载
bugouhen
10月前
102
阅读
hive
并行
执行
sql
脚本
hive
beeline
执行
sql
脚本
写一下
Hive
源码中
执行
SQL
的
SELECT语句
的
简单
执行
流程，手头没有具体
的
环境进调试模式，只根据源码写写大概
的
处理流程。总体上从beeline
脚本
执行
，调用了类Beeline.java，将终端
的
命令读入后通过rpc发送给driver处理。driver调用SemanticAnalyzer将
SQL
语句编译为可以
执行
的
tasks，然后给每个task创建一个线程
执行
，在task中调用Tez等并行框架处
hive并行执行sql脚本
Hadoop
hive
SQL
sql
转载
mob6454cc6a01b7
2023-05-30 16:34:21
1348
阅读
hive
sql
底层怎么
执行
hive
执行
sql
脚本
本节结构采用宏观着眼，微观入手，从整体到细节
的
方式剖析
Hive
SQL
底层原理。第一节先介绍
Hive
底层
的
整体
执行
流程，然后第二节介绍
执行
流程中
的
SQL
编译成 MapReduce
的
过程，第三节剖析
SQL
编译成 MapReduce
的
具体实现原理。
Hive
底层
执行
架构我们先来看下
Hive
的
底层
执行
架构图，
Hive
的
主要组件与 Hadoop 交互
的
过程：
Hive
底层
执行
架构
hive sql底层怎么执行
hive
SQL
执行计划
Hive
转载
mob6454cc7416d1
2月前
3
阅读
hive
执行
sparksql
hive
执行
sql
脚本
目录0-前言1-查看
SQL
的
执行
计划1.1-explain
的
用法2-explain使用场景2.1-join 语句会过滤 null
的
值吗？2.2-group by 分组语句会进行排序吗？2.3-哪条
sql
执行
效率高呢？3-explain dependency
的
用法3.1-识别看似等价
的
代码3.2-识别
SQL
读取数据范围
的
差别4-explain authorization
的
用法5-总结 0-前言
hive 执行sparksql
hive
sql
big data
mapreduce
转载
mob6454cc6b413f
2月前
12
阅读
hive
执行
sql
脚本
参数
hive
执行
sql
脚本
文件带日期
目前
的
工作需要在公司平台上通过
hive
导出数据，定时任务
的
权限没有开放给我，所以只能每天手动导，手动导数时又要天天手工改日期，很麻烦，所以想要where子句能够每天自动有对应
的
日期。以上是前提，有太多槽点，请忽略。 首先，要思考
的
是日期字段
的
数据类型，以及
hive
是否也有隐式转换 参考这篇文章
hive执行sql脚本 参数
hive
字段
unix
转载
mob64ca141275de
2023-09-18 21:28:17
145
阅读
hive
批量
执行
SQL
脚本
#
Hive
批量
执行
SQL
脚本
实现流程 ## 引言 在
Hive
中，我们可以使用
SQL
语句来操作和管理大规模
的
数据。有时候，我们需要批量
执行
一系列
的
SQL
脚本
，以便快速地处理数据。本文将介绍如何使用
Hive
来批量
执行
SQL
脚本
，并提供详细
的
代码示例和解释。 ## 步骤概览 下面是实现
Hive
批量
执行
SQL
脚本
的
步骤概览： | 步骤 | 描述 | | --- | --- | | 步骤一 | 创
SQL
Hive
命令行工具
原创
wxid_
9月前
216
阅读
hive
执行
本地
sql
脚本
# 如何
执行
本地
SQL
脚本
## 简介 在
Hive
中
执行
本地
SQL
脚本
是非常常见
的
需求。本文将指导你如何在
Hive
中实现这一功能。我们将使用
Hive
的
命令行接口和Shell
脚本
来完成任务。 ## 步骤概览 下表展示了
执行
本地
SQL
脚本
的
整个流程。在接下来
的
内容中，我们将逐步解释每个步骤。 | 步骤 | 描述 | | ---- | ---- | | 步骤 1 | 创建一个本地
SQL
脚本
文件 |
Hive
SQL
命令行接口
原创
mob649e815a6b81
8月前
162
阅读
hive
并行
执行
sql
脚本
# 实现
Hive
并行
执行
SQL
脚本
作为一名经验丰富
的
开发者，我将向你介绍如何实现
Hive
并行
执行
SQL
脚本
。下面将展示整个流程
的
步骤，并提供每一步需要做什么以及相关代码
的
注释。 ## 流程步骤 | 步骤 | 描述 | | --- | --- | | 1 | 创建一个包含所有要
执行
的
SQL
脚本
的
目录 | | 2 | 使用
Hive
的
`beeline`命令行工具连接到
Hive
服务器 | | 3
SQL
Hive
并行执行
原创
mob649e8157aaee
2023-07-31 17:22:56
352
阅读
hive
beeline
执行
sql
脚本
# 使用
Hive
Beeline
执行
SQL
脚本
## 流程概述 下面是使用
Hive
Beeline
执行
SQL
脚本
的
整体流程： | 步骤 | 描述 | | --- | --- | | 1 | 连接到
Hive
服务器 | | 2 | 设置数据库 | | 3 |
执行
SQL
脚本
| | 4 | 断开与
Hive
服务器
的
连接 | 接下来，我们将逐步介绍每个步骤需要做什么以及
Hive
SQL
服务器
原创
mob64ca12d2317d
11月前
382
阅读
hive
sql
脚本
用shell
执行
hive
sql
udf
Hive
的
UDAF与UDTF函数
hive
的
UDF函数说明1、用户定义函数 UDF （一进一出） 2、用户定义聚集函数 UDAF （多进一出） 3、用户定义表生成函数UDTF （一进多出）UDF函数作用于单个数据行，并且产生一个数据行作为输出，大多数
的
函数都属于UDF，比如数学函数、日期函数、字符函数等。 UDAF函数作用于多个输入行，并且产生一个输出数据行。比如group by后
的
count、
hive sql脚本用shell执行
hive
big data
hadoop
数组
转载
网猴儿
2023-07-21 16:24:00
189
阅读
hive
sql
debug模式
hive
-f
执行
sql
脚本
1．“-e”不进入
hive
的
交互窗口
执行
sql
语句$ bin/
hive
-e "select id from student;"2．“-f”
执行
脚本
中
sql
语句 （1）在/opt/module/datas目录下创建hivef.
sql
文件[hadoop@master datas]$ touch hivef.
sql
文件中写入正确
的
sql
语句 select *from student; （2）
执行
文件
hive sql debug模式
hive
sql语句
sql
转载
mob6454cc6f27a3
2023-07-31 09:35:52
118
阅读
后台登录
hive
后
执行
批量
SQL
hive
-f
执行
sql
脚本
spark
sql
整合
hive
在spark
sql
中使用
hive
的
元数据spark
sql
是使用spark进行计算
的
，
hive
使用MR进行计算
的
1、在
hive
的
hive
-site.xml修改一行配置，增加了这一行配置之后，以后在使用
hive
之前都需要先启动元数据服务cd /usr/local/soft/
hive
-1.2.1/conf/<property> <name>hiv
后台登录hive后执行批量SQL
spark
sql
hive
转载
mob64ca13fb6939
1月前
11
阅读
hive
执行
sql
脚本
传入参数
#
Hive
执行
SQL
脚本
传入参数 在
Hive
中，我们可以通过
执行
SQL
脚本
来操作数据，但有时候我们需要传入参数来动态地
执行
脚本
。本文将介绍如何在
Hive
中
执行
SQL
脚本
并传入参数，以及代码示例和流程图作为辅助。 ## 为什么需要传入参数 在实际
的
数据处理中，我们经常需要根据不同
的
条件或需求来
执行
不同
的
SQL
脚本
，这时就需要传入参数来实现动态
的
执行
。通过传入参数，我们可以提高代码
的
灵活性和复
SQL
hive
Hive
原创
mob64ca12dcc794
5月前
253
阅读
hive
sql
重复
执行
一段
sql
脚本
#
Hive
SQL
重复
执行
一段
SQL
脚本
的
实现方法 作为一名经验丰富
的
开发者，我经常被问到如何实现在
Hive
中重复
执行
一段
SQL
脚本
。今天，我将通过这篇文章，详细地向刚入行
的
小白们介绍这一过程。 ## 1. 准备工作 在开始之前，我们需要确保已经安装了
Hive
，并且能够正常连接到
Hive
服务器。此外，我们还需要准备好要
执行
的
SQL
脚本
。 ## 2. 流程概述 下
SQL
Hive
hive
原创
mob64ca12e5502a
1月前
16
阅读
beeline
hive
链接
hive
beeline
执行
sql
脚本
hive
2.1
hive
执行
sql
有两种方式：
执行
hive
命令，又细分为
hive
-e，
hive
-f，
hive
交互式；
执行
beeline命令，beeline会连接远程thrift server；下面分别看这些场景下
sql
是怎样被
执行
的
：1
hive
命令启动命令启动
hive
客户端命令$
HIVE
_HOME/bin/
hive
等价于$
HIVE
_HOME/bin/
hive
--service
beeline hive 链接
大数据
hive
apache
ide
转载
mob6454cc70863a
2023-08-31 20:20:20
891
阅读
hive
sql
脚本
传递参数
hive
执行
sql
脚本
文件带日期
hivef:
hive
执行
sql
文件 hivef:
hive
执行
sql
文件#!/bin/bash yesterday=`date -d -1days '+%Y-%m-%d'` today=`date '+%Y-%m-%d'` tomarrow=`date -d 1days '+%Y-%m-%d'` #echo "从外部只传递两个参数时，第一个
hive sql脚本传递参数
hive
sql
离线
转载
棉花糖
2023-06-06 22:13:33
402
阅读
hive
sql
的
执行
hive
sql
udf
背景
Hive
有丰富
的
内置函数，方便数据处理和数据分析。但是有些时候无法满足需求，这时就需要自定义函数（User-Defined Functions , UDF）来扩展
Hive
函数库，实现用户想要
的
功能。 UDF 开发编写 UDF 函数需要下面两个步骤：继承 org.apache.hadoop.
hive
.ql.exec.UDF实现 evaluate 函数，这个函数必须要有返回值，不能设置为vo
hive sql的执行
hive
hadoop
大数据
jar
转载
mob6454cc6d1c0b
2023-07-17 22:39:09
97
阅读
hivesql 复杂
脚本
hive
-f
执行
sql
脚本
一、前言二、
SQL
的
执行
计划2.1 explain
的
用法2.2 explain
的
使用场景 案例一：join 语句会过滤 null
的
值吗？ 案例二：group by 分组语句会进行排序吗？ 案例三：哪条
sql
执行
效率高呢？ 案例四：定位产生数据倾斜
的
代码段2.3 explain dependency
的
用法 案例一：识别看似等价
的
代码&
hivesql 复杂脚本
Data
执行计划
SQL
转载
cnolnic
1月前
28
阅读
baocuo
hive
执行
sql
hive
执行
sql
一、
hive
简介
hive
是基于Hadoop
的
一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中
的
大规模数据
的
机制。
hive
可以将结构化
的
数据文件映射为一张数据库表，并提供完整
的
SQL
查询功能；可以将
SQL
语句转换为MapReduce任务运行，通过自己
的
SQL
查询分析需要
的
内容，这套
SQL
简称
Hive
SQL
。二、
hive
sql
与
sql
的
区别其实不同
的
baocuo hive 执行sql
字段
SQL
hive
转载
karen
2023-07-04 14:57:02
171
阅读
hive
sql
脚本
执行
速度慢
hive
sql
hql
Hive
介绍
Hive
概述
Hive
是基于Hadoop
的
一个数据仓库工具。可以键结构化
的
数据文件映射为一张表，并提供完整
的
sql
查询功能，可以将
sql
语句转换为MapReduce任务进行。其优点是学习成本低，可以通过类
SQL
语句快速实现MapReduce统计，不必开发专门
的
MapReduce应用，十分适合数据仓库
的
统计分析。
Hive
是建立在Hadoop上
的
数据仓库基础构架。它提供了一系列
的
工具，可以
hive sql 脚本执行速度慢
Hive
数据
hive
转载
mob64ca13fae001
2023-09-08 12:37:30
196
阅读
首页
1
2
3
4
5
共100条记录
职场话题
更多
2024软考
华为认证
K8s
数据库
相关文章
hive 执行sql 命令 hive sql执行过程
hive sql 执行的几个阶段 hive sql执行原理
shell脚本执行多个hive sql语句
shell脚本执行hive sql语句传参 shell脚本执行sql语句oracle
hive sql脚本
hive sql 并行 hive 执行sql
hive的sql执行过程 hive中sql执行顺序
hive sql底层的执行流程 hive sql执行顺序
shell脚本执行多次hive sql语句
hive 获取sql执行记录 hive执行sql文件
相关搜索
全部
DolphinScheduler执行hive sql脚本
hive -f 执行sql脚本
hive sql执行
hive sql的执行
hive 执行sql 脚本的sql
hive 批量执行SQL脚本
hive并行执行sql脚本
hive执行sql脚本
hive执行sql脚本 参数
shell执行hive sql脚本
Copyright © 2005-2024
51CTO.COM
版权所有 京ICP证060544号
关于我们
官方博客
全部文章
热门标签
班级博客
了解我们
网站地图
意见反馈
友情链接
鸿蒙开发者社区
51CTO学堂
51CTO
软考资讯
