51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

hive 的执行日志
# Hive执行日志解析及优化指南 ## 简介 Apache Hive是一种建立在Hadoop之上的数据仓库基础设施，用于提供数据摘要、查询和分析。当我们在Hive中执行查询时，Hive会生成执行计划，将其转换为MapReduce任务，并记录执行过程的日志。这些执行日志对于监视查询性能、调优查询以及排查问题都非常有用。 本文将介绍如何解析Hive的执行日志，并根据日志内容进行优化查询。我们将
Hive
数据
Time
原创
mob64ca12f290b0
2024-03-22 06:32:31
67阅读

hive的执行日志 hiveserver日志
hive进阶case-when-then-else select id,name,age1, case when age1 < 18 then ‘小屁孩’ when age1 >=18 then ‘成年人’ else ‘aa’ end as age222222 from person;hive server2配置<property> <name>
hive的执行日志
hive
大数据
数据倾斜
数据
转载
feiry
2023-07-29 15:10:05
198阅读

hive tez 日志解读 hive执行日志
Hive运行日志//修改获得hive-log4j.properties文件 mv hive-log4j.properties.template hive-log4j.properties //修改hive.log.dir的值，默认是在/tmp/${user}/hive.log hive.log.dir=/root/training/apache-hive-1.2.2-bin/hive_repo/l
hive tez 日志解读
Hive日志配置
hive
apache
properties文件
转载
温柔一刀
2023-06-08 17:50:42
320阅读

hive sql日志分析 hive执行日志
1、查看到hive执行的历史命令： 进入到用户的主目录，使用命令
hive sql日志分析
Hive
Hadoop
小技能
hive
转载
技术博主
2023-07-12 09:55:25
542阅读

hive 指定日志路径 hive执行日志
一、配置文件1、重命名配置文件# 把/opt/modules/hive-0.13.1/conf/hive-log4j.properties.template重命名为hive-log4j.properties #重新进入hive [root@hadoop-senior hive-0.13.1]# bin/hive Logging initialized using configuration in
hive
hadoop
SQL
转载
网猴儿
2023-05-27 15:05:40
183阅读

hive作业执行日志
# Hive作业执行日志实现流程 ## 1. 简介 Hive是一个数据仓库基础架构，可以提供类SQL查询和数据聚合的功能。在实际开发中，我们常常需要监控和分析Hive作业的执行日志，以便进行性能优化和故障排查。本文将介绍如何实现Hive作业执行日志的记录和分析。 ## 2. 流程图 下面是Hive作业执行日志的实现流程图： ```mermaid pie title Hive作业执行日
Hive
记录日志
日志输出
原创
mob64ca12f831ae
2023-11-16 04:58:33
70阅读

hive执行日志讲解
文章目录函数查看系统自带的函数自定义函数创建自定义函数的步骤压缩和存储格式压缩开启map端输出压缩配置开启reduce端的输出压缩文件的存储格式列式存储和行式存储安装snappy压缩支持调优fetch 抓取本地模式日志分析 函数在hive中存在系统自带的函数, 如果说自带的函数不能满足开发需求的时候, 就必须编写自定义函数查看系统自带的函数ow functions ================
hive执行日志讲解
调优
日志分析
压缩
文件存储
转载
mob64ca141a2a87
10月前
40阅读

hive udf 输出日志到Linux hive执行日志
1.修改默认的数据仓库位置，在hive-site.xml文件中配置如下参数：hive.metastore.warehouse.dir自己指定仓库位置(eg:/user/hive/warehouse)添加好参数以后，需要对指定的目录附上用户组的权限，执行以下命令：$ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp$ $
hive udf 输出日志到Linux
hive 命令结果生成文件
hive
jar
Hive
转载
精灵仙女
2023-07-14 22:55:27
0阅读

Hive SQL日执行日志 hive执行sql语句
这里转换成hive的sql语句：hql，其根本问题是为了解决hive不支持事物处理、数据删除操作，这两点是hive的sql和传统sql差异的主要点； 就比如一段存储过程，现在需要迁移到hive上运行，一般主要过程：声明变量、初始化批次状态表(记录程序运行的位置及数据状态)、业务数据处理(事物处理)、更新批次状态表、删除业务数据(无效数据\已处理数据)； 声明变量：通过java工具(项目开发中的一个
Hive SQL日执行日志
数据
hive
初始化
转载
mob64ca14196783
2024-06-22 06:02:54
40阅读

hive 遍历打印执行日志
Hive简介概述Hive是由Facobook开发的后来贡献给了Apache的一套用于进行数据仓库管理的工具，使用类SQL语言来对分布式文件系统中的PB级别的数据来进行读写、管理以及分析Hive基于Hadoop来使用的，底层的默认计算引擎使用的是MapReduce。Hive利用类SQL(HQL，Hive Query Language)语言来操作数据，但是底层是将SQL转化为MapReduce来执行（
hive 遍历打印执行日志
hive
hadoop
数据仓库
Hive
转载
编程之翼
2024-09-21 06:59:48
48阅读

查看Hive SQL执行日志
yarn logs -applicationId application_1622563480758_1071631
编程
原创
wx5e46005fc4d21
2021-08-10 11:05:55
1710阅读

查看Hive SQL执行日志
yarn logs -applicationId application_1622563480758_1071631
SQL
原创
wx5e46005fc4d21
2022-02-09 14:14:57
397阅读

hive如何查看执行日志
# Hive如何查看执行日志 ## 问题描述 在使用Hive进行数据分析的过程中，我们常常需要查看Hive执行的日志，以便于了解任务的运行情况、发现问题并进行调优。那么如何通过Hive来查看执行日志呢？ ## 解决方案 ### 第一步：启用Hive日志 默认情况下，Hive并不会主动记录执行日志，我们需要手动配置Hive，启用日志记录功能。 在Hive的配置文件hive-site.xml
Hive
hive
日志输出
原创
mob64ca12f0cf8f
2024-02-01 09:11:20
449阅读

怎么看hive执行的日志
# 项目方案：Hive执行日志分析系统 ## 1. 项目背景 Hive是一个开源的数据仓库工具，用于在Hadoop平台上进行数据查询和分析。为了更好地了解Hive的执行过程和优化查询性能，我们需要建立一个Hive执行日志分析系统，对Hive执行日志进行监控和分析。 ## 2. 方案概述 我们将通过监控Hive执行日志来了解查询的执行计划、执行时间、资源消耗等信息，从而优化查询性能和调整集群资源
Hive
hive
日志分析系统
原创
mob64ca12d06991
2024-02-24 05:10:52
55阅读

hive执行sql 语句报错日志 hive执行sql很慢
Hive sql 优化方案梳理总结目录Hive sql 优化方案梳理总结说明简单最合理对应表的HDFS文件大小和数量问题数据倾斜问题where在on前面后面的问题数仓逻辑层面的优化group by代替COUNT(DISTINCT)尽量不要使用in这种函数case when函数when越多算的越慢 说明此篇文章我们将对Hivesql的优化方案进行梳理和总结，欢迎大家一起讨论，可以补充和完善
hive执行sql 语句报错日志
sql优化
sparksql优化
hivesql优化
hive
转载
云端小仙童
2023-10-05 09:52:38
130阅读

hive 命令行的执行日志在哪 hive运行日志
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢1.文档编写目的在使用Hive CLI客户端执行SQL语句时，默认的日志输出在/tmp/${user}/目录下，由于tmp目录的空间大小有限，需要为Hive CLI客户端
hive 命令行的执行日志在哪
hive
日志输出
Hive
转载
数据科学家
2023-09-10 22:09:49
146阅读

查看hive历史执行sql 查看hive日志
Hive：数据仓库，其实就是写一些脚本代码（HQL），通过hive转换为java代码，在hadoop上运行。操作的是hdfs上的数据，写的HQL脚本转为mapreduce程序处理hdfs上的数据。Hive：解释器，编译器，优化器等。解释HQL为java代码，然后编译，优化后放在hadoop上运行。hive不是关系型数据库，不是后台的服务，它相当于是一个hadoop的客户端。Hive：支持类似sql
查看hive历史执行sql
大数据
数据库
java
hive
转载
mob64ca1417b0c6
2024-08-12 12:48:08
97阅读

hive运行日志 数据量 hive执行日志讲解
 目录一、Hive基本概念1、什么Hive2、Hive优缺点2.1 优点2.2 缺点3、Hive架构原理4、Hive和数据库比较4.1 查询语言4.2 数据更新4.3 执行延迟4.4 数据规模二、Hive安装1、 卸载自带的mysql2、MySQL安装3、Hive安装3.1 安装Hive3.2 启动并使用Hive4、Hive元数据配置到MySQL5、再次启动Hive6
hive运行日志 数据量
hive
学习
大数据
Hive
转载
mob64ca140ce312
2024-03-10 22:36:53
319阅读

hive sql执行日志分析数据血缘 hive sql执行原理
一、hive的简介Hive最早是由Facebook开源用于解决海量结构化日志的数据统计，后贡献给开源社区，成为Apache顶级开源项目。它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，其本质是将HQL转化成MapReduce程序。其仓库主要表现在以下三个方面：1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3
hive sql执行日志分析数据血缘
Hive
数据库
数据
转载
ctaxnews
2023-07-20 21:13:50
153阅读

hive执行sql时打印详细日志 hive执行sql很慢
文章目录前言优化方向数据存储结构优化分区设计分桶设计数据压缩存储格式数据生产者应注意的事项优化场景个别Task运行缓慢源端数据倾斜处理过程中的数据倾斜不合理的哈系分布大小表JoinTask数量多源数据小文件多写入时小文件多集群带宽以及磁盘I/O压力选择压缩算法缓存表写在后面优化原理和手段Spark运行机制Stage和Task分别是如何划分的？为什么是这三个优化方向？为什么小文件快速增长会影响Ha
hive执行sql时打印详细日志
hive
spark
sql
数据
转载
imking
2023-11-16 17:30:31
59阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

如何hadoop 看hive执行日志

hive执行sql 语句报错日志

hive如何查看SQL执行日志

hive 日志保存执行的sql吗

hive 命令行的执行日志在哪

linux查看hive数据库的执行日志

hive执行sql时打印详细日志

hive查询调度任务执行日志数据

hive执行语句有历史日志记录吗 hive查看执行计划

hive 接口获取不到执行日志 hive show tables not like

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯