hive 一堆INFO日志

原创

mob649e8162c013 2023-09-17 09:29:53 ©著作权

文章标签 Hive hive 执行计划 文章分类 Hive 大数据

©著作权归作者所有：来自51CTO博客作者mob649e8162c013的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive INFO日志科普

在使用Hive进行数据处理和分析时，经常会遇到大量的INFO级别的日志信息。这些日志对于了解Hive的运行情况和问题排查非常重要。本文将介绍Hive INFO日志的含义、输出方式和常见的日志内容，帮助读者更好地理解和使用Hive。

Hive INFO日志的含义

Hive INFO日志是Hive在执行过程中输出的一种日志级别，用于向用户提供执行进度、运行状态和相关的信息。INFO级别的日志通常是默认开启的，可以通过配置文件调整日志级别。

INFO日志可以帮助用户了解Hive的执行计划、数据加载、查询优化以及任务调度等方面的信息。通过查看INFO日志，用户可以了解到Hive的执行过程和资源消耗情况，从而进行性能优化和故障排查。

Hive INFO日志的输出方式

Hive INFO日志可以通过多种方式输出，常见的方式包括控制台输出和日志文件输出。

控制台输出

Hive在控制台上输出INFO日志非常简单，只需要在Hive的命令行中执行相应的操作即可。下面是一个简单的示例：

$ hive -e "SELECT * FROM table_name;"

通过hive -e命令执行Hive查询，并将INFO日志输出到控制台。用户可以通过观察控制台输出，了解查询的执行过程和状态。

日志文件输出

除了控制台输出，Hive还可以将INFO日志输出到日志文件中。通常情况下，Hive的日志文件位于Hive安装目录下的logs文件夹中。

用户可以通过修改Hive的配置文件hive-log4j2.properties来调整日志的输出方式和级别。下面是一个示例配置：

appender.console.type = Console
appender.console.name = CONSOLE
appender.console.layout.type = PatternLayout
appender.console.layout.pattern = [%d{HH:mm:ss}] %-5level %logger{36} - %msg%n

appender.file.type = File
appender.file.name = FILE
appender.file.fileName = hive.log
appender.file.layout.type = PatternLayout
appender.file.layout.pattern = [%d{HH:mm:ss}] %-5level %logger{36} - %msg%n

rootLogger.level = INFO
rootLogger.appenderRefs = console
rootLogger.appenderRef.console.ref = CONSOLE
rootLogger.appenderRefs = file
rootLogger.appenderRef.file.ref = FILE

通过修改hive-log4j2.properties文件，用户可以设置日志的输出方式和格式。在上面的示例中，日志会同时输出到控制台和名为hive.log的日志文件中。

常见的Hive INFO日志内容

在使用Hive时，常见的INFO日志内容包括执行计划、数据加载、查询优化、任务调度和资源消耗等方面的信息。下面是一些常见的INFO日志示例：

执行计划

执行计划是Hive查询的重要组成部分，INFO日志可以帮助用户了解查询的执行计划和相关的统计信息。下面是一个示例：

INFO  : Plan optimized by CBO.
INFO  : 
INFO  : Vertex id=vertex_1606842924119_0001_1_00 [Map 1] launched org.apache.hadoop.mapred.FileInputFormat
INFO  : Vertex vertex_1606842924119_0001_1_00 [Map 1] completed. Time taken: 0.265 seconds

从上述日志中，可以看到查询的执行计划被优化了，并且在Map阶段完成。

数据加载

数据加载是Hive的常见操作之一，INFO日志可以提供数据加载的进度和状态信息。下面是一个示例：

INFO  : Loading data to table default.table_name from hdfs://localhost:9000/user/hive/warehouse/table_name
INFO  : Table default.table_name stats: [numFiles=1, numRows=100, totalSize=20800, rawDataSize=20700]

从上述日志中，可以看到数据加载的目标表、数据路径以及相关的统计信息。