目录 一、EXPLAIN（执行计划）二、Fetch 抓取（默认已开启）三、本地模式（默认未开启）四、表的优化1.小表、大表 Join2.大表 Join 大表3.MapJoin（默认已开启）4.Group By5.Count(Distinct)去重统计6.笛卡尔积7.行列过滤8.动态分区调整9.分桶或分区五、数据倾斜1.调整 Map 数 2.调整 Reduce 数3.产生的数据倾
转载
2024-07-04 21:19:43
58阅读
# Hive Lode CSV 没有数据的疑惑解答
在大数据的时代，Hive作为一种数据仓库工具，广泛应用于海量数据的存储和分析。随着数据量的增加，许多数据工程师和科学家在使用Hive时可能会遇到各种问题，其中之一就是“Hive lode CSV 没有数据”。本文将逐步解析这个问题，并给出解决方案。
## 什么是Hive？
Hive是Apache Hadoop的一部分，使用户能够通过SQL风
原创
2024-10-12 04:25:05
33阅读
0X00 前提本意是想见想记录以前遇到过的问题，由此引申出一些思考，关于目前hadoop等大数据生态，或多或少都会存在一些问题，重要是我们认清现实之后，热爱我们的选择。 关于技术上的成长，除了下文所说的要保持谦逊外，还在于积累和思考。 问题解决是怎样的不重要的，重要的是自己的总结，我也是想赶紧把这些记录下来以免以后忘了可惜，毕竟这个小问题也是两年前遇到过的，今日想起，顺手写下来。数仓技术选型：hi
转载
2023-10-22 17:30:51
66阅读
笔者：受alphago影响，想看看深度学习，但是其在R语言中的应用包可谓少之又少，更多的是在matlab和python中或者是调用。整理一下目前我看到的R语言的材料：————————————————————————————————————————————————————————————近期，弗莱堡大学的Oksana Kutina 和 Stefan Feuerriegel发表了一篇名为《深入比较四个
文章目录一. 表的基本操作1. 新建数据库2. 删除数据库3. 显示数据库4. 指定使用数据库5. 创建内部表6. 创建外部表7. 导入数据 load 命令8. 创建分区表 partitioned by ()二. 表的查询和连接0. 准备工作 （准备数据，建表，导入数据）准备数据建表 + 导入数据表当前数据1. 查询 select2. join关联查询内连接 t_a join t_b on co
转载
2023-08-29 18:30:12
44阅读
desc database/schema,table_name,view_name;show create table xxx; 排序:select * from 表名 order by 字段名; #正序select * from 表名 order
转载
2023-05-30 10:31:07
197阅读
Hive 命令行： 语法结构： bin/hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e querystring>] [-S] 说明： 1、 -i 从文件初始化HQL。
转载
2023-08-15 21:28:16
41阅读
hive的操作命令大全
转载
2023-05-27 23:27:27
168阅读
Hive介绍 Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具，用来进行数据提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。它架构在Hadoop之上，总归为大数据工具，并使得查询和分析方便，hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapRedu
转载
2023-08-02 11:34:06
142阅读
一、Hive的常用内部命令1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。2、$HIVE_HOME/bin目录下包含了可以执行各种各样Hive服务的可执行文件，包括hive命令行界面（CLI是使用Hive的最常用方式）。[admin@master ~]$ cd apache-hive-1.2.2-bin/bin
[admin@master bin]$ ls
beeline
转载
2023-08-30 10:46:56
320阅读
Apache Hive基础以及Hive基础命令一、什么是 `Hive`二、Hive数据类型原始数据类型复杂数据类型Hive元数据结构三、Hive基础命令1、连接方式2、库级操作（同`mysql`）3、数据表分类4、hive 建表语句5、插入数据、读取文件6、删除表7、修改表四、Hive分区定义分区静态分区操作动态分区五、Hive 分桶(Buckets)六、视图 一、什么是 Hive
hive是基
转载
2023-05-29 15:15:48
131阅读
hive show tables;create table hive_test(name string);LOAD DATA LOCAL INPATH '/home/hadoop/input/test3.txt' overwrite INTO TABLE hive_test; select * from hive_test;drop table hive_test;show t
原创
2017-05-17 15:33:54
1613阅读
Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。 这种SQL就是Hive SQL，她可以将SQL语句转换为Map Reduce任务运行，通过特殊的SQL去查询分析需要的内容，使不熟悉map reduce的用户很方便的利
转载
2023-05-29 14:57:34
290阅读
文章目录Hive基本概念架构图HIVE 搭建模式单用户模式多用户模式Hive SQLDDLDMLTIPShive 优化 Hive官网 http://hive.apache.org/基本概念数据仓库（历史数据，用于计算分析）解释器、编译器、优化器等（将sql转换为MR，提交给Hadoop集群）。hive运行时，元数据（表、库、字段、属性）存储在关系型数据库（在线数据，交互式）里面，数据存储在HDF
转载
2024-06-11 01:32:31
123阅读
1.进入hive客户端>hive2.查看数据库>show databases;3.查看表>show tables;4.对表进行的查询操作与sql几乎相同，需要注意的是尽量不要查看或操作过多数据。 5.创建表>create table 表名(user_id int,user_name string) clustered by (user_id)注意！推荐给表加上事务！否则在使
转载
2023-06-09 10:58:20
103阅读
Hive的基本操作命令:hive 或者 beeline 进入hive操作命令行
命令:quit 或者 exit 退出hive窗口,在3.0版本后没有区别;
命令:dfs -ls /; 在hive窗口如何查看hdfs文件系统
命令:进入Linux中的/root或者/home/用户名目录下,输入下列语句
cat .hivehistory 查看在hive中输入的历史命令
cat .beelin
转载
2023-07-12 12:50:11
61阅读
hive相关命令1.hive -help
hive -e: 不进入hive交互窗口，执行sql语句hive -e "select * users"
hive -f: 执行脚本中sql语句# 创建文件hqlfile1.sql，内容：select * from users
# 执行文件中的SQL语句
hive -f hqlfile1.sql
# 执行文件中的SQL语句，将结果写入文件
hive -
转载
2023-08-30 22:10:44
137阅读
Hive drop table时没有反应，于是强制中断。解决之法,对其进行补充。mysql> show variables like 'char%';第一步：进入mysql,输入：show variables like 'char%'。显示如下 此时的character_set_database编码是utf8，问题就出在这里，如果你是latin1，可能是在建好hive数据库后,没有
转载
2023-05-29 16:24:14
192阅读
目录 一、hive基础命令1.hive建表高阶语句：2.创建临时表3.表操作4.hive分区5.视图view二、hive高级查询1.查询进阶2.关联查询3.MAPJOIN4.UNION5.LOAD传数据6.INSERT 7.使用insert语句将数据插入/导出到文件8.order by9.SORT BY/DISTRIBUTE BY10.CLUSTER BY11.GROUP BY
转载
2023-09-14 20:59:52
200阅读
一、推测执行在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种情况发生，Hadoop采用了推测执行（Speculative Execution）机
转载
2024-05-14 21:28:50
35阅读
