目录 一、EXPLAIN（执行计划）二、Fetch 抓取（默认已开启）三、本地模式（默认未开启）四、表的优化1.小表、大表 Join2.大表 Join 大表3.MapJoin（默认已开启）4.Group By5.Count(Distinct)去重统计6.笛卡尔积7.行列过滤8.动态分区调整9.分桶或分区五、数据倾斜1.调整 Map 数 2.调整 Reduce 数3.产生的数据倾
转载
2024-07-04 21:19:43
58阅读
# Hive Lode CSV 没有数据的疑惑解答
在大数据的时代，Hive作为一种数据仓库工具，广泛应用于海量数据的存储和分析。随着数据量的增加，许多数据工程师和科学家在使用Hive时可能会遇到各种问题，其中之一就是“Hive lode CSV 没有数据”。本文将逐步解析这个问题，并给出解决方案。
## 什么是Hive？
Hive是Apache Hadoop的一部分，使用户能够通过SQL风
原创
2024-10-12 04:25:05
33阅读
0X00 前提本意是想见想记录以前遇到过的问题，由此引申出一些思考，关于目前hadoop等大数据生态，或多或少都会存在一些问题，重要是我们认清现实之后，热爱我们的选择。 关于技术上的成长，除了下文所说的要保持谦逊外，还在于积累和思考。 问题解决是怎样的不重要的，重要的是自己的总结，我也是想赶紧把这些记录下来以免以后忘了可惜，毕竟这个小问题也是两年前遇到过的，今日想起，顺手写下来。数仓技术选型：hi
转载
2023-10-22 17:30:51
69阅读
笔者：受alphago影响，想看看深度学习，但是其在R语言中的应用包可谓少之又少，更多的是在matlab和python中或者是调用。整理一下目前我看到的R语言的材料：————————————————————————————————————————————————————————————近期，弗莱堡大学的Oksana Kutina 和 Stefan Feuerriegel发表了一篇名为《深入比较四个
文章目录一. 表的基本操作1. 新建数据库2. 删除数据库3. 显示数据库4. 指定使用数据库5. 创建内部表6. 创建外部表7. 导入数据 load 命令8. 创建分区表 partitioned by ()二. 表的查询和连接0. 准备工作 （准备数据，建表，导入数据）准备数据建表 + 导入数据表当前数据1. 查询 select2. join关联查询内连接 t_a join t_b on co
转载
2023-08-29 18:30:12
44阅读
desc database/schema,table_name,view_name;show create table xxx; 排序:select * from 表名 order by 字段名; #正序select * from 表名 order
转载
2023-05-30 10:31:07
197阅读
Hive 命令行： 语法结构： bin/hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e querystring>] [-S] 说明： 1、 -i 从文件初始化HQL。
转载
2023-08-15 21:28:16
41阅读
Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。 这种SQL就是Hive SQL，她可以将SQL语句转换为Map Reduce任务运行，通过特殊的SQL去查询分析需要的内容，使不熟悉map reduce的用户很方便的利
转载
2023-05-29 14:57:34
290阅读
hive show tables;create table hive_test(name string);LOAD DATA LOCAL INPATH '/home/hadoop/input/test3.txt' overwrite INTO TABLE hive_test; select * from hive_test;drop table hive_test;show t
原创
2017-05-17 15:33:54
1613阅读
hive的操作命令大全
转载
2023-05-27 23:27:27
168阅读
一、Hive的常用内部命令1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。2、$HIVE_HOME/bin目录下包含了可以执行各种各样Hive服务的可执行文件，包括hive命令行界面（CLI是使用Hive的最常用方式）。[admin@master ~]$ cd apache-hive-1.2.2-bin/bin
[admin@master bin]$ ls
beeline
转载
2023-08-30 10:46:56
320阅读
Apache Hive基础以及Hive基础命令一、什么是 `Hive`二、Hive数据类型原始数据类型复杂数据类型Hive元数据结构三、Hive基础命令1、连接方式2、库级操作（同`mysql`）3、数据表分类4、hive 建表语句5、插入数据、读取文件6、删除表7、修改表四、Hive分区定义分区静态分区操作动态分区五、Hive 分桶(Buckets)六、视图 一、什么是 Hive
hive是基
转载
2023-05-29 15:15:48
136阅读
Hive介绍 Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具，用来进行数据提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。它架构在Hadoop之上，总归为大数据工具，并使得查询和分析方便，hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapRedu
转载
2023-08-02 11:34:06
142阅读
文章目录Hive基本概念架构图HIVE 搭建模式单用户模式多用户模式Hive SQLDDLDMLTIPShive 优化 Hive官网 http://hive.apache.org/基本概念数据仓库（历史数据，用于计算分析）解释器、编译器、优化器等（将sql转换为MR，提交给Hadoop集群）。hive运行时，元数据（表、库、字段、属性）存储在关系型数据库（在线数据，交互式）里面，数据存储在HDF
转载
2024-06-11 01:32:31
123阅读
Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理，并不是真正的在数据库里进行了操作。而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义所以你的集群中要有一台机器装了mysql装hive，装到哪都行然后解压tar –zxvf xxxxx –C apps然后进入到这个目录里下的
转载
2024-06-03 15:34:20
101阅读
简介 $HIVE_HONE/bin/hive命令工具是与Hive服务交互的最常用的方式，是学习和熟悉Hive重要的工具。本文总结了Hive命令行的常见用法，能够帮助读者快速了解和学习Hive。 hive命令选项 在配置Hive时，已经将$HIVE_HONE/bin加入PATH中，用户只要在shell提示符中输入hive，就可以在shell环境中找到这个命令。 hadoop@bob-virtual-
转载
2023-07-10 21:35:29
69阅读
Hive常见操作命令整理
该笔记主要整理了《Hive编程指南》中一些常见的操作命令，大致如下（持续补充中）：1. 查看/设置/修改变量2. 执行命令3. 搜索相关内容4. 查看库表信息5. 创建表6. 分区7. 修改表（重命名、修改列、删除列、增加列）8. 找到表位置并导出至本地9. 去空格10. case...when...then句式11. 操作符1
转载
2023-06-14 21:50:02
111阅读
Hive 1
参数如下: usage: hive
-d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B
--database <databasen
转载
2023-08-18 23:38:39
68阅读
写在开头:hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。–来源某度词条。 下面整理了几个常用的hive操作命令。1.创建库
>create database abc
转载
2023-05-30 14:15:45
67阅读
入口：bin/hive脚本中，环境检查后执行ext中的cli.sh，进入主类：CliDriver.main。CliDriver.main:进入cli.processLine，处理分号";"分割为一条一条语句，再进processCmd。processCmd:处理quit/exit，再处理source，处理！，处理list；else建立CommandProcessor(实现有Driver和各种Proc
转载
2023-05-30 15:32:14
140阅读
