1 创建表以及表的关联查询2 外部表的使用 3 复杂数据类型的使用 4 分区的使用5 桶的使用与理解 6 官方文档https://cwiki.apache.org/confluence/display/Hive/Home一、 创建表以及表的关联查询1) 创建表hive> create table student(name STRING,a
转载
2023-10-10 14:45:34
88阅读
使用过Oracle数据库的童鞋都知道Oracle里面有两张经典的表员工(emp)和部门(dept),本文就以这两张表为基础，介绍一些Hive中表的一些基表操作。1.创建表根据emp和dept的字段类型，将其转换为Hive中的对应的数据类型，我们可以得到这两张表的建表语句：–员工表create table IF NOT EXISTS default.emp(
empno int,
ename str
转载
2024-02-02 08:15:37
95阅读
# Hive 中的时间格式与时间戳
在大数据领域，处理时间和日期数据是至关重要的。特别是在使用 Hive 进行数据分析时，理解时间格式和时间戳将帮助我们更好地管理和转换时间数据。本文将深入探讨 Hive 中的时间格式“时间戳”（timestamp）的使用，并提供具体的代码示例。
## 什么是 Hive 时间戳？
在 Hive 中，`timestamp` 数据类型表示精确到秒的逻辑时间值。它最
# Hive与HDFS文件权限管理
在大数据生态系统中，Hive是一个广泛使用的数据仓库工具，而HDFS（Hadoop分布式文件系统）则是其底层数据存储的关键。理解Hive与HDFS文件的权限管理，对于确保数据安全和合理访问至关重要。
## 1. HDFS文件权限概述
HDFS使用类似于Unix的权限模型来保护数据。每个文件和目录都有三个基本权限：读取（r）、写入（w）和执行（x），并且这些
原创
2024-09-20 16:05:58
155阅读
一、Hive的安装如何安装Hive网上有N多的文档，一般来说你准备搭建Hadoop平台的你就绝对不会吝啬这么点的时间去搭建个Hive平台，具体就参考官方wiki去吧。二、开启Hadoop之旅 1.Hive表的创建与维护在Hive里面创建一张表的基本语法同SQL类似，下面就是一个简单的表创建语法：CREATE TABLE tmp_table #表名(title st
转载
2024-07-30 19:54:21
66阅读
两种Hive表hive存储：数据+元数据托管表（内部表）创建表：hive> create table test2(id int,name String,tel String)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ',';准备数据文件my.txt1,scc0,20,131888888888
2,scc1,22,
转载
2023-10-15 00:45:31
46阅读
1，hive概述Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把job放 在HDFS上处理该文件。Hive最适合用于数据仓库程序，使用该应用程序是进行静态数据分析，不需
转载
2023-07-14 11:22:54
90阅读
在后面加入 即可： hive e "select from tablename" | tr "\t" "," local.csv
原创
2022-08-10 17:30:16
229阅读
hive on tez详细配置和运行测试 tezhadoophivehdfsyarn环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式:在hadoop中配置在hive中配置比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置后只有hive的
转载
2024-01-03 21:18:16
57阅读
第一个 <T>定义当前我有一个泛型变量类型，类型名使用T来表示第二个 T表示show3方法返回值类型为T，其中的<T>只是为了在函数声明前，定义一种范型；因此下面的函数也是合法的：上面的方法的<T>也是为了定义一种范型，用来提前声明形参的类型是一个泛型变量。
原创
2022-03-14 13:54:07
489阅读
第一个 <T>定义当前我有一个泛型变量类型，类型名使用T来表示第二个 T表示show3方法返回值类型为T，其中的<T>只是为了在函数声明前，定义一种范型；因此下面的函数也是合法的：上面的方法的<T>也是为了定义一种范型，用来提前声明形参的类型是一个泛型变量。相反的，在使用自定义的范型T之前，如果不首先使用<T>来声明范型变量的存在的话，编译器会有错误提示：没有声明范型变量类型T没有声明范型变量类型T...
原创
2021-07-07 17:22:59
753阅读
# Hive查询大数据量需要多久
随着大数据时代的到来，数据量的增长变得非常快速，很多机构和企业都面临着处理大规模数据的问题。在这样的情况下，对于数据处理和查询的效率变得尤为重要。Hive作为一个在Hadoop上构建的数据仓库工具，被广泛应用于大数据处理和查询场景。那么，对于1T的数据，Hive查询大概需要多长时间呢？我们将通过实际代码示例来分析这个问题。
## Hive简介
在深入讨论查询
原创
2023-12-21 04:34:33
204阅读
7 3 I'm trying to save dataframe in table hive. In spark 1.6 it's work but after migration to 2.2.0 it doesn't work anymore. Here's the code: blocs .t
转载
2020-08-14 14:00:00
1748阅读
2评论
需要手工拷贝mysql-connector-java-5.1.7-bin.jar以下目录下/usr/share/cmf/lib/usr/lib/sqoop/lib/usr/lib/hive/lib
原创
2017-12-13 20:42:06
1411阅读
我们在使用hadoop集群过程中，发现网上很少有具
原创
2023-08-08 11:22:59
133阅读
问题背景测试SQLselect asset_inout_ex['asset_inout_1c_sum_1'],dt
from ASSET_INOUT_AMT a
where dt<20181119 and cust_code=0000000
order by dt
limit 10000;因为原始表中有456 个DT分区，所以DAG中是一个包含456个 HadoopRDD 的 UnionR
转载
2024-08-12 20:50:56
33阅读
## Hive简单语法练习 (使用t_usa_covid19_p表)
### 概述
在本文中，我将向你介绍如何使用Hive进行简单的语法练习，使用的数据表是t_usa_covid19_p。本练习将涉及Hive的基本语法和一些常见的查询操作。
### 流程图
```mermaid
flowchart TD
A[创建数据表] --> B[加载数据]
B --> C[查询操作]
原创
2023-08-17 17:49:32
56阅读
潜在风险O2O模式作为线下商务与互联网结合的新模式，解决了传统行业的电子商务化问题。但是，O2O模式并非简单的互联网模式，此模式的实施对企业的线下能力是一个不小的挑战。可以说，线下能力的高低很大程度上决定了这个模式能否成功。而线下能力的高低又是因为线上的用户黏度决定的，拥有大量优势用户资源、本地化程度较高的垂直网站将借助O2O模式，成为角逐未来电子商务市场的主力军。O2O模式的关键点就在于，平台通
转载
精选
2013-07-27 11:27:35
369阅读
_T是一个宏，作用是让你的程序支持Unicode编码。 _T("")是一个
转载
2014-05-09 10:08:00
72阅读
2评论
_T是一个宏，作用是让你的程序支持Unicode编码。 _T("")是一个宏，定义于tchar.h下。[1] #define __T(x) L ## x #define _T(x) __T(x) 他的作用是让你的程序支持Unicode编码， 因为Windows使用两种字符集ANSI和UNICOD...
转载
2014-05-09 10:08:00
100阅读
2评论
