Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，
转载
2023-07-12 11:02:25
469阅读
# Hive最高存储字段长度实现方法
## 概述
Hive是一种基于Hadoop的数据仓库工具，用于处理大规模数据。当我们需要在Hive中储存具有较长字段长度的数据时，我们需要对Hive进行一些配置和调整。本文将介绍实现Hive最高储存字段长度的步骤和相关代码。
## 流程图
```mermaid
flowchart TD
A[开始] --> B[查看默认字段长度]
B -->
原创
2024-01-30 06:31:28
82阅读
hive中的文件存储格式hive支持的主要储存的格式有：TEXTFILESEQUENCEFILEORCPARQUET行式存储与列式存储行存储的特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。列存储的特点：因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的
转载
2023-06-28 21:09:29
53阅读
hive1. hive 有哪些方式保存元数据，各有哪些特点？2. hive内部表和外部表的区别3.生产环境中为什么建议使用外部表？什么时候使用内部表？什么时候使用外部表？4.你们数据库怎么导入hive 的,有没有出现问题5.简述Hive中的虚拟列作用是什么，使用它的注意事项扩展6.hive partition分区7. hive partition什么时候使用手动分区8.hive partitio
转载
2023-11-16 12:25:00
202阅读
Hive分区表alter字段类型字段解析没有改变问题描述三种方式处理过程 问题描述今天在创建hive分区表的时候，有一个字段类型创建错误，本来应该是string，但是一不小心创建了int类型，然后经过alter修改修改字段类型后，查询的时候，发现字段仍然不能正常显示。下面，对问题的处理过程进行一个详细的描述和介绍。三种方式表或者分区删除重新创建(数据无价，注意数据)在alter中指定分区（只会在
转载
2023-09-08 13:10:22
70阅读
一.Hive介绍 Hive包含用户接口、元数据库、解析器和数据仓库等组件组成，其中用户接口包含shell客户端、JDBC、ODBC、Web接口等。元数据库主要是指定义在hive中的表结构信息，一般保存到关系型数据库中，默认是derby，一般使用mysql进行保存。解析器主要功能是将HQL语句转换为mapreduce代码。数据仓库就是由hdfs组成的数据存储容器。(1)Hive组成 H
转载
2024-02-02 17:55:22
101阅读
# 项目方案：Hive表在HDFS储存文件的查看方案
## 1. 项目背景
在大数据处理中，Hive作为一种基于Hadoop的数据仓库解决方案，被广泛应用于数据仓库的构建和查询。Hive将结构化的数据文件映射为表，而这些表的数据则存储在Hadoop分布式文件系统（HDFS）中。然而，当我们需要查看Hive表在HDFS上储存的文件时，需要一种可靠、高效的方案。
本项目旨在提供一种方案，使用户能
原创
2023-10-24 14:09:56
248阅读
Hive表的存储格式文件格式-概述Hive的文件格式-TextFileTextFile 是Hive中默认的文件格式 存储形式为按行存储工作中最常见的数据文件格式就是TextFile，几乎所有的原始数据生成都是TextFile格式，所以HIve设计时考虑到为了避免各种编码以及数据错乱的问题 选用TextFile为默认的格式建表时不指定格式即为TextFile 导入数据时把数据文件拷贝HDFS不做任何
转载
2023-07-05 23:42:39
81阅读
1. 前言Redis hash（哈希散列）是由字符类型的 field（字段）和 value 组成的哈希映射表结构（也称散列表），它非常类似于表格结构。在 hash 类型中，field 与 value 一一对应，且不允许重复。Redis hash 特别适合于存储对象。一个 filed/value 可以看做是表格中一条数据记录；而一个 key 可以对应多条数据。下面举一个例子，使用 hash 类型存储
转载
2023-07-06 16:41:10
221阅读
最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的拖慢了整个任务的完成时间，硬件不同就不说了，应用的类型不同其中就比如page rank 或者data mining 里
转载
2024-08-02 12:02:27
43阅读
文档大纲： 五、实时数仓建设核心1. 实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下： 早期实时计算
如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。
转载
2024-08-21 22:57:43
37阅读
SAN存储 （存储区域网络Storage Area Network）存储区域网络(Storage Area Network，简称SAN)采用光纤通道(Fibre Channel)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN 结构有两种，IPSAN与FCSAN。IPSAN:IPSAN是在SAN后产生的，SAN默认指FCSAN，以
关于hash表，前面有文章介绍过，其原理并不难。redis的数据库使用字典来作为底层实现的，对数据库的增删查改操作也是构建在对字典的操作之上。redis的字典使用hash表作为底层实现。redis作为一个广泛使用的内存数据库，时间和空间效率都是至关重要的。为了使时间效率和空间效率达到最大化，redis中的hash表设计普通的hash表又有什么区别呢？我们知道当hash表满员时（或负载因子高于阈值时
转载
2023-05-29 21:59:58
69阅读
最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的拖慢了整个任务的完成时间，硬件不同就不说了，应用的类型不同其中就比如page rank
转载
2024-06-07 12:18:27
36阅读
conn.prepareCall("{call procedure_name(?,?)}"); ---------------------------------------------------------------------------------------------------------------------------------------------
转载
2023-06-15 15:33:23
87阅读
详解Python list和numpy array的存储和读取方法numpy array存储为.npy存储：import numpy as npnumpy_array = np.array([1,2,3])np.save('log.npy',numpy_array )读取：import numpy as npnumpy_array = np.load('log.npy')运行结果：list存储为.
转载
2023-11-06 16:51:22
67阅读
记录一下python的数据结构 - array标准安装的Python中用列表(list)保存一组值，可以用来当作数组使用，不过由于列表的元素可以是任何对象，因此列表中所保存的是对象的指针。这样为了保存一个简单的[1,2,3]，需要有3个指针和三个整数对象。对于数值运算来说这种结构显然比较浪费内存和CPU计算时间。
此外Python还提供了一个array模块，array对象和列表不同，它直接保存数
转载
2023-10-02 15:11:43
91阅读
在存储文件时，为了保证有充足的剩余空间大小，通常需要知道系统内部或者sdcard的存储大小。下面提供一个工具类，记得是从网站搜的。 当下载或安装一个文件之前，往往会比较关心当前系统内存和SD卡上的剩余容量。在做文件拷贝，移动操作时，检测目标目录的空间大小也是必须的。 Android系统提供了Environment 和StatFs两个类，来实现对容量的检测。Enviro
转载
2023-07-02 20:55:10
172阅读
1.redis的出现。最初所有的数据文件都存放在磁盘，每次读取都需要进行全量的IO查询，速度极慢。后来有了数据库，将数据有结构有约束的存放起来，包括索引，也是一种数据结构，主要是映射数据地址（mysql选用B+树）。但是内存的读写速度远远大于磁盘的读写。所以redis，memcached等内存数据库出现了。那么为什么redis选用k - v的数据结构（个人理解：因为数据库数据之间是存在sql约束的
转载
2024-01-31 01:28:51
32阅读
云储存，云储存瓶颈
原创
2011-08-04 16:36:58
443阅读
