大家好！我是拥有颓废外表、有趣灵魂的胖姑姑！现在和大家盘点一下姑姑在数据领域常用的TOP5工具。首先姑姑非技术开发大牛，人生最牛逼的开发作品就是微信小程序。哈哈~懂的都懂！ 姑姑是名数据分析师，所以在工作中用得最多就是SQL和Python。 TOP1:Navicat &nbs
一、数据治理与元数据管理背景为什么要做数据治理？业务繁多，数据繁多，业务数据不断迭代。人员流动，文档不全，逻辑不清楚，对于数据很难直观理解，后期很难维护。在大数据研发中，原始数据就有着非常多的数据库，数据表。而经过数据的聚合以后，又会有很多的维度表。近几年来数据的量级在疯狂的增长，由此带来了系列的问题。作为对人工智能团队的数据支撑，我们听到的最多的质疑是 “正确的数据集”，他们需要正确的
区块链NFT之应用NFT全称为Non-Fungible Token，是不可同质化代币/不可替代代币，任何一枚NFT代币都是不可替代且不可分割的。NFT是用于表示数字资产（包括jpg和视频剪辑形式）的唯一加密货币令牌，可以买卖。NFT是区块链的一个项目，而区块链是类似于比特币等加密货币的去中心化数字账本技术。由于NFT不可替代的特性，这就是意味着NFT应用具有独一无二的价值，也具有一定的收藏价值。比
转载
2024-07-16 22:32:35
11阅读
文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。HQL操作之–DQL命令第 1 节 MetastoreMetadata即元数据。元数据包含用Hive
转载
2023-08-18 23:04:27
139阅读
# Hive MSCK REPAIR TABLE 源码解析与示例
Hive 是一个基于 Hadoop 的数据仓库工具，用于处理和查询大规模数据。本文将重点解析 Hive 的 `MSCK REPAIR TABLE` 命令的源代码，并提供相关代码示例。
## 1. MSCK REPAIR TABLE 的作用
`MSCK REPAIR TABLE` 命令用于修复 Hive 表的元数据，特别是当你在
原创
2024-08-21 06:27:07
145阅读
1 导入方式简介2 入门示例1 导入方式简介为适配不同的数据导入需求，DorisDB 系统提供了5种不同的导入方式，以支持不同的数据源（如HDFS、Kafka、本地文件等），或者按不同的方式（异步或同步）导入数据。Broker LoadBroker Load 通过 Broker 进程访问并读取外部数据源，然后采用 MySQL 协议向 DorisDB 创建导入作业。Broker Load适用于源数据
转载
2024-02-05 10:37:05
112阅读
# 元数据管理与 Hive 的结合
元数据管理是数据管理的重要组成部分，它用于描述、管理和维护数据的结构和属性。随着数据量的激增，特别是在大数据环境中，像 Apache Hive 这样的工具应运而生，帮助用户有效地管理、查询和分析海量数据。本文将探讨元数据管理与 Hive 的关系，并通过代码示例、关系图和状态图来深入理解这一主题。
## 什么是元数据？
元数据可以被定义为“关于数据的数据”。
# 刷新元数据msck
在Hive中，当我们创建了新的分区或者删除了分区时，需要手动刷新元数据。Hive提供了`MSCK REPAIR TABLE`命令来实现这个目的。本文将向您介绍如何使用`MSCK REPAIR TABLE`命令来刷新元数据。
## 什么是元数据
在介绍刷新元数据之前，我们先来了解一下元数据的概念。元数据是描述数据的数据，它包含了数据的属性、结构和关系等信息。在Hive中
原创
2023-10-11 07:36:41
539阅读
Hive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair table
原创
2022-01-10 15:20:17
1007阅读
Hive不分区，将数据文件放到/user/hive/warehouse/表名下，不需要load就可以加载数据；Hive分区，需要使用以下命令，修复分区，hive才能查到新增分区的数据msck repair table 表名或者使用load将新分区的数据加载到hive表load data inpath '/user/hive/warehouse/03_basal_layer_zfybxers00.d
原创
2022-04-22 09:56:44
616阅读
## 如何解决“hive 大表 msck repair卡住”问题
### 问题描述
在使用Hive管理大表时，经常会遇到`msck repair`命令执行缓慢或卡住的情况，这个问题通常是由于Hive Metastore的元数据不一致导致的。在本文中，我会指导你如何解决这个问题。
### 整体流程
首先让我们看一下解决这个问题的整体流程：
```mermaid
erDiagram
PA
原创
2024-03-12 03:34:20
475阅读
1、Metastore在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。Metadata即元数据。元数据包含用Hive创建的d
转载
2023-08-30 19:20:45
56阅读
# 优化Hive大表MSCK REPAIR的速度
## 一、流程图
```mermaid
journey
title 整个优化流程
section 步骤
开始 --> 检查分区是否正确 --> 执行MSCK REPAIR --> 结束
```
## 二、状态图
```mermaid
stateDiagram
[*] --> 分区是否正确？
分
原创
2024-03-15 03:49:58
482阅读
一、表数据结构 一个hudi表的存储文件分为两类 .hoodie文件：由于CRUD的零散性，每一次的操作都会生成一个文件，这些小文件越来越多后，会严重影响HDFS的性能，Hudi设计了一套文件合并机制。.hoodie文件夹中存放了对应的文件合并操作相关的日志文件。 americas和asia相关的路
原创
2022-06-10 19:15:53
488阅读
# Apache Hive 元数据管理入门指南
Apache Hive 是一个数据仓库软件，可以让你用类 SQL 的语言（HiveQL）进行数据分析。它的元数据管理是一个重要的部分，负责存储表结构、分区、数据库等信息。本文将向刚入行的小白介绍如何实现 Hive 的元数据管理，帮助你了解流程和具体实现步骤。
## 流程概述
在开始实现 Hive 元数据管理之前，我们需要了解整个过程。下面是一个
原创
2024-08-12 07:19:59
187阅读
数据仓库元数据管理系统作者：罗小洪来源：《神州·中旬刊》2019年第06期摘要：本文首先对元数据的基本概念和作用进行了介绍，然后对元数据系统的软件架构进行了设计，并对用到的关键技术进行了说明，用到的关键技术包括：“血缘关系”，元数据抽取、转换、加载以及SQL数据的埋点、采集等。实现了将数据界面化展示，可完成数据字典查询、表对象查询等，使用户可以很轻松的获取想要的数据，大大地提高了开发的效率。关键词
转载
2023-07-20 19:26:42
77阅读
# 如何解决“hive msck repair table”不起作用的问题
## 操作流程
```mermaid
journey
title 解决“hive msck repair table”问题流程
section 开始
开始 --> 检查Hive表状态
section 操作步骤
检查Hive表状态 --> 执行MSCK命令 -->
原创
2024-06-16 03:22:37
241阅读
1. Hive的原理HiveQL语句会转化成MapReduce，提交任务到Hadoop中，用HDFS存储数据，MapReduce查询数据。1. 用户接口主有三个：CLI、JDBC/ODBC和WebGUI。 CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。2
转载
2023-08-02 11:22:42
229阅读
一、Hive的概述 1、Hive的定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL进行数据读取、写入和管理。 2、Hive的架构图 hive的各个组成部分介绍：用户接口：包括 CLI、JDBC/ODBC、WebGUI。元数据存储：通
转载
2023-07-12 09:52:26
67阅读
1.hive的基本概念Hadoop的一个数据仓库工具可以将结构化的数据文件映射为一张数据库表提供简单的SQL查询功能底层数据是存储在 HDFS上Hive的本质是将 SQL 语句转换为 MapReduce任务执行元数据信息是存放在Mysql中，元数据{(表名字、表字段、表字段类型、存放在HDFS的位置)记录数据的数据。}2.为什么要使用hive为超大数据集设计的计算/扩展能力统一的元数据管
转载
2023-07-14 12:21:33
281阅读
