转载
2024-01-27 19:36:36
31阅读
|0x00 什么是数据湖数据湖的概念最初是由大数据厂商提出的，可以简单理解为一个集中存储数据的数据库，不论是结构化数据or非结构化数据，海量数据or少量数据，都能够支持存储和计算。就像在湖中有多个支流进入一样，结构化数据、非结构化数据、日志数据、实时数据，都流入了同一种数据存储结构之中，并进行不同类型的分析处理，以指导做出更好的决策。数据湖通常采用Hadoop作为数据的承载对象，随着企业规模的扩大
转载
2024-01-02 15:01:28
174阅读
Flink将数据写入到 hudi准备阶段启动hadoop集群（单机模式）./sbin/start-all.shhdfs离开安全模式hdfs dfsadmin -safemode leave启动hive后台启动元数据./hive --service metastore &启动hiveserver2./hiveserver2 &执行sql语句之前先设置本地模式，要不然很慢set hiv
转载
2024-05-16 07:02:26
66阅读
# Hive与数据湖的实现指南
在当今大数据时代，Hive和数据湖是数据处理和分析的重要概念。许多刚入行的开发者可能会感到困惑，不知道如何将Hive与数据湖结合起来。本文将为您提供一个全面的指导，旨在帮助您理解如何实现Hive与数据湖的集成。
## 一、工作流程
在实现Hive与数据湖的集成之前，我们首先需要明确整个流程。下面是该流程的简要步骤：
| 步骤 | 描述
原创
2024-08-09 09:52:56
86阅读
1. 什么是Hive Apache Hive 是可实现大规模分析的分布式容错数据仓库系统。该数据仓库集中存储信息，您可以轻松对此类信息进行分析，从而做出明智的数据驱动决策。Hive 让用户可以利用 SQL 读取、写入和管理 PB 级数据。 &nbs
转载
2023-09-20 04:44:22
103阅读
数据湖如何助力企业大数据中台架构的升级1.大数据平台架构数据处理的流程： 采集-->清洗-->存储 --> 计算-->分析-->应用HDFS架构 MapReduce的核心思想 Hive的架构 大数据平台整体架构 2.从数据库到数据仓库的演进过程离线数据仓库 实时
转载
2023-09-11 17:39:52
38阅读
在每天运行的Hive脚本中，偶尔会抛出以下错误： 2013-09-03 01:39:00,973 ERROR parse.SemanticAnalyzer (SemanticAnalyzer.java:getMetaData(1128)) - org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table dw_x
转载
2024-08-30 15:06:18
19阅读
hive内部表外部表的挂载数据、删除数据及修改原数据各种细节,一一帮你踩坑原数据1700 Beijing
1800 London
1900 Tokyo建立外部表：create external table student
id int
name strin
)row format delimited fields terminated by ' '加载本地数据：load data local in
转载
2023-07-10 23:04:04
261阅读
文章目录前言： 共同点一、Databricks 和 Delta1.1、Delta的意图,解决的疼点1、没有 Delta 数据湖之前存在的问题 :二、Uber和Apache Hudi三、Netflix和Apache Iceberg四、痛点小结4.1、七大维度对比4.1.1、ACID和隔离级别支持4.1.2、Schema 变动支持和设计4.1.3、流批接口支持4.1.4、接口抽象程度和插件化4.1.
文章目录一、什么是数据湖？1.1、数据湖概述1.2、为什么需要数据湖？1.3、数据湖架构1.3.1、来源1.3.1.1、同质来源1.3.1.2、异构来源1.3.1.3、数据湖架构主要使用以下来源：1.3.2、数据处理层1.3.3、目标1.3.3.1、DW/EDW1.3.3.2、分析仪表板1.3.3.3、数据可视化工具1.3.3.4、机器学习项目1.4、数据湖的优点与风险1.4.1、优点1.4.2
转载
2024-10-12 07:08:29
104阅读
数据仓库是什么数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的清洗过结构化数据来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的原始数据架构设计在数据仓库实施之前（写入型 Schema）。在存储数据之前定义架构。这需要您清理和规范化数据，这意味着架构的灵活性要低得多。准备使用数据时，就给它一个定义（读取型 Schema）。在存储数据后定义架构。这需要较少的初始工作并提供更
转载
2023-10-26 22:42:59
97阅读
# 实现durid是否支持hive数据湖
作为一名经验丰富的开发者，我将为你详细介绍如何实现Durid是否支持Hive数据湖。首先，我们来看一下整个流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 引入Druid Hive扩展包 |
| 2 | 配置Druid连接Hive数据湖 |
| 3 | 查询Hive数据湖 |
接下来，我会解释每一个步骤，包括需要使用的代码和
原创
2024-02-28 05:47:16
60阅读
第6章 Hudi核心概念介绍更为详细的使用文档请参考《尚硅谷大数据之Hudi》。6.1 基本概念6.1.1 时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）执行的所有操作的时间轴（timeline），这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由以下三个部分组成：1）Instant action：在表上执行的操作类
一，优化介绍1，大数据平台SQL优化的背景，以及采取的措施2，优化效果概述这个效果还是蛮理想的，也说明了在项目中sql优化是一项重要的技能之一，也是一个大数据开发人员进阶必备技能。3，版本信息与名词在分享SQL优化之前，先了解一下部分名词的含义。二，优化场景1，主要的优化场景1.1，多余分区冗余计算解决方法：1.2，历史静态数据重复计算解决方法>步骤1：优化前把历史结果表落地，再计算出新增结
HIVE Bucketed Table 在建表语句中使用语句 CLUSTERED BY这种类型表，虽说不常用，但是既然存在就会有其存在的价值，这里介绍下。Bucketed Table 如下创建Bucketed table的示例：CREATE TABLE page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_ur
数据湖概述提到数据湖就要先说一下数据仓库，数据仓库是集成多业务系统数据、面向主题的、专门用于数据查询分析的数据组织形式。当业务系统数据量不断增大、业务系统数量不断增多以后，数据仓库的出现就会成为必然。原始数据入仓时需要经过一系列清洗转换，以及深度组织才能满足业务的需要。因此数据仓库要解决的核心问题是：回答业务中已有的问题。这些问题必须事先定义好。那么事先没想到的问题（潜在数据价值）怎么办？如果按照
Azure Data Lake 刚刚全面上
原创
2022-08-10 08:59:44
215阅读
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
原创
2022-05-31 07:08:16
1747阅读
点赞
Hive与Iceberg整合Iceberg就是一种表格式，支持使用Hive对Iceberg进行读写操作，但是对Hive的版本有要求，如下：操作Hive 2.xHive 3.1.2CREATE EXTERNAL TABLE√√CREATE TABLE√√DROP TABLE√√SELECT√√INSERT INTO√√这里基于Hive3.1.2版本进行Hive操作Iceberg表讲解。一、开启Hiv
原创
2022-07-08 06:14:54
2048阅读
点赞
# 教你如何实现Hive关联删除数据
## 1. 流程图
```mermaid
stateDiagram
[*] --> 开始
开始 --> 创建Hive表
创建Hive表 --> 加载数据
加载数据 --> 删除数据
删除数据 --> 结束
结束 --> [*]
```
## 2. 表格展示步骤
| 步骤 | 操作
原创
2024-07-11 04:26:38
68阅读
