Apache Spark 集群模式一览 本文档给出了在集群上运行Spark的简短介绍，可以帮助读者深入理解组件. Components 组件driver program). 具体地说, 在集群中运行的时候, SparkContext 能够连接到各种类型的集群管理器 (cluster managers,无论是Spark自己的单独集群管理器 或者 Mesos/YARN),&nb
Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下：df.write.format("delta").save("/data/yangping.wyp/delta/test/")
//数据按照 dt 分区
df.write.format("delta").par
转载
2023-06-01 15:47:27
161阅读
# Spark Delta Lake实现指南
## 简介
在本篇文章中，我将向你介绍如何使用Spark Delta Lake。Delta Lake是一个开源的数据湖解决方案，它提供了一种可靠的方式来管理大规模数据湖中的数据。Delta Lake支持ACID事务，具有数据版本控制和管理功能，以及与Spark的无缝集成。
## 实现步骤
下面是使用Spark Delta Lake实现的步骤：
原创
2023-08-29 08:30:23
204阅读
最近，Delta Lake 发布了一项新功能，也就是支持直接使用 Scala、Java 或者 Python 来查询 Delta Lake 里面的数据，这个是不需要通过 Spark 引擎来实现的。Scala 和 Java 读取 Delta Lake 里面的数据是通过 Delta Standalone Reader[1] 实现的；而 Python 则是通过 Delta R
转载
2023-12-15 13:38:00
80阅读
Daft 对于delta lake 支持本地写入以及基于catalog的，当前内部基于了delta-rs，对于catalog 的支持包含了aws glue 以及u
Delta Lake 是一个存储层，为 Apache Spark 和大数据 workloads 提供 ACID 事务能力
转载
2020-03-05 09:12:13
5005阅读
百花齐放的大数据生态17，18是计算引擎火热的两年，19年已然是红海了。计其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在...
原创
2023-03-17 19:56:40
102阅读
1. DeltaLake是什么 Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证
转载
2024-02-04 14:42:03
38阅读
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh
原创
2021-07-18 14:06:01
1475阅读
©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任什么是Delta Lake？看看Delta Lake官网给出的定义：Delta Lake就是一个开源的存储框架，而且是用来构建Lakehouse架构的存储框架。这里简单说一下Lakehouse架构这个概念，Databricks应该是在2020年左右提出的，Databricks的联合创始人们2021
原创
2024-02-24 12:04:58
112阅读
## Hive 与 Delta Lake
Hive 是一个建立在 Hadoop 之上的数据仓库基础设施，提供了类似于 SQL 的查询语言 HiveQL，可以用来处理大规模数据。而 Delta Lake 是一个开源的存储层，构建在 Apache Spark 之上，为数据湖和数据仓库提供了 ACID 事务能力。本文将介绍 Hive 和 Delta Lake 的基本概念，以及它们在大数据处理中的应用。
原创
2024-03-15 03:48:39
181阅读
01DeltaLake 简介Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。Delta Lake 关键特性：ACID事务：通过不同等级的隔离策略，Delta Lake 支持
转载
2024-07-11 16:14:33
60阅读
使用SQL操作DeltaLake过往记忆大数据过往记忆大数据DeltaLake0.7.0是随着ApacheSpark3.0版本发布之后发布的，这个版本比较重要的特性就是支持使用SQL来操作Delta表，包括DDL和DML操作。本文将详细介绍如何使用SQL来操作DeltaLake表，关于DeltaLake0.7.0版本的详细ReleaseNote可以参见这里。使用SQL在HiveMetastore中
原创
2021-03-30 20:13:18
345阅读
Delta Lake 0.7.0 是随着 Apache Spark 3.0 版本发布之后发布的，这个版本比较重要的特性就是支持使用 SQL 来操作 Delta 表，包括 DDL 和 DML 操作。本文将详细介绍如何使用 SQL 来操作 Delta Lake 表，关于 Delta Lake 0.7.0 版本的详细 Release Note 可以参见这里。使用 SQL 在 Hive Metastore
原创
2021-04-05 17:22:16
441阅读
# Delta Lake: 将Hive表升级为事务性表格
Delta Lake是一个开源的数据湖引擎，用于管理大数据湖中的批处理和流式数据。它提供了一种可靠的、高性能的、可伸缩的方式来处理和管理数据湖中的数据。Delta Lake通过添加事务性、一致性、可恢复性和幂等性功能来扩展Apache Hive表，这使得它成为处理大规模数据的理想选择。
## Hive表的局限性
Apache Hive
原创
2023-08-03 17:20:16
133阅读
Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。
原创
精选
2022-05-11 10:18:23
902阅读
重磅|ApacheSpark社区期待的DeltaLake开源了过往记忆大数据过往记忆大数据本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2545.html2019年4月24日在美国旧金山召开的Spark+AISummit2019会上，Databricks的联合创始人及CEOAliGhodsi宣布将DatabricksRuntime里面的Del
原创
2021-03-31 19:04:23
410阅读
