今天写了个sql跑了好久，老大过来一看指点下，多用子查询，多用where，然后在join，提高十多倍，神奇了。想了想，还是老大经验丰富。
如果先join，就全表扫描，然后最后where最后筛选，比较耗时。如果用子查询，就可以利用where过滤不相关的字段，不但增加了map 数量，还减少了数据量。
转载
2023-06-20 10:29:14
48阅读
阿里妹导读：日前，阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址，开发者们可以在Github上获取源代码并参与开发。Mars 突破了现有大数据计算引擎的关系代数为主的计算模型，将分布式技术引入科学计算/数值计算领域，极大地扩展了科学计算的计算规模和效率。目前已应用于阿里巴巴及其云上客户的业务和生产场景。下面，我们将详细介绍Mars的设计初衷和技术架构，希望和大家共同交流探讨。G
MySQL的存储引擎是MySQL体系架构中的重要组成部分，也是MySQL体系结构的核心，插件式的存储引擎更是它区别于其它数据库的重要特征。它处于MySQL体系架构中Server端底层，是底层物理结构的实现，用于将数据以各种不同的技术方式存储到文件或者内存中，不同的存储引擎具备不同的存储机制、索引技巧和锁定水平。常见的MySQL存储引擎有InnoDB、MyISAM、Memory、Archive等等，
一、简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。二、特点1.高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所
转载
2023-11-23 15:47:11
80阅读
一、RDD（Resilient Distributed Dataset）弹性分布式数据集 Spark 中最基本的数据抽象是RDD。二、RDD五大特点 • A list of partitions RDD由很多parti
转载
2024-01-29 00:37:57
24阅读
一、Spark的特点Spark特性Spark通过在数据处理过程中成本更低的洗牌（Shuffle）方式，将MapReduce提升到一个更高的层次。利用内存数据存储和接近实时的处理能力，Spark比其他的大数据处理技术的性能要快很多倍。Spark还支持大数据查询的延迟计算，这可以帮助优化大数据处理流程中的处理步骤。Spark还提供高级的API以提升开发者的生产力，除此之外还为大数据解决方案提供一致的体
转载
2023-08-16 16:07:30
57阅读
弹性分布式数据集，对不同数据源数据的一种抽象表示The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements partitioned across the nodes of the cluster that can be operated
由于最近在工作中刚接触到scala和Spark，并且作为python中毒者，爬行过程很是艰难，所以这一系列分为几个部分记录下学习《Spark快速大数据分析》的知识点以及自己在工程中遇到的小问题，以下阶段也是我循序了解Spark的一个历程。 先抛出几个问题：什么是Spark？Spark内部是怎么实现集群调度的？如何调用Spark？如何打包一个Spark独立应用？一、Spark是什么 Spar
转载
2024-06-03 10:59:21
42阅读
本ppt来自于4月23-25日举行的 Spark + AI Summit 2019，分享嘉宾为Maryann Xue, Xingbo Jiang, Kris Mok。Spark SQL 使得我们能够使用分析数据库技术执行高效且具有容错的关系查询。本文深入探讨Spark SQL执行引擎。内容包括物理计划、全阶段代码生成（whole-stage code generation）、Stage 执行、UD
原创
2021-04-06 09:30:01
706阅读
深入理解SparkSQL查询引擎过往记忆大数据过往记忆大数据本ppt来自于4月23-25日举行的Spark+AISummit2019，分享嘉宾为MaryannXue,XingboJiang,KrisMok。SparkSQL使得我们能够使用分析数据库技术执行高效且具有容错的关系查询。本文深入探讨SparkSQL执行引擎。内容包括物理计划、全阶段代码生成（whole-stagecodegenerati
原创
2021-03-31 19:29:00
302阅读
SparkStreaming案例 案例1-WordCount yum install -y nchttps://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/NetworkWordCount.sca
文章目录前言一、Spark SQL概述1.1 Spark是什么1.2 Spark SQL优势1.3Spark SQL数据抽象1.4RDD，DataFame，Dataset区别和共性二，Spark SQL原理2.1SparkSession2.3三者的转换2.4SparkSQL中的join2.5 SQL解析过程 前言Spark SQL自从面世以来不仅接过了shark的接力棒，为spark用户提供高性
转载
2023-11-25 12:59:03
65阅读
Spark 数据ETL 说明1、本文翻译自《Machine Learning with Spark》书中第三章第3,4节内容。2、本文一些内容基于。3、大家如果有看不懂的地方可以参考原书（网上可以搜到）。 数据处理以及转化1、当我们完成了一些对数据集的探索和分析，我们知道了一些关于用户数据以及电影数据的特征，
转载
2023-10-16 06:39:05
110阅读
# Spark中的saveAsTable函数：解析与应用
Apache Spark是一个强大的开源分布式计算框架，广泛应用于大数据处理和分析。Spark提供了丰富的API，以支持数据的存储、查询和操作。其中，`saveAsTable`是一个重要的功能，能够将DataFrame保存为表格，便于后续的SQL查询和数据分析。本文将深入探讨`saveAsTable`的用法，并给出相关代码示例。
##
前言有赞数据平台从2017年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量5000个，占离线作业数目的55%，消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验和优化建议，包括以下方面的内容：有赞数据平台的整体架构。SparkSQL 在有赞的技术演进。从 Hive
转载
2023-09-08 12:23:10
169阅读
# 如何实现 Spark 引擎
在如今的大数据时代，Apache Spark 是一个强大的数据处理引擎，广泛用于大规模数据处理、流处理和机器学习等场景。如果你是刚入行的小白，别担心，接下来我将详细解释如何实现 Spark 引擎的基本流程和相关代码。
## 实现 Spark 引擎的步骤
接下来我们将用表格的形式展示实现 Spark 引擎的流程：
| 步骤 | 描述 |
|------|---
# Spark作为规则引擎的探讨
在大数据处理领域，Apache Spark是一个非常受欢迎的分布式计算引擎，它提供了丰富的API和内置的优化功能，可以帮助用户快速地处理大规模数据。但是，对于一些业务场景，需要基于一定的规则来进行数据处理和决策。那么，是否可以将Spark作为规则引擎来使用呢？本文将对这个问题进行探讨。
## Spark与规则引擎的关系
规则引擎是指一种软件系统，它可以根据事
原创
2024-03-12 05:25:34
88阅读
Spark是一种由scala编写的快速、通用、可扩展的大数据分析引擎。计算引擎优势就是集合数据，去计算统计其中的内容。通过计算出的统计，对未来的行为做出一些依据行为之前的hadoop mapreduce也是计算引擎。内存计算下Spark比Hadoop快100倍使用Scala代码去编写spark。spark除了scala语言还支持java和php特点1）快：与Hadoop的MapReduce相比，S
转载
2024-02-04 06:44:53
49阅读
一，整合原理1，HiveOnSparkHive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析为物理执行计划，将物理执行计划转换为计算任务，交由计算引擎执行，默认的引擎是MapReduce，但MapReduce执行速度慢，随着Spark的崛起，Hive支持Spark作为计算引擎，这就是HiveOnSpark2，SparkOnHive比较容易混淆，二者差距还是很大的，SparkOnHiv
转载
2023-08-18 22:37:13
1579阅读
# Spark 是代码 API 吗？
在现代数据处理和分析的领域，Apache Spark 作为一个强大的大数据处理引擎，已经获得了广泛的关注和应用。很多开发者和数据科学家在使用 Spark 进行数据计算时，往往会问：“Spark 是代码 API 吗？”在这篇文章中，我们将详细探讨这个问题。在引言之后，我们会深入分析 Spark 的架构、核心概念以及如何通过代码 API 与 Spark 进行交互
