spark-初阶①(介绍+RDD)Spark是什么?Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.Spark的特点(优点)速度快Spark 的在内存时的运行速度是 Hadoop MapReduce 的100倍基于硬盘的运算速度大概是
转载
2024-05-27 18:13:55
59阅读
# Spark unionAll的写法
在Spark中，我们经常会遇到需要合并多个数据集的情况。而`unionAll`操作正是用于将两个或多个数据集合并在一起的方法。本文将详细介绍`unionAll`的写法以及一些示例代码。
## 什么是unionAll
`unionAll`是Spark中一个常用的操作，它可以将多个数据集按照列的顺序连接在一起，生成一个新的数据集。这个操作不会删除任何数据，
原创
2023-12-26 06:24:23
76阅读
1: 什么时候用union和union all ? 我们经常会碰到这样的应用，两个表的数据按照一定的查询条件查询出来以后，需要将结果合并到一起显示出来，这个时候就需要用到union和union all关键字来实现这样的功能，union和union all的主要区别是union all是把结果集直接合并在一起，而union 是将union all后的结果镜像一次dist
转载
2023-08-13 23:25:21
56阅读
本文主要介绍了spark的基本概念和交互式使用（Scala语言），不涉及在独立应用中使用spark、集群部署 1. Spark 是什么Apache Spark 是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。如果你
转载
2024-01-15 20:18:11
88阅读
$where['enterprise_id'] = $enterpriseId;
//企业名称不为空
if(!empty($enterpriseName)){
$where['enterprise_name'] = array('like',"%$enterpriseName%");
}
$table2&nb
原创
2016-05-12 15:39:46
2243阅读
# SQL Server中的UNION ALL 操作详解
在数据处理和分析中，经常需要从多个表或查询结果中获取数据。在 SQL Server 中，我们可以使用 `UNION ALL` 来实现这一目的。本文将教会你如何使用 `UNION ALL`，并提供详细步骤、示例代码和可视化结果。
## 流程概述
以下是实现 `UNION ALL` 的基本步骤：
| 步骤 | 操作
原创
2024-10-04 05:38:57
67阅读
# Hive Unionall 路径
在Hive中，Unionall是一种经常用到的操作，用于将多个查询的结果集合并为一个结果集。本文将介绍Hive中的Unionall操作及其使用方法，并提供代码示例进行演示。
## Unionall操作概述
Unionall操作用于将多个查询的结果集合并成一个结果集。与Union操作不同的是，Unionall不进行去重操作，即结果集中可能包含重复的记录。
原创
2024-02-03 11:43:04
29阅读
MySQL优化器选错索引情况1. 优化器选错索引2. 优化器的逻辑3. 索引选择异常和处理 1. 优化器选错索引之前MySQL架构以及执行sql查询语句介绍过MySQL优化器可以帮助我们优化sql语句，选择合适的索引以及是选择先投影还是先过滤更优，但是在实际使用中发现MySQL优化器也会存在选择错误索引的情况，之前的介绍可以参考：MySQL是如何执行一条SQL查询语句的我们先建一个简单的表，表里
# MySQL中的SUM函数和UNION ALL操作
## 简介
MySQL是一种流行的关系型数据库管理系统，广泛应用于各种Web应用和大型数据库应用程序中。在MySQL中，SUM函数用于计算指定列的总和，而UNION ALL操作用于将多个结果集合并为一个结果集。
本文将详细介绍MySQL中的SUM函数和UNION ALL操作，并提供相关的代码示例，以帮助读者更好地理解和使用它们。
##
原创
2023-08-28 04:06:45
158阅读
# 实现 Docker Spark 速度的指南
Docker 和 Apache Spark 是现代数据处理的强大工具。利用 Docker 部署 Spark，可以简化环境配置并提升开发和运行的灵活性。本篇文章将指导新手如何实现 Docker Spark，并优化其运行速度。整个流程将分为几个主要步骤，我们将详细介绍每一个步骤。
## 整体流程
以下是实现 Docker Spark 的步骤:
|
原创
2024-08-25 06:34:15
32阅读
## Spark 写入速度
Spark 是一个基于内存计算的分布式计算框架，它提供了强大的处理能力和高效的数据处理方式。在大数据处理中，写入速度往往是一个关键指标，因为数据的写入速度决定了实时数据处理的能力。本文将介绍使用 Spark 写入数据的方法，并探讨如何提高写入速度。
### Spark 写入数据的方法
Spark 提供了多种方式来写入数据，包括将数据保存到文件系统、将数据保存到数据
原创
2023-09-29 18:20:58
162阅读
# Hive使用UNION ALL
## 简介
在Hive中，UNION ALL是一种用于合并多个查询结果集的操作。它将两个或多个查询的结果集按原始顺序组合在一起，返回所有行，包括重复的行。本文将介绍如何在Hive中使用UNION ALL。
## 流程图
```mermaid
flowchart TD
A[创建数据库] --> B[创建表A]
B --> C[插入数据到表A]
原创
2023-12-24 09:07:32
111阅读
nblogs1使用SET NOCOUNT ON 选项：缺 省地，每次执行SQL语句时，一个消息会从服务端发给客户端以显示SQL语句影响的行数。这些信息对客户端来说很少有用。通过关闭这个缺省值，你能减少在 服务端和客户端的网络流量，帮助全面提升服务器和应用程序的性能。为了关闭存储过程级的这个特点，在每个存储过程的开头包含“SET NOCOUNT ON”语句。2正确使用UNION和UNION ALL：
Mysql的联合查询命令UNION和UNION ALL,总结了使用语法和注意事项，以及学习例子和项目例子,需要的朋友可以参考下 一、UNION和UNION ALL的作用和语法 UNION 用于合......Mysql的联合查询命令UNION和UNION ALL,总结了使用语法和注意事项，以及学习例子和项目例子,需要的朋友可以参考下一、UNION和UNION ALL的作用和语法UNION 用于合并两
转载
2024-10-11 20:43:08
12阅读
怀念看论文的日子~/打算写一个Spark系列，主要以Scala代码实现，请赐予我力量吧！！！Spark的特点运行速度：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用性强：能够读取HDFS、Cassandra、HBase、S3和Techyon为
转载
2024-02-17 11:10:59
88阅读
前一段时间数据挖掘组的同学向我返回说自己的一段pyspark代码执行非常缓慢，而代码本身非常简单，就是查询hive 一个视图中的数据，而且通过limit 10限制了数据量。 不说别的，先贴我的代码吧：from pyspark.sql import HiveContext
from pyspark.sql.functions import *
import json
hc = HiveContex
转载
2023-06-19 05:51:00
190阅读
什么是Spark
基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。
Spark特点
快：
Spark计算速度是MapReduce计算速度的10-100倍
易用：（算法多）
MR支持1种计算模型，Spsark支持更多的算模型。
通用：
Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等
兼容性：
Spar
转载
2023-07-30 00:47:01
84阅读
1.spark的概念Apache Spark™ is a fast and general engine for large-scale data processing.Apache Spark 是处理大规模数据的快速的、通用的引擎。3.spark的四大特征（1）Speed（速度）Run programs up to 100x faster than Hadoop MapReduce i
转载
2023-09-22 21:18:28
111阅读
一、在spark中查看执行完成的日志spark thrift server的web ui在运行时可以看到sql查询的提交用户，执行sql等信息 但是当这个实例停掉或者异常终止以后，你再去spark history server的webui去查看，发现这部分信息就没有了…… image.png究其原因，原来spark thrift server并没有将这部
转载
2023-08-11 10:35:01
191阅读
5.9 MapReduce与Tez对比Tez是一个基于Hadoop YARN构建的新计算框架，将任务组成一个有向无环图（DAG）去执行作业，所有的作业都可以描述成顶点和边构成的DAG。 Tez为数据处理提供了统一的接口，不再像MapReduce计算引擎一样将任务分为作业Map和Reduce阶段。在Tez中任务由输入（input）、输出（output）和处理器（processor）三部分接口组成，处
转载
2024-06-12 21:51:09
158阅读
