典型的磁盘数据库就是最常用的 Oracle，Mysql等。典型的内存数据库如 Redis。这俩种数据库的比较如下：传统磁盘数据库的优点 – 传统数据库的ACID机制成熟、可靠；– 提供强大的数据定义语言（DDL）及数据操作语言（DML），提供 SQL 支持； – 提供一定的主动机制（如触发器，Trigger）和后台数据处理能力（如存 储过程，Stored Procedure）。 传统磁盘数据库的主
转载
2023-07-11 22:30:04
49阅读
目录1. spark介绍2. RDD理解2.1 RDD概念2.2 Partition分片2.3 Partitioner3. 宽窄依赖4. stage划分4. spark与DAG注脚1. spark介绍spark是基于内存计算的大数据并行计算框架。 特性：DAG执行引擎，可分布式，基于内存计算。2. RDD理解RDD：是弹性分布式数据集（Resilient Distributed Dataset）的
转载
2023-06-07 10:38:32
100阅读
Spark学习笔记之SparkRDD一、 基本概念 RDD（resilient distributed datasets）弹性分布式数据集。 来自于两方面① 内存集合和外部存储系统② 通过转换来自于其他RDD，如map，filter等2.创建操作（creation operation）：RDD的创建由Spa
转载
2023-07-03 13:22:41
81阅读
一、概述为什么要将RDD转换为DataFrame？
因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据，使用Spark SQL进行SQL查询了。这个功能是无比强大的。
想象一下，针对HDFS中的数据，直接就可以使用SQL进行查询。
Spark SQL支持两种方式来将RDD转换为DataFrame。
第一种方式
是使用反射来推断包含了特定数据类型的RDD的元数据。这种基于反射的
转载
2023-10-31 20:11:16
61阅读
在SparkCore中的一切计算都是基于RDD的，那RDD是个什么东西呢?RDD是Resilient Distribute Dataset(弹性分布式数据集)的缩写，说白了，RDD可以理解为spark处理数据的基本单位，但是RDD又不是真实的存有数据，它只是具有操作数据的能力，相当于一个租房中介，中介手上掌握了一手的房源信息，而sparkCore就相当于租房子的人，一般直接找到房子不简单，所以我们
转载
2023-12-09 12:28:21
31阅读
文章目录RDD Partition属性partitionspartitions.sizepartitionerRDD的初始分区spark.default.parallelism通过RDD产生方式计算RDD分区数有多少个分区是合适的？Spark分区器HashPartitionerRangePartitioner代码示例 数据量很大时，单个节点无法完全存储和计算，需要分割成多个数据块Block，S
转载
2023-08-30 14:57:34
55阅读
一，RDD概述 1.1 什么是RDD 1.2 RDD的属性二，创建RDD三，RDD编程API 3.1 Transformation 3.2 Action 3.3 WordCount 3.4 练习四，RDD的依赖关系 4.1 窄依赖 4.2 宽依赖 4.3 Lineage 正文一，RDD概述 1.1 什么是R
转载
2023-11-27 13:02:11
91阅读
一.NettyRpcEnv主要组件子组件TransportConf，Dispatcher，TransportClientFactory，TransportServerTransportConf 为RPC框架的中的配置类Dispatcher 可以有效提高NettyRpcEnv消息异步处理能力和并行处理能力，负责将RPC消息路由到应该对此消息处理的RpcEndpoint端点。TransportCont
# Spark RDD导入数据的基本方法
在大数据处理领域，Apache Spark是一种广泛使用的分布式计算框架，其中的弹性分布式数据集（RDD）是Spark中最基本的数据结构之一。RDD使得数据可以通过多种方式进行操作和计算。本文将重点介绍如何导入数据到Spark RDD中，并附有代码示例。
## 什么是RDD？
RDD是一个不可变的分布式对象集合，具有容错性和并行计算的优势。用户可以通
# Spark RDD 新增数据的科普
Apache Spark 是一个强大的大数据处理框架，其核心概念之一是弹性分布式数据集（RDD）。RDD是Spark的基本抽象，表征一组不可变的数据集合。这些数据可以并行处理，非常适合大规模数据的计算任务。在这篇文章中，我们将深入探讨如何在RDD中添加数据，并通过相关代码示例来逐步阐述。
## 什么是 RDD？
在深入 RDD 新增数据之前，让我们先回
原创
2024-10-09 04:05:59
103阅读
1 RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。1.2 RDD的属性1)一组分区（Partition），即数据集的基本组成单位; 2)一个计算每个分区的函数; 3)RDD之间的依赖关系; 4)一个Partitioner
转载
2023-11-20 14:23:52
97阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
利用eclipse连接数据库 第一步：先下载mysql 网址是：https://dev.mysql.com/downloads/installer/ 第二步：下载完成后就可以安装了 1.双击下载的mysql-installer-web-community-5.7.17.0.msi文件 进行安装。 2.安装过后打开cmd输入net srar
转载
2023-07-16 15:56:13
99阅读
文章目录一、Spark概述1、概述2、Spark特点二、Spark角色介绍及运行模式1、集群角色2、运行模式三、Spark集群安装1.Local模式1.下载文件2.解压缩3、修改配置文件4.配置环境变量5.启动服务6.启动客户端2.Standalone模式1.停止服务2.修改配置文件spark-env.sh3.修改配置文件workers4、将配置好后的spark-3.1.2安装包分发到其他节点5
转载
2024-03-12 13:29:30
368阅读
RDD通过Cache或者Persist方法将前面的计算结果缓存，默认情况下会把数据以序列化的形式缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action算子时，该RDD将会被缓存在计算节点的内存中，并供后面重用。Cache缓存图示如下：1. 代码实现package com.bigdata.cache;
import org.apache.spark.SparkCon
转载
2023-10-19 23:19:22
154阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
Spark3：RDD概述一、RDD概述二、RDD创建1.从文件系统中加载数据创建RDD2.通过并行集合（数组）创建RDD三、RDD操作1.转换操作①filter③map④flatmap⑤groupByKey⑥reduceByKey2.动作操作四、RDD的持久化和分区Checkpoint1.持久化2.分区 一、RDD概述RDD（Resilient Distributed Dataset）叫做弹性分
转载
2023-09-05 20:53:16
49阅读
