RDD的算子大全RDD的算子大全基础转换操作0. Spark初始化1.map操作2.flatMap操作3.filter操作4.distinct去重操作5.mapPartions操作6. mapPartionWithIndex 操作7.union操作8. intersection交集9. subtract差集10. cartesian 笛卡尔积11.repartion重新分区12. randomSp
背景介绍在当今数据驱动的时代，Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统，Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无论是金融服务、电信、零售、医疗保健还是物联网，Spark的应用几乎遍及所有需要处理海量数据和复杂计算的领域。它的快速、易用和通用性，使得数据科学家和工程师能够轻松实现数据挖掘、数据分析、实时处理等任务。然而，
原创
2024-02-28 14:44:11
108阅读
点赞
Apache Spark RDMA插件Apache Spark™是一种用于大规模数据处理
翻译
2022-11-14 19:05:09
296阅读
Spark RDD (章节二)Apache Spark常见问题解答Spark与Apache Hadoop有何关系？Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的独立模式在Hadoop群集中运行，并且可以处理HDFS，HBase，Cassandra，Hive和任何Hadoop InputFormat中的数据。它旨在执行批处理（类似于MapReduce）和新的工
转载
2024-10-31 09:38:36
18阅读
近些年来，RDMA网卡的技术应用在全球以太网通讯市场上刮起一股旋风，特别是在阿里、腾讯等一些互联网巨头企业在服务器上大量部署RDMA网卡。2019年，据官方数据报道，天猫双11当天成交额达到2684亿元，订单创新峰值达到54.4万笔/秒，单日数据处理量达到970PB，这个惊为天人的数值出现，再一次将RDMA网卡的应用推上话题的顶峰。但是很多用户表示，看着这数
转载
2024-04-17 23:01:52
212阅读
# RDMA与SPARK：高效数据处理的结合
在当今的数据驱动时代，企业面临着大量数据处理的挑战。为了解决这些问题，Remote Direct Memory Access (RDMA) 和 Apache Spark 的结合提供了一种高效的解决方案。本文将探讨 RDMA 和 Spark 的基本概念，并通过代码示例展示如何利用 RDMA 加速 Spark 数据处理。
## 什么是RDMA？
RD
原创
2024-08-22 04:40:32
26阅读
访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运...
转载
2021-01-20 10:54:00
648阅读
2评论
# 使用 Spark RDMA 来下载数据：一个入门指南
在大数据开发时，Spark 是一个备受欢迎的工具。RDMA（Remote Direct Memory Access）则是一种高效的数据传输方式，能提高大规模计算任务的性能。今天，我们将具体了解如何在 Spark 中使用 RDMA 下载数据。本指导将逐步带你通过实现过程，尽量用简单易懂的方式呈现出来。
## 流程步骤
首先，我们来看一下
原创
2024-10-27 06:33:32
16阅读
面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在处理延时过大，数十微秒；多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时。接下来我们继续讨论RDMA技术、原理和优势，看完文章你就会找到为什么RDMA可以更好的解决这一系列问题。RDMA是一种
转载
2023-12-07 15:55:08
145阅读
SparkRDMA的环境安装简介步骤一：网络环境的搭建1，查看机器是否安装Mellanox网卡2，安装Mellanox驱动1) 下载相应的驱动并编译生成支持自己机器内核的驱动2）安装驱动3, 网络配置步骤二：SparkRDMA的安装以及环境配置1，下载SparkRDMA2，编译SparkRDMA-3.1源码3，编译生成 libdisni.so 文件4，配置spark 简介Spark 问世以来，一
云计算是近年来比较火爆的行业之一，随着国家政策支持以及互联网的高速发展得到企业的广泛应用。很多人好奇云计算的应用领域有哪些？ 其实云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算的应用领域有公
转载
2024-08-12 20:54:26
65阅读
内存访问需要通过CPU进行
转载
2022-04-01 16:59:10
5892阅读
DMA和RDMA概念1.1 DMADMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。传统内存访问需要通过CPU进行数据copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中。DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统
原创
2021-09-28 13:43:59
5474阅读
Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。本文结合机器学习思想与Spark框架代码结构来实现分布式机器学习过程，希望与大家一起学习进步～ 本文采用的组件版本为：Ubuntu 19.10、Jdk 1.8.0_241、Scala 2.11.12
RDMA技术浅析概述产生背景标准组织技术优势零复制内核旁路CPU压力卸载基于消息的事务“多对多”通信支持 概述RDMA（Remote Direct Memory Access）也即远程直接内存访问，是一种相比传统TCP/IP技术更加精简的网络技术，可以实现数据直接从一个通信节点的内存传输到另外一个通信节点中，且无需通信双方的操作系统介入。产生背景传统网络大多使用TCP/IP协议栈处理网络数据，网
转载
2024-01-12 05:52:22
146阅读
与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等。这即Matei Zaharia所谓的“设计一个通用的编程抽象(Unified Programming Abstraction)。这正是Spark这朵小火花让人着迷的地
转载
2023-12-17 11:37:01
76阅读
SparkRDMA：使用RDMA技术提升Spark的Shuffle性能过往记忆大数据过往记忆大数据如下面的图片看不清，请参见https://www.iteblog.com/archives/1964.html，或点击下面阅读原文即可。SparkShuffle基础在MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Reduce要读取到Map的输出必须要经过Shuffle这
原创
2021-04-01 18:52:10
569阅读
如下面的图片看不清，请参见 https://www.iteblog.com/archives/1964.html，或点击下面阅读原文即可。Spark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着
原创
2021-04-06 09:56:58
632阅读
# 教你如何实现Spark技术应用
## 1. 整体流程
为了更好地指导你如何实现Spark技术应用，我将整个过程分为以下步骤，并给出每一步需要做的事情和代码：
| 步骤 | 任务 |
| --- | --- |
| 1 | 准备Spark环境 |
| 2 | 导入数据 |
| 3 | 数据处理 |
| 4 | 数据分析 |
| 5 | 结果展示 |
## 2. 具体步骤和代码
###
原创
2024-07-09 05:12:18
25阅读
：https://blog..net/qq_21125183/article/details/86527199 1. 前言 在使用RDMA操作之前，我们需要了解一些RDMA API中的一些需要的值。其中在ibv_send_wr我们需要一个sg_li...
转载
2021-01-20 10:57:00
543阅读
2评论
