SparkRDMA：使用RDMA技术提升Spark的Shuffle性能过往记忆大数据过往记忆大数据如下面的图片看不清，请参见https://www.iteblog.com/archives/1964.html，或点击下面阅读原文即可。SparkShuffle基础在MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Reduce要读取到Map的输出必须要经过Shuffle这
原创
2021-04-01 18:52:10
569阅读
如下面的图片看不清，请参见 https://www.iteblog.com/archives/1964.html，或点击下面阅读原文即可。Spark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着
原创
2021-04-06 09:56:58
632阅读
SparkRDMA的环境安装简介步骤一：网络环境的搭建1，查看机器是否安装Mellanox网卡2，安装Mellanox驱动1) 下载相应的驱动并编译生成支持自己机器内核的驱动2）安装驱动3, 网络配置步骤二：SparkRDMA的安装以及环境配置1，下载SparkRDMA2，编译SparkRDMA-3.1源码3，编译生成 libdisni.so 文件4，配置spark 简介Spark 问世以来，一
