雷锋网消息，10月23日，NVIDIA在北京召开沟通会，由亚太区解决方案架构主管赵立威详解了RAPIDS开源GPU数据加速平台。 该平台发布于2018年10月10日的GTC Europe大会上，是一款针对数据科学和机器学习的GPU加速平台，为数据科学家提供标准化的流水线式工具，数据处理速度较仅用CPU提升50倍。 沟通会后，雷锋网与NVIDIA中国高级解决方案架构师何萍，以及NVIDIA亚太区解决
Spark整体概述1.1整体概念 Apache Spark是一个开源的通用集群计算系统，他提供了High-level编程API，支持Scala，Java和Python三种编程语言。Spark内核使用scala编写，通过基于Scalade 函数式编程特性，在不同的计算层面进行抽象。1.2 RDD抽象 RDD(Resilient Distributer Da
转载
2023-11-23 12:37:47
116阅读
图分析Rapids cuGraph 英伟达（Nvidia）建立的新的开源库可能是推进分析和使图形数据库更快的秘密要素。 在Nvidia GPU上进行并行处理。 Nvidia很久以前就不再只是“仅仅”一家硬件公司。由于其硬件是支持AI火爆的大部分计算运行的要素，因此Nvidia承担了为软件铺路的最后一
转载
2020-12-27 06:32:00
423阅读
2评论
目录RAPIDS 在数据科学流程中的具体作用（分阶段解析）：1. 数据加载与清洗（替代 Pandas/Numpy）2. 特征工程（替代 Scikit-learn 预处理）3. 模型训练（替代传统机器学习库）4. 大规模数据处理（结合 Dask 分布式计算）5. 减少 “数据瓶颈”，提升迭代效率总结： ...
BYD研发中心西安招人。
原创
2022-09-11 00:06:08
768阅读
先说学习心得 通过这篇对特征重要性的baseline学习，我学习到了如下三个点： 1.feature_importance 2.一款GPU计算的开源框架rapids 3.回顾了xgb树模型的生成过程 资源搬运如下： https://www.kaggle.com/aerdem4/m5-lofo-imp
转载
2020-04-29 11:33:00
286阅读
2评论
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
Spark扩展持久化RDD Cache缓存RDD CheckPoint 检查点缓存和检查点区别自定义分区存储与读取累加器广播持久化RDD Cache缓存RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系println(wordToOneR.
原创
2022-03-23 10:21:17
998阅读
2022-10-13 15:15· @结城安穗-YuuKi_AnS 刚刚在社交媒体上，分享了与英特尔下一代 Sapphire Rapids、Granite Rapids 和 Diamond Rapids 系列有关的至强 CPU 新爆料。若传闻靠谱，蓝厂或于 2023 年 Q1 / Q3 季度、陆续推出 4 / 8 路的 Sapphire Rapids 至强 CPU
转载
2022-12-12 22:40:08
453阅读
一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因
转载
2023-07-12 09:57:21
441阅读
一、定义与特点定义
专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点
速度快
内存计算下，Spark 比 Hadoop 快100倍易用性
80多个高级运算符跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性
Spark 提供了大量的库，包括SQL、DataFrames、MLib、Gra
转载
2023-08-10 09:12:39
366阅读
1、Application application（应用）其实就是用spark-submit提交的程序。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储。2、Driver Spark中的driver感觉其实和yarn中Application Master的
转载
2023-11-02 10:32:42
202阅读
Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx
原创
2017-07-03 11:19:00
6469阅读
点赞
spark架构设计 1 角色名称 Client,Driver program,cluster manager/Yarn，workerNode 2 角色作用 client：用户通过client提交application程序，shell命令等 Driver：启动sparkContext环境，将application程序转换成任务RDD和DAG有向图，与clustermanger进行资源交互，分配ta
转载
2023-12-09 15:40:46
163阅读
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本非常高，须要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同一时候还须要消耗很多其它的存储资源。 因此，Spark选择记录更新的方式。可是，假设更新
转载
2017-07-13 21:10:00
2606阅读
2评论
一、官网介绍 1 什么是Spark 官网地址：://spark.apache.org/ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce ...
转载
2021-08-03 09:25:00
2527阅读
2评论
一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。 二、为什么要进行分区 数据分区， ...
转载
2021-08-03 14:38:00
3049阅读
2评论
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理
原创
2022-03-23 10:24:56
832阅读
在大数据处理的过程中，Apache Spark 是一个非常重要的工具，尤其是在执行数据分析时。使用 `spark shell` 通过 Spark 链接 Spark 集群时，有时会遇到一系列复杂的问题。本篇博文旨在对解决“spark shell 链接spark”的过程进行全面梳理。
## 环境配置
首先，我们需要配置 Spark 环境。这包含Java和Scala的安装，以及对Spark的配置。在这
# 监控Spark History的入门指南
作为一名刚入行的开发者，监控Spark History可能是一个令人生畏的任务。但不用担心，本文将引导你一步步实现监控Spark History的过程。通过本文，你将学会如何设置和使用Spark监控工具，确保你的Spark作业运行得更加高效和稳定。
## 监控Spark History的流程
首先，让我们通过一个表格来了解整个监控流程的步骤：
原创
2024-07-30 11:25:29
641阅读
