要学习spark，必须明白rdd，如果你不明白rdd，那么你会一脸懵逼的spark与MR的区别spark把运算的中间数据放在内存,迭代计算效率高,速度快mr把中间结果放在磁盘,发生io,影响性能spark容错性高,rdd是只读的,某一部分丢失,可以通过父rdd进行重建 ，mr只能重新计算spark既可以做离线又可以做实时处理,还提供了sql风格和机器学习RDDspark源码RDD类注释1）一组分片
转载
2024-02-29 23:44:53
77阅读
## R语言在精算中的应用
随着数据科学和统计分析的快速发展，R语言作为一种强大的统计计算工具，已被广泛应用于精算领域。这篇文章将向你展示如何逐步使用R语言来进行精算分析。我们将分为几个步骤，每个步骤详细说明其目的和使用的代码。
### 流程步骤
以下是使用R语言进行精算分析的步骤：
| 步骤 | 描述 |
|--------
1 后记应用统计学与R语言实现学习笔记这一系列博客断断续续写了5个月左右。现在终于算是基本完成了。我个人比较强迫症，比较喜欢一个系列更完再更其他的。所以中间有一些不错的内容想写到博客里都没动笔。后面会继续填坑。另外之后遇到的跟应用统计学与R语言实现相关的内容会以番外篇形式发布。当时想到写这个东西，主要是自己选了门应用统计学的公选课，个人觉得不能浪费了这门课，而且其实我们在做一些研究的时候，其实都用
转载
2024-08-28 22:12:43
66阅读
在飞速发展的云计算大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的
转载
2023-10-12 10:29:52
113阅读
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计...
转载
2021-06-10 20:58:35
130阅读
预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计，这样就能降低1000倍的数据处理量，从而在查询时大幅减少计算量，提升响应速度。更高层的聚合可以带来进一步的性能提升，例如，在时间维按天聚合，或者通过站点而不是URL聚合。
本文，我们将介绍 spark-alchemy这个开源库中的 HyperLogLog 这一个高级功
转载
2021-06-11 23:28:04
189阅读
背景介绍在当今数据驱动的时代，Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统，Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无论是金融服务、电信、零售、医疗保健还是物联网，Spark的应用几乎遍及所有需要处理海量数据和复杂计算的领域。它的快速、易用和通用性，使得数据科学家和工程师能够轻松实现数据挖掘、数据分析、实时处理等任务。然而，
原创
2024-02-28 14:44:11
108阅读
点赞
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计...
转载
2021-06-10 20:58:36
91阅读
本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.1节,作者:高彦杰 第1章 Spark 简 介本章主要介绍Spark大数据计算框架、架构、计算模型和数据管理策略及Spark在工业界的应用。围绕Spark的BDAS 项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streami
转载
2023-09-25 08:44:27
101阅读
大数据发展至今，提起大数据计算引擎，Spark一定是不能忽视的一个。经过近年来的发展，Spark在大数据领域的市场占有率也在不断提升，可以自己独立支撑集群运行，也可以与Hadoop生态集成运行，因此广受欢迎。今天我们就来分享Spark详解，看看Spark在大数据生态当中的定位如何？ 早期的大数据，Hadoop框架受到的重用是显而易见的，而随着大数据处理新的数据处理需求产生，Hadoop在实时数据流
转载
2023-08-08 10:02:10
119阅读
在大数据处理领域，Apache Spark 是一个重要的分布式计算框架，其背后的执行引擎基于有向无环图（DAG）进行任务调度与执行。本文将深入探讨 DAG 在 Spark 应用中的使用，包括环境预检、部署架构、安装过程、依赖管理、迁移指南及最佳实践。希望通过一定的系统化结构，帮助读者更好地理解和实施 DAG 在 Spark 框架中的应用。
## 环境预检
在开始之前，我们需要确保我们的系统满足
y,X1,X2,X3 分别表示第 t 年各项税收收入(亿元)，某国生产总值GDP(亿元)，财政支出(亿元)和商品零售价格指数(%).(1) 建立线性模型： ① 自己编写函数：> library(openxlsx)
> data = read.xlsx("22_data.xlsx",sheet = 1)
> x = data[,-c(1,2)]
> x = cbin
转载
2023-11-02 12:49:32
141阅读
spark在风控用户团伙中的应用引言20年年初
原创
2022-11-18 15:56:23
224阅读
作者王道远，黄洁 通常CMS GC是企业比较常用的GC配置方案，并在长期实践中取得了比较好的效果。例如对于进程中若存在大量寿命较长的对象，Parallel GC经常带来较大的性能下降。因此，即使是批处理的程序也能从CMS GC中获益。不过，在从1.6开始的HOTSPOT JVM中，我们发现了一个新的GC设置项：Garbage-First GC(G1 GC)。Oracle将其定位为CMS GC的长
转载
2022-01-04 17:57:30
275阅读
一、概述Apache Commons Pool库提供了一整套用于实现对象池化的API，以及若干种各具特色的对象池实现。2.0版本，并非是对1.x的简单升级，而是一个完全重写的对象池的实现，显著的提升了性能和可伸缩性，并且包含可靠的实例跟踪和池监控。第二版要求JDK1.6+。二、下载官方下载页:http://commons.apache.org/proper/commons-pool/downloa
转载
2024-03-11 14:39:53
34阅读
背景Spark 是 2010 年由 UC Berkeley AMPLab 开源的一款 基于内存的分布式计算框架，2013 年被Apache 基金会接管，是当前大数据领域最为活跃的开源项目之一（http://spark.apache.org/）。Spark 在 MapReduce 计算框架的基础上，支持计算对象数据可以直接缓存到内存中，大大提高了整体计算效率。特别适合于数据挖掘与机器学习等
转载
2023-08-28 14:26:08
82阅读
大数据为什么要选择Spark Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 Hadoop 相似的开源集群计算环境，但基于内存和迭代优化的设计，Spark 在某些工作负载表现更优秀。在2014上半年，Spar
转载
2023-09-21 10:07:50
122阅读
6月，汇集当今大数据界精英的Spark Summit 2017盛大召开，Spark作为当今最炙手可热的大数据技术框架，向全世界展示了最新的技术成果、生态体系及未来发展规划。巨杉作为业内领先的分布式数据库厂商，也是Spark全球的14家发行商之一，受邀在本次大会做了题为“分布式数据库+Spark架构和应用”的分享。巨杉数据库联合创始人、CTO及总架构师王涛也给大家分享了大会的见闻以及这一架构的发展和
转载
2024-03-10 23:46:09
31阅读
一、Spark是什么？快速且通用的集群计算平台二、Spark的特点：快速：Spark扩充流行的Mapreduce计算模型，是基于内存的计算通用：Spark的设计容纳了其它分布式系统拥有的功能，批处理、迭代式计算、交互查询和流处理等，降低了维护成本高度开放：Spark提供Python、Java、Scala、SQL的API和丰富的内置库，Spark和其它的大数据工作整合得很好，包括hadoop、Kaf
转载
2023-06-11 15:55:56
52阅读
文章目录前言球对称检验使用课本**表12-3**的数据使用课本**例12-3**的数据 前言这是R语言和医学统计学的第11篇内容。主要是用R语言复现课本中的例子。我使用的课本是孙振球主编的《医学统计学》第4版，封面如下：球对称检验今天就解决1个问题！如何使用R语言进行球形检验？球形检验是非常重要的内容，在进行重复测量方差分析之前，都应该先进行球形假设检验！R语言作为专为统计而生的语言，球形检验的
转载
2023-09-05 23:50:13
233阅读
