初学Scala，给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。 可是λ表达式Java也有，map / reduce java也有，速度上java也会比scala快，心想一定是自己见识不够，无法领悟。今看一文章，有所感悟：《为什么选择Scala,他在大数据处理方面有何优势》 在这篇文章中有几个核心观点用于支持spark选择scala的原因： 观点1：应用开发的效率很大程度上依靠类库。框
转载
2023-08-11 14:40:20
56阅读
什么是Redis要了解Resis最好就是去官网看下 官网 英文看不懂我们可以google翻译嘛，不过官方介绍Redis的第一句应该是可以很容易看懂：“Redis is an open source (BSD licensed),in-memory data structure store, used as a database,cache and message broker.”Redis是一个开
转载
2023-08-13 15:34:49
77阅读
SPARK 【什么是Spark】 Spark是一种快速、通用、可扩展的大数据分析引擎目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户
## Spark基于内存的Shuffle为何仍需写磁盘？
在大数据处理领域，Apache Spark因其高效的内存计算能力在许多场景中取代了Hadoop MapReduce。而Shuffle过程是分布式计算中一个至关重要的环节，它负责数据的重新分配，以满足后续的计算需求。虽然Spark设计为在内存中进行Shuffle，但在某些情况下，它仍然会将数据写入磁盘。本文将探讨这个现象的原因，并提供一些代
原创
2024-08-22 05:47:02
240阅读
RDD，弹性分布式数据集，是一种提供了许多操作的数据集合，具有五大特性：1.A list of partitionsRDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。2.A function for computing each splitRDD的每个partition上面都会有
转载
2024-09-28 17:38:48
34阅读
1 Spark的RDD 提到Spark必说RDD，RDD是Spark的核心，如果没有对RDD的深入理解，是很难写好spark程序的，但是网上对RDD的解释一般都属于人云亦云、鹦鹉学舌，基本都没有加入自己的理解。本文基于Spark原创作者的论文，对Spark的核心概念RDD做一个初步的探讨，希望能帮助初学的球友们快速入门。《Resilient Distributed Datasets: A Faul
转载
2024-09-09 09:53:00
8阅读
Spark也支持Java和Python，为啥要学Scala？因为Spark的原生语言是Scala，对Scala的支持最好，我觉得，Scala像是Java和Python的结合体，学着还挺好玩的一、基本语法1.声明值和变量：val: （变量指向的内容）不可变，声明必须初始化，不能再赋值 var:（变量指向的内容）可变，声明需要初始化，可以再赋值 例子：// import java.lang._ //
转载
2024-04-29 18:38:41
509阅读
要了解为什么要内存对齐，首先我们要了解什么是内存对齐什么是内存对齐 关于什么是内存对齐，我们先来看几个例子typedef struct { int a; double b; short c;}A;typedef struct { int a; short b; double c;}B;分别对他们求大小，sizeof(A),si...
转载
2022-03-20 15:19:05
1432阅读
## Spark 广播为什么会内存溢出？
Apache Spark 是一个强大的分布式计算框架，它为了提高数据在集群各个节点之间的传输效率，引入了广播变量（broadcast variables）这一概念。在数据处理和计算中，我们经常会用到广播变量来将大块的数据发送给各个工作节点。然而，当使用广播变量时，如果没有妥善处理，可能会导致内存溢出。本文将探讨导致 Spark 广播内存溢出的原因，并通过
原创
2024-10-07 06:25:39
111阅读
Spark简介目录Spark简介Spark是什么Spark与HadoopSpark的优势中间结果输出数据格式和内存布局执行策略任务调度的开销Spark能带来什么打造全栈多计算范式的高效数据流水线轻量级快速处理易于使用,Spark支持多语言与HDFS等存储层兼容Spark的局限性Spark生态系统BDASSparkSharkSpark SQLSpark StreamingGraphXTachyonM
转载
2024-05-20 23:45:17
27阅读
要了解为什么要内存对齐，首先我们要了解什么是内存对齐什么是内存对齐 关于什么是内存对齐，我们先来看几个例子typedef struct { int a; double b; short c;}A;typedef struct { int a; short b; double c;}B;分别对他们求大小，sizeof(A),si...
转载
2021-06-17 14:05:47
2174阅读
# Redis瓶颈为何是内存
Redis 是一个开源的内存数据结构存储，它能够作为数据库、缓存和消息代理使用。首先，我们来了解一下为什么 Redis 的瓶颈往往是内存。我们将通过以下步骤逐步分析这一问题。
## 流程步骤
|步骤|描述|
|---|---|
|1|了解 Redis 的基本工作原理|
|2|分析 Redis 的内存使用情况|
|3|使用 Redis 性能监控工具查看内存瓶颈|
原创
2024-09-03 05:45:54
76阅读
# 理解Python的基于值的内存管理
在编程中，内存管理是非常重要的。Python作为一种高级编程语言，采用基于值的内存管理方式，对很多初学者来说可能较为陌生。本文将详细介绍这一概念，帮助你理解Python是如何高效管理内存的。
## 流程概述
在探讨Python的内存管理之前，首先让我们了解实现这一机制的基本流程。下表展示了Python内存管理的主要步骤：
| 步骤
Spark是基于内存计算的大数据并行计算框架。spark基于内存计算，提高了在大数据环境下数据处理的的实时性，同时保证了高容错性和高可伸缩性。 &nb
转载
2023-07-16 19:44:33
513阅读
这一篇博客还不能超过8万字符，所以只能接着上一篇再写一篇了。
InnoDB启动选项<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 这一节叙述InnoDB相关的服务器选项，所有这些选项可以以--opt_name=value的形式在命令
转载
2024-05-28 16:02:08
43阅读
我们先来了解一下spark是什么:Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校 AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，2014 年 2 月成为 Apache 顶级项目。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、ML
转载
2023-08-09 22:14:33
139阅读
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了
此阶段是从优化过的LogicalPlan转换成物理执行计划PhysicalPlan plan 是从BaseSessionStateBuilder中实例化的。 sparkPlan的继承关系： sparkPlan -> SparkStrategies -> QueryPlanner -> TreeNodesparkPlan继承了SparkStrategies, strategies(
不多说，直接上干货！ Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。 无论使用Scala、Python还是Java编程程序都需要遵循Spark 编程模型，考虑对Spark平台支
转载
2024-01-16 22:54:24
41阅读
一、redis简介 Redis是一种面向"键/值"对数据类型的内存数据库，可以满足我们对海量数据的读写需求。redis的键只能是字符串 redis的值支持多种数据类型： 1：字符串 string 2：哈
