文章目录《Spark快速大数据分析》《Python数据科学手册》《Hadoop权威指南》《大数据：互联网大规模数据挖掘与分布式处理》《数据科学实战》《统计学习方法》《深度学习》 《Spark快速大数据分析》作者：Holden Karau、Andy Konwinski、Patrick Wendell、Matei Zaharia以下是《Spark快速大数据分析》中的重点内容：Spark简介：介绍了S
转载
2023-10-09 22:11:32
160阅读
# Apache Spark 简介与代码示例
Apache Spark 是一个快速且通用的大数据处理引擎，具有强大的分布式计算能力。它支持多种编程语言，包括 Scala、Java、Python 和 R，并提供丰富的API，使得开发大数据应用变得更加简单。本文将简单介绍 Apache Spark 的基本概念，并通过代码示例展示其使用方法。
## 核心概念
Spark 的核心组件包括：
1.
我先吹会儿牛···最近又重新看了一遍《Spark大数据处理：技术、应用与性能优化》的spark框架和运算模型这两章，随着时间的推移每一次都能看到比之前更深一点的东西，我想这就是收获吧···《Spark快速数据处理》这是我看的第一本关于spark的书，启蒙教材《Spark大数据处理技术》这本书图书馆一直显示在订购中···《Apache Spark源码剖析》估计我是当当网这本书的前几个买家，不过试着看
转载
2023-10-09 19:47:08
140阅读
我们知道Spark平台是用Scala进行开发的，但是使用Spark的时候最流行的语言却不是Java和Scala，而是Python。原因当然是因为Python写代码效率更高，但是Scala是跑在JVM之上的，JVM和Python之间又是如何进行交互的呢？
转载
2023-06-17 09:46:46
260阅读
一、Spark在某种程度上可以说是对Map/Reduce计算引擎的替换或补充，因为Spark在Map/Reduce并不擅长的迭代计算等方面有很大优势，此外，spark还是一个基于DAG任务规划的先进计算引擎。二、Map/Reduce计算引擎在计算的各个过程中产生的中间数据不能有效共享，而Spark通过创造性的引入RDD（Resilient Distributed DataSet）弹性分布式数据集的
转载
2024-07-28 15:26:45
97阅读
Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐） 1 Java基础：视频方面：推荐毕老师《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在多线程和并行化多多理解实践即可。书籍方面：推荐李兴华的《java开发实战经典》2 Linux基础： 视频方面：（1）马哥的高薪Linux视频课程-Linux入门、 &
转载
2023-12-31 21:02:00
80阅读
Spark本地安装Java 安装Spark 安装PySpark 安装Java安装这一部分不多赘述，配置好Java 环境变量即可。Spark 安装在官网下载所需版本的Spark 压缩包解压至对应目录，如 C:\dev\spark1.6.3配置环境变量这时，进入cmd 命令行，可以启动。Pyspark 安装要求在本机已经安装好Spark。此外python 3.6 版本不兼容Spark 1.6，使用时需
转载
2023-07-07 19:23:41
93阅读
--------------------------------------------------------------试读样章----------------------------------------------------------第 1 章 Scala 简介 第1 章 Scala 简介 “我是Scala，我是一个可扩展的、函数式的、面向对象的编程语言。我可以和你一起成长，也可 以
SparkCore? 目录SparkCore?一、什么是Spark？二、Spark与MapReduce比较三、Spark运行模式四、Spark分区方式？五、RDD五大属性六、Spark系统架构七、算子（单文件）八、算子（多文件）九、窄依赖和宽依赖的认识十、stage切割规则十一、SparkShuffle机制十二、Spark资源调度和任务调度流程十三、谈谈广播变量和累加器 一、什么是Spark？Sp
转载
2024-01-17 17:04:09
40阅读
大数据专家已经意识到Spark和Python在标准JVM上的重要性，但是围绕“ Scala或Python是大数据项目中的哪个选择”这一话题存在着共同的争论。两者之间的差异可以根据性能，学习曲线，并发性，类型安全性，可用性及其高级功能来确定。根据不同数据专家的方便程度或应用程序类型，最终决定可能会有所不同。数据专家完全有责任根据功能解决方案和语言效率为Apache Spark项目选择最佳编程语言。这
转载
2023-08-10 09:12:59
123阅读
文章目录1 概念阐述1.1 Spark中支持的数据类型1.2 Spark中的基本类型与Python数据类型、Hive表数据类型的对应关系1.3 Hive中数字类型各自的表示范围2 分类型介绍每种数据类型的详情2.1 数字类型(ByteType、ShortType、IntegerType、LongType、FloatType、DoubleType、DecimalType)2.1.1 PySpark
转载
2023-08-10 20:30:45
106阅读
目录目录目录Lean Apache Spark 2Apache Spark 2.x Cookbook，第2版Learning Spark StreamingApache Spark 2.x for Java DevelopersScala and Spark for Big Data AnalyticsHigh Performance Spark完整版Machine Learning with S
转载
2018-08-13 23:42:00
70阅读
个人读后小结，如有不对，欢迎批评指正前言第Ⅰ部分 大数据与Spark概述第Ⅱ部分 结构化API--DataFrame、SQL和Dataset第Ⅲ部分 低级API第Ⅳ部分 生产与应用第Ⅴ部分 流处理第Ⅵ部分 高级分析与机器学习第Ⅶ部分 生态系统 前言大概花了一个月（2020-09~2020-10）左右的时间，看完了整本书。笔者毕业后，主要从事机器学习、数据挖掘方向的相关工作。由于Spark作为目前
转载
2023-12-06 14:59:44
50阅读
一：spark运行原理一个分布式（很多机器，每个机器负责一部部分数据），基于内存（内存不够可以放在磁盘中），特别适合于迭代计算的计算框架。基于内存（在一些情况下也会基于磁盘），优先考虑放入内存中，有更好的数据本地性。如果内存中放不完的话，会考虑将数据 或者部分数据放入磁盘中。擅长迭代式计算是spark 的真正精髓。基于磁盘的迭代计算比hadoop快 10x倍，基于内存的迭代计算
转载
2023-09-05 09:34:18
55阅读
伴随着大数据相关技术和产业的逐步成熟，继Hadoop之后，Spark技术以其无可比拟的优势，发展迅速，将成为替代Hadoop的下一代云计算、大数据核心技术。《云计算分布式大数据Spark实战高手之路》是Spark亚太研究院推出的系列书籍。网络发布版为图文并茂方式，边学习，边演练，不需要任何前置知识，从零开始，循序渐进。我们将通过博客进行书籍内容的连载。《云计算分布式大数据Spark实战高手之路
转载
2023-06-19 09:53:29
166阅读
书籍：Python for Engineering and Scientific Computing: A Guide to Empowering Engineers and Scientists with Essential Python Tools and Practical Applications作者：Veit Steinkamp出版：Rheinwerk Computing编辑：陈萍萍的公
原标题：Apache Spark框架下，Python与Scala谁更胜一筹？在使用Apache Spark框架时，数据科学界分为两个阵营，一个阵营喜欢Scala，另一个阵营喜欢Python。本文比较两者，列出它们的优点和缺点。Apache Spark是大数据分析最流行的框架之一。Spark是用Scala编写的，因为它可以非常快速，它是静态类型的，并且以已知的方式编译到JVM。尽管Spark具有Sc
转载
2023-10-24 23:02:21
124阅读
Spark概述 根据官方网站， “ Apache Spark是用于大规模数据处理的快速通用引擎” 最好与群集环境一起使用，在群集环境中，数据处理任务或作业被拆分为可以快速，高效地在多台计算机或节点上运行。 它声称运行程序的速度比Hadoop平台快100倍。 Spark使用称为RDD（弹性分布式数据集）的对象来处理和过滤数据。 RDD对象提供了各种有用的功能来以分布式方式处理数据。 Spar
转载
2024-07-03 21:48:15
39阅读
加个“星标”，天天与10000人一起快乐成长我有一个非常要好的同事，无数次帮我解决了业务上的痛。技术能力很强，业务方面也精通。而且更耐得住加班，并且是自愿加班，毫无怨言。不像我，6点到准时走人了。但就是这么一位兢兢业业的技术人，却一直没有升职加薪的机会，黯然神伤之下，只能离开，挺可惜。在数据库承担了所有业务访问的重压下，团队决定用ElasticSearch来取代数据库上承载的搜索任务。在灰度上线之
转载
2024-01-20 14:35:56
47阅读
前言之前也分享了不少自己的文章，但是对于 Flink 来说，还是有不少新入门的朋友，这里给大家分享点 Flink 相关的资料（国外数据 pdf 和流处理相关的 Paper），期望可以帮你更好的理解 Flink。书籍1、《Introduction to Apache Flink book》这本书比较薄，简单介绍了 Flink，也有中文版，读完可以对 Flink 有个大概的了解。2、《Learning
转载
2023-12-24 09:28:35
97阅读
