一、spark1.x （1）引入内存计算的理念解决中间结果落盘导致的效率低下。早期官网中给出数据，在理想状况下，性能可达到MR的100倍 （2）支持丰富的API，支持多种编程语言，如python、scala、java、R等，代码量减少5倍以上，并且受众群体更广 （3）提供一站式的解决方案，同时支持离线、微批、图计算和机器学习 （4）支持多部署模式：支持Standalone、Cluster等多种模式
转载
2023-08-10 15:29:33
61阅读
Spark1.5堆内存分配
这是spark1.5及以前堆内存分配图
下边对上图进行更近一步的标注，红线开始到结尾就是这部分的开始到结尾
spark 默认分配512MB JVM堆内存。出于安全考虑和避免内存溢出，Spark只允许我们使用堆内存的90%，这在spark的spark.s
转载
2023-11-16 19:50:37
64阅读
一、Spark 1.4.x的新特性1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tungst
转载
2023-08-13 14:49:24
61阅读
1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Java jdk：我们可以在Oracle的官网下载Java SE JDK，下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index.html。最好是下载最新版本，下载完解压，配置环境变量等，
转载
2023-08-02 20:29:29
85阅读
还没来得及去跑，先记下来。spark 1.3 出来dataframespark 1.4 出来sparkRspark 1.5 出来机器学习的pipeline 数据科学API之扩展 在2015年，Spark研究的主要致力于加强大规模数据科学研究。其中主要包括这三大方面：DataFrame、机器学习流水线、R语言支持。这三个部分所新增的API均有效的运行在Spark
转载
2023-10-14 12:53:11
94阅读
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Apache Spark社区刚刚发布了1.5版本，明略数据高级工程师梁堰波解析了该版本中的众多新特性，同时梁堰波也是QCon上海《基于大数据的机器学习技术》专题的讲师，他将分享《基于机器学习的银行卡消费数据预测与推荐》的
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
153阅读
spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip...
转载
2015-09-11 13:38:00
101阅读
2评论
一、Spark 1.4.x的新特性 1、Spark Core
1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。
1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化，优化io性能。
1.3 钨丝计划（Project Tung
转载
2023-08-22 22:13:01
40阅读
说明：本翻译基本遵照Spark的官方翻译，但是某些不太顺口的地方还是做了一下处理，请原谅我poor的外语能力。官网链接：http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api，同时它也是一个强大的具有交互功能的数据分析工具。无论是Python还是Sc
转载
2024-01-03 11:09:30
451阅读
Kafka与Spark虽然没有很直接的必然关系，但是实际应用中却经常以couple的形式存在。如果你的Kafka的爱好者，流式计算框架Spark、Flink等也不得不去了解；如果你是Spark的爱好者，Kafka又或许是必不可少的一部分。在之前的文章中我们介绍了很多spark的知识，这里主要来讲述一下Kafka与Spark Streaming的结合，如果大家有兴趣，后面会放出一个系列的文章，包括S
下面是我在spark user list的求助贴,很快就得到了正确回答，有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem...
转载
2015-10-13 10:58:00
189阅读
2评论
Kafka 0.10 与 Spark Streaming 流集成在设计上与0.8 Direct Stream 方法类似。它提供了简单的并行性，Kafka分区和Spark分区之间的1:1对应，以及对偏移量和元数据的访问。然而，由于新的集成使用了新的 Kafka consumer API 而不是简单的API，所以在使用方面有显著的差异。这个版本的集成被标记为实验性的，因此API有可能发生变
转载
2023-11-29 12:44:59
50阅读
背景spark streaming + kafka 有两种方案接收kafka数据-基于receiver的方案和direct方案(no receiver方案)。基于receiver的方案，属于比较老的方案，其采用Kafka’s high-level API通过专门的Rceiver去接收kafka数据。 采用 KafkaUtils.createStreamdirect方案，是当前的主流用法，其采用Ka
转载
2024-01-14 20:22:52
103阅读
搭建数仓必要环境的注意事项使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。 由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。重新编译Hive下载Hive 3.1.2源码 ，上传并解压apache-hive-3.1.2-src.tar
转载
2023-07-14 11:36:42
1725阅读
1. Kfaka介绍 Kfaka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafaka系统可以发布大量的消息，同时也能实时订阅消费消息；Kafka 可以同时满足在线实时处理和批量离线处理。在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统(关系数据库、NoSQL数据库、流处理系统
转载
2024-01-15 01:06:22
434阅读
1.并行度在direct方式下，sparkStreaming的task数量是等于kafka的分区数，kakfa单个分区的一般吞吐量为10M/s常规设计下：kafka的分区数一般为broken节点的3,6,9倍比较合理比如我的集群有6个broken节点，创建kafka的分区为18个，sparkStreaming的task也为18个，当然也可以适当放大分区，根据自己的数据量来合理规划集群及分区数2.序
转载
2024-02-05 15:55:16
92阅读
1· PyTorch 与 TensorboardX 的版本兼容性问题在tensorflow的使用中，大家往往都会用tensorboard进行数据的可视化，例如模型结构、损失函数的变化等，实际上PyTorch也可以使用TensorboardX 进行可视化。PyTorch有自己的visdom模块实现可视化，但是从接口的方便、简介的角度来说，TensorboardX用起来更加容易。 本文简要介绍一下自己
转载
2023-09-04 20:33:12
72阅读
kafka优势kafka相比于其他消息系统能够实现有序的并行化的读取，其他的消息系统如果需要实现有序，是通过独占的形式，那样就不能并行化，每次只能有一个消费者读取数据。kafka通过topic和partition的方式实现有序的并行化，每个消费者可以独占一个partition，同时多个消费者读取同一个topic的数据，这样就实现了并行化，但是一个消费群组的消费者不能比一个topic的分区数多，这样
转载
2024-01-28 14:17:09
67阅读
接上文《Hadoop生态系统》，对Spark、Spark streaming、kafka的相关内容进行总结。1、Hadoop和Spark的关系Spark是为了跟Hadoop配合而开发出来的，不是为了取代Hadoop，专门用于大数据量下的迭代式计算。Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后，会将数据的运算结果从内存写入到磁盘中，第
转载
2023-10-14 17:11:35
142阅读
