我们知道Spark平台是用Scala进行开发的，但是使用Spark的时候最流行的语言却不是Java和Scala，而是Python。原因当然是因为Python写代码效率更高，但是Scala是跑在JVM之上的，JVM和Python之间又是如何进行交互的呢？
转载
2023-06-17 09:46:46
260阅读
spark与storm的对比 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 Zo
转载
2017-06-29 11:44:00
150阅读
2评论
Spark缺点无论是 Spark Streaming还是 Structured Streaming,Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。这是因为 Spark的流处理是基于所谓微批处理( Micro- batch processing)的思想,即它把流处理看
转载
2020-08-27 21:34:00
167阅读
2评论
spark 究竟比 mapreduce 好在哪里，为什么备受推崇， 有些人宣称spark 是大数据的未来， spark 宣布了 Hadoop 的死刑， 这种话到底能不能讲， 会不会被打脸?首先，理清一个基本概念， hadoop = hdfs + yarn + mapreducehdfs 现在是大数据分布式存储的标配， 如果公司没有牛x到可以自主开发一套分布式存储， 一般开源都是选择 hdfs 作为
转载
2024-01-23 22:47:10
28阅读
尽管Hadoop在分布式数据分析领域备受瞩目，但还是有其他选择比典型的Hadoop平台更具优势。最近很多人都在讨论Spark这个貌似通用的分布式计算模型，国内很多机器学习相关工作者都在研究和使用它。Spark是一种可伸缩（scalable）的基于内存计算（In-Memory Computing）的数据分析平台，比Hadoop集群存储方法更有性能优势。Spark采用Scala语言实现，提供了单一的数
转载
2023-09-14 13:04:01
78阅读
1、Spark在SQL上的优化，尤其是DataFrame到DataSet其实是借鉴的Flink的。Flink最初一开始对SQL支持得就更好。
2、Spark的cache in memory在Flink中是由框架自己判断的，而不是用户来指定的，因为Flink对数据的处理不像Spark以RDD为单位，就是一种细粒度的处理，对内存的规划更好。
3、Flink原来用Java写确实很难看
转载
2023-07-26 13:38:23
91阅读
SparkStorm开发语言：Scala开发语言：Clojure编程模型：DStream编程模型：Spout/Bolt
原创
2021-07-07 10:49:02
243阅读
SparkStorm开发语言：Scala开发语言：Clojure编程模型：DStream编程模型：Spout/Bolt
原创
2022-03-24 09:44:28
74阅读
最近网上和各大公司在对比spark 和flink , 也有一部分人，演讲时不分析代码原理，不根据事实，直接吹嘘flink比spark好，flink 能干掉spark 的话，今天就跟大家从技术，应用和未来发展角度对两个产品进行对比。先说产品特性：1.spark中批处理使用 RDD， 流处理使用 DStream，flink中批处理使用 Dataset， 流处理使用 DataStreams。目前flin
转载
2023-08-18 16:54:41
185阅读
在批处理时代，Hive一枝独秀；在实时交互式查询时代，呈现出的是百花齐放的局面。Hive onTez, Hive on Spark, Spark SQL, Impala等等，目前看也没有谁干掉谁的趋势。引用今年图灵奖得主Michael Stonebraker的话说，现在的数据库领域已经不是”one size fit all”的时代了。那么面对这么多系统，我们改如何选择呢？这里谈谈这些系统的区别和优
转载
2023-12-02 14:02:11
408阅读
在数据挖掘中，Python和Scala语言都是极受欢迎的，本文总结两种语言在Spark环境各自特点。本文翻译自 https://www.dezyre.com/article/Scala-vs-Python-for-apache-Spark/2131.性能对比由于Scala是基于JVM的数据分析和处理，Scala比Python快10倍。当编写Python代码用且调用Spark库时，性能是
转载
2023-09-05 08:28:10
197阅读
Spark Streaming与Storm都可以做实时计算，那么在做技术选型的时候到底应该选择哪个呢？通过下图可以从计算模型、计算延迟、吞吐量、事物、容错性、动态并行度等方方面进行对比。对比点 StormSpark Streaming实时计算模型纯实时，来一条数据处理一条准实时，对一个时间段内的数据收集起来作为一个RDD，再处理实时计算迟度
转载
2024-06-28 15:09:28
25阅读
Impala概述Impala是一个实时查询工具，主要目标是使SQL-on-Hadoop操作足够快速高效，它提高了大数据在hadoop上的sql查询性能，Impala是对大数据查询工具的补充。Impala不取代基于MapReduce构建的批处理框架，如Hive。Impala直接读取存储在HDFS、HBase或亚马逊对象存储服务（S3）的数据。除了与Hive使用相同的存储平台以外，impala还与Hi
转载
2023-10-10 08:37:54
122阅读
Impala介绍Impala支持的文件格式Impala可以对Hadoop中大多数格式的文件进行查询。它能通过create table和insert的方式将一部分格式的数据加载到table中，但值得注意的是，有一些格式的数据它是无法写入的（write to）。对于Impala无法写入的数据格式，我们只能通过Hive建表，通过Hive进行数据的写入，然后使用Impala来对这些保存好的数据执行查询操作
转载
2024-08-06 11:09:17
108阅读
本文给出Spark与Flink对比分析，仅供大数据开发者参考。
原创
2022-01-12 07:52:29
9768阅读
Spark Straming，Spark Streaming与Storm的对比分析一、大数据实时计算介绍二、大数据实时计算原理三、Spark Streaming简介四、Spark Streaming基本工作原理五、DStream六、Spark Streaming与Storm的对比分析6.1 与Storm的对比6.2 Spark Streaming与Storm的优劣分析一、大数据实时计算介绍Sp...
原创
2021-06-01 12:14:45
423阅读
小编说：一提到大数据处理，相信很多人第一时间想到的是 Hadoop MapReduce。没错，Hadoop MapReduce 为大数据处理技术奠定了基础。近年来，随着 Spark 的发展，越来越多的声音提到了 Spark。而Spark相比Hadoop MapReduce有哪些优势？ 本文选自《大数据处理之道》 Spark与Hadoop MapReduce在业界有两种说法 ：一是 Spark
转载
2024-01-23 22:46:51
0阅读
