01、为什么有消息系统02、Kafka核心概念03、Kafka的集群架构04、Kafka磁盘顺序写保证写数据性能05、Kafka零拷贝机制保证读数据高性能06、Kafka日志分段保存07、Kafka二分查找定位数据08、高并发网络设计（先了解NIO）09、Kafka冗余副本保证高可用10、优秀架构思考-总结11、Kafka生产环境搭建12、需求场景分析13、物理机数量评估14、磁盘选择15、内存评
转载
2024-07-10 15:58:23
33阅读
今天是spark专题的第七篇文章，我们一起看看spark的数据分析和处理。过滤去重在机器学习和数据分析当中，对于数据的了解和熟悉都是最基础的。所谓巧妇难为无米之炊，如果说把用数据构建一个模型或者是支撑一个复杂的上层业务比喻成做饭的话。那么数据并不是“米”，充其量最多只能算是未脱壳的稻。要想把它做成好吃的料理，必须要对原生的稻谷进行处理。但是处理也并不能乱处理，很多人做数据处理就是闷头一套三板斧。去
转载
2023-10-05 07:18:49
99阅读
一、流处理基础1. 流处理是连续处理新到来的数据以更新计算结果的行为。在流处理中输入数据是无边界的，没有预定的开始或结束。它是一系列到达流处理系统的事件（例如信用卡交易、点击网站动作，或从物联网IoT传感器读取的数据），用户应用程序对此事件流可以执行各种查询操作（例如跟踪每种事件类型的发生次数，或将这些事件按照某时间窗口聚合）。应用程序在运行时将输出多个版本的结果，或者在某外部系统（如HBase等
转载
2024-07-14 09:47:08
83阅读
比如我的内存中存在如下的以key-value形式的数据集（RDD）：hello:1 sparkSubmit:1 red:1 sparkSubmit:1 hello:2 hello:1 hello:4 re
转载
2023-06-30 20:00:29
143阅读
大数据实时处理是一门非常重要的课程，它主要涉及到实时数据处理、流计算、分布式系统、消息队列等方面的内容。在这门课程中，我们学习了很多有用的知识和技能，以下是我对这门课程的期末总结：实时数据处理：在这门课程中，我们学习了如何处理实时数据。我们了解了常见的实时数据处理框架和技术，例如Storm、Spark Streaming等。我们还学习了如何设计实时数据处理系统，包括数据采集、数据处理、数据存储等方
写在前面本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。 其次，本系列是基于目前最新的 sp
# Spark 数据写入速度优化指南
在使用 Apache Spark 进行大规模数据处理时，写入数据的速度可能会成为瓶颈，尤其是在要处理大数据集时。本文将指引你完成数据写入的整个流程，并提供优化的建议和示例代码。
## 整体流程概述
以下是实现 Spark 数据写入的基本步骤：
| 步骤 | 说明 |
|------|-
原创
2024-10-15 05:18:16
213阅读
# Spark读取HBase数据性能优化指南
在处理大数据时，很多开发者都会选择Apache Spark与HBase结合，以便于高效地进行数据计算和分析。然而，许多新手可能会发现，Spark读取HBase数据的速度并不理想。在这篇文章中，我们将通过一个系统化的流程，教你如何优化Spark读取HBase数据的性能。
## 整体流程
下面是一个以表格形式展现的步骤流程，明确了优化的每一个环节。
原创
2024-10-04 05:41:57
108阅读
Spark概述1.1、什么是SparkMR的缺点：mr基于数据集计算，所以面向数据（1）基本运算规则从存储介质中获取（采集）数据，然后进行计算，最后将结果存储到介质中，所以主要应用于一次计算，不适合于数据挖掘和机器学习的迭代计算和图形挖掘计算。（2）MR基于文件存储介质的操作，所以性能非常慢。（3）MR和hadoop紧密耦合在一起，无法动态替换Spark的历史 （1）2013年6月发布 （2）Sp
转载
2023-08-10 16:28:35
67阅读
Spark调用集群的计算/存储资源来处理数据，是大规模的数据处理/机器学习绕不开的一个话题。Spark提供获得数据（如RDD and DataFrame）以及数据分析（如MLLib）的工具。我个人主要是在公司里折腾深度学习模型，所以没有用不上MLLib中提供的工具。虽然说看databricks就知道这东西肯定很多人有用的。RDD和DataFrame恰好是历史上的先后，我们也就照历史线写一下：Spa
转载
2023-06-13 15:38:25
131阅读
Spark科普定义概念RDD作业（Job），阶段（stages）, 任务应用上下文ApplicationContext转换和动作缓存运行作业机制执行器和任务管理器运行在Yarn上的Spark 定义Spark是用于大规模数据集群计算的矿建。它可以在YARN上处理HDFS的数据集，但是它并没有使用MapReduce作为它的分布式计算框架，而是自己实现。这样做的好处是提升了数据处理的效率，因为MapR
转载
2024-01-21 07:42:36
41阅读
Spark和Hadoop的比较 MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD，对数据进行运算和cache编程范式：Map+ReduceDAG：Transformation+Action计算中间结果写入磁盘，IO及序列化、反序列化代价大计算中间结果在内存中维护，存取速度比磁盘高几个数量级Task以进程方式维护需要数秒时间才能够
转载
2023-09-03 16:37:22
100阅读
企业大数据平台的搭建，往往需要根据实际的企业数据处理需求来做，这是毋庸置疑的。但是随着企业数据源的持续更新，大数据平台框架也需要与时俱进，不断进行优化。以Spark计算框架为例，Spark调优应该怎么做呢？下面为大家分享一些Spark框架数据处理调优的思路。 Spark作为大数据处理框架，典型的优势就是实时计算，包括流式处理Spark Streaming等，在面对不同阶段的数据处理时
转载
2023-08-09 12:39:51
45阅读
现在是信息时代，4G、5G、家宽，到处都是网络的影子。家里上网速度慢、网络不稳定，怎么办，让我们来一探究竟，看看到底是哪里的问题。一般家庭的组网都很简单，运营商拉一根光纤进户，接入到赠送的光猫上，现在的光猫几乎都自带WIFI功能，但由于信号强度问题，都会在光猫后再串接一台无线路由器。 从上图可以看出，整个上网行为的传输过程主要分为几步：1、电脑、手机等终端通过无线接入家庭无线
转载
2023-10-31 18:44:42
8阅读
1.spark简介弥补了hoodop流处理不足，性能优于hoodop,活跃度高于flink，提供了一站式大数据处理方案：支持批处理（Spark Core）。Spark Core 是 Spark 的核心功能实现，包括：SparkContext 的初始化（DriverApplication 通过 SparkContext 提交）、部署模式、存储体系、任务提交与执行、计算引擎等。
支持交互式查询（Sp
转载
2023-09-10 16:33:23
118阅读
spark有自己的集群计算技术,扩展了hadoop mr模型用于高效计算，包括交互式查询和流计算。主要的特性就是内存的集群计算提升计算速度。在实际运用过程中也当然少不了对一些数据集的操作。下面将通过以下练习来深化对spark的理解，所有练习将使用python完成，java、scala版本将后续完成。操作一、使用RDDS操作数据集（这个练习将会在spark的交互式终端下完成，通过一个简单的文本文件，
转载
2017-03-23 15:43:00
144阅读
一、Spark介绍Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs.
转载
2023-08-11 11:44:43
191阅读
Spark简介 Spark是基于内存的分布式批处理系统，它把任务拆分，然后分配到多个的CPU上进行处理，处理数据时产生的中间产物（计算结果）存放在内存中，减少了对磁盘的I/O操作，大大的提升了数据的处理速度，在数据处理和数据挖掘方面比较占优势。Spark应用场景数据处理(Data Processing)：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算(Iterati
转载
2023-06-10 20:57:47
384阅读
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对Kafk
转载
2023-11-09 14:52:30
70阅读
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContex
转载
2023-08-13 23:03:10
190阅读
