------------恢复内容开始------------最近在使用 spark，做了一个分词 + 词频统计求 topK 的 spark app。为了方便使用，顺便复习一下原来的 spring 和 java 知识，把它封装成了一个 spring-boot 服务。本来用 java main 函数 + 打 jar 包的模式运行的好好的，结果上 spring-boot 就炸了。报了一个如下的错误：ja
转载
2024-06-11 10:02:58
52阅读
1. 运行架构 spark Streaming相对其他流处理系统最大的优势在于流处理引擎和数据处理在同一软件栈，其中Spark Streaming功能主要包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而Spark Core负责处理Spark Streaming发送过来的作业。Spark Streaming分为Driver端和Client端，运行在Driver端为StreamingCo
转载
2023-10-08 20:22:44
99阅读
# Spark和Apache Spark的区别
作为一名经验丰富的开发者，我将教会你如何实现“Spark跟Apache Spark的区别”。下面是整个过程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 安装Spark |
| 步骤二 | 下载Apache Spark |
| 步骤三 | 配置环境变量 |
| 步骤四 | 创建Spark应用程序 |
| 步骤五
原创
2024-01-24 05:39:21
113阅读
# StreamPark与Spark的区别
在大数据处理领域，Apache Spark是一个备受欢迎的开源框架，而StreamPark是基于Apache Spark的流处理框架。尽管它们之间有一些相似之处，但在设计理念、功能和使用场景等方面存在显著的区别。本文将对这两者进行详细的比较，并提供一些代码示例以加深理解。
## 1. 什么是Apache Spark？
Apache Spark是一个
原创
2024-10-09 06:06:25
204阅读
Hadoop和Spark的关系中，最重要一点是，它们并不是非此即彼的关系，因为它们不是相互排斥，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。两者定义
Hadoop是Apache.org的一个项目，其实是一种软件库和框架，以便使用简单的编程模型，跨计算器集群对庞大数据集(大数据)进行分布式 处理。Hadoop可灵活扩展，
转载
2023-07-12 11:59:07
45阅读
Spring boot 是 Spring 的一套快速配置脚手架，可以基于spring boot 快速开发单个微服务，Spring Boot，看名字就知道是Spring的引导，就是用于启动Spring的，使得Spring的学习和使用变得快速无痛。不仅适合替换原有的工程结构，更适合微服务开发。Spring Cloud基于Spring Boot，为微服务体系开发中的架构问题，提供了一整套的解决方案——服
转载
2023-08-13 07:38:15
47阅读
学习了spring框架，不免需要将两种框架进行比较。Spring boot是一个在Spring 的基础上搭建的全新的微框架，其目的是简化Spring的搭建和开发过程。SpringBoot的6个好处：Spring Boot可以建立独立的Spring应用程序；内嵌了如Tomcat，Jetty和Undertow这样的容器，也就是说可以直接跑起来，用不着再做部署工作了。无需再像Spring那样搞一堆繁琐的
转载
2024-01-14 20:02:07
78阅读
# 如何通过Sqoop引擎连接Spark引擎
在大数据处理的领域，Sqoop和Spark都是十分重要的工具。Sqoop主要在Hadoop和关系数据库间进行数据的高效传输，而Spark则是一个通用的大数据处理引擎。本文将为您详细介绍如何将这两者结合起来，实现数据的流转和处理。
## 流程概述
在使用Sqoop和Spark的过程中，我们需要遵循以下步骤：
| 步骤 | 描述
Spark-SQL连接HiveApache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最
转载
2023-08-31 09:51:47
138阅读
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
Spring Boot 2.0 的推出又激起了一阵学习 Spring Boot 热，那么， Spring Boot 诞生的背景是什么？Spring 企业又是基于什么样的考虑创建 Spring Boot? 传统企业使用 Spring Boot 会给我们带来什么样变革?带着这些问题，我们一起来了解下 Spring Boot 到底是什么?Spring 历史说起 Spring Boot 我们不得不先了解一
环境搭建自行查阅资料了解spark的部署环境，本项目是本地环境，伪分布式的。在window上使用spark必须现在本地搭建hadoop环境，具体请参考之前的文章windows上配置hadoop并通过idea连接本地spark和服务器spark搭建完spark环境后正常创建spring boot程序，在启动类生产bean：//生产bean
@Bean(name = "sc")
public Java
转载
2023-06-12 20:48:11
237阅读
spark在spring（Java）中的运用spark在spring（Java）中的运用转载想法总体实现导出模型在java环境使用该模型注意事项输出结果 spark在spring（Java）中的运用转载在Java Web中使用Spark MLlib训练的模型 作者：xingoo 出处：Spark MLlib之决策树（DecisioinTree） 作者：caiandyong 出处：想法问题：在假期
转载
2023-10-18 21:21:45
81阅读
一、Spark 概述Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。1.1 Spark 与 HadoopSpark 基于 Ha
转载
2023-08-11 13:41:10
544阅读
Spark 知识点请描述spark RDD原理与特征？ RDD全称是resilient distributed dataset（具有弹性的分布式数据集）。一个RDD仅仅是一个分布式的元素集合。在Spark中，所有工作都表示为创建新的RDDs、转换现有的RDDs，或者调用RDDs上的操作来计算结果。在Spark中,一个RDD仅仅是一个不可变的分布式对象集合.每个RDD被切分成多个可以在不同
转载
2023-10-20 10:52:09
59阅读
背景map和flatmap扁平化调用，从字面意思或者官网介绍，可能会给一些人在理解上造成困扰【包括本人】，所以今天专门花时间来分析，现整理如下：首先做一下名词解释-----------------------------------------------
原创
2022-03-10 15:05:40
283阅读
背景map和flatmap扁平化调用，从字面意思或者官网介绍，可能会给一些人在理解上造成困扰【包括本人】，所以今天专门花时间来分析，现整理如下：首先做一下名词解释------------------------------------------------我的理解map：map方法返回的是一个object，map将流中的当前元素替换为此返回值；flatMap：flatMap方...
原创
2021-05-28 22:34:18
814阅读
文章目录前言 前言excutor反向注册，worker中为application启动的 executor，实际上是启动了这个 CoargeGrainedExecutorBackend进程,/**
* 创建DriverEndpoint和DriverEndpointRef
* */
override def start() {
val properties = new A
总结于网络转自：1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartition
转载
2024-05-31 10:50:21
12阅读
文章目录前言1. 数据处理架构2. 数据模型和运行架构3. Spark 还是 Flink？ 前言 Apache Spark 是一个通用大规模数据分析引擎。它提出的内存计算概念让大家得以从 Hadoop 繁重的 MapReduce 程序中解脱出来。除了计算速度快、可扩展性强，Spark 还为批处理（Spark SQL）、流处理（Spark Streaming）、机器学习（Spark MLlib）
转载
2023-08-08 07:41:23
166阅读
