51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

springboot使用Spark
# Spring Boot 使用 Spark 的入门指南 在大数据处理领域，Apache Spark 是一种广泛使用的分布式计算框架，而 Spring Boot 作为一个轻量级的 Java 应用框架，能够帮助我们快速构建微服务应用。今天，我们将通过一个简单的程序实现 Spring Boot 与 Spark 的结合。下面是整个流程的概览。 | 步骤 | 描述
spark
apache
数据处理
原创
mob649e8166179a
2024-10-09 04:06:27
83阅读

SpringBoot 使用 Spark
# 使用 Spring Boot 整合 Apache Spark Spring Boot 是一个便捷的框架，用于创建独立的 Spring 应用，而 Apache Spark 是一个强大的大数据分布式计算引擎。将二者结合起来，可以构建高效的数据处理应用。本教程将指导你如何在 Spring Boot 中使用 Spark。 ## 整体流程 下面是实现步骤的表格： | 步骤 | 操作 | |---
spark
json
apache
原创
mob649e815ddfb8
2024-08-15 08:10:47
121阅读

spark springboot使用
上一篇：08-Springboot中Profile springboot的核心是自动配置，那么他配置都是些什么东西，这些东西有多少？是不是每个项目都要加载这些东西？这里先做一个简单的回答：正常加载的自动配置类200多个，但是程序真正跑起来的话自动配置类就没有那么多了？为什么呢？其他的没有被加载的去哪里了呢？这里就牵涉到服务发现机制。 springboot会根据我们引入的依赖，有针对性的加载自动配置
spark springboot使用
spring boot
SPI
SPI思想
微信
转载
bingfeng
11月前
17阅读

springboot中使用spark springboot soket
WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在 WebSocket API 中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。springboot提供了相关整合starter<!--websocket-
springboot中使用spark
webSocket
springboot
spring
客户端
转载
mob64ca1412b28c
2023-12-21 12:26:50
46阅读

Springboot 对spark使用配置
Spark小课堂Week2 Hello Streaming我们是怎么进行数据处理的？批量方式处理目前最常采用的是批量方式处理，指非工作时间运行，定时或者事件触发。这种方式的好处是逻辑简单，不影响联机业务，但是性能不行。理想方式对于数据处理的问题，我们的最终理想解，应该是满足业务规则正确的情况下，实时的完成处理。平衡点理想方式难度比较高，批量方式往往又不给力，我们可以在批量方式和理想方式中间，找到一
大数据
流处理
数据
结构化
转载
blueice
9月前
14阅读

springboot使用SparkLauncher spark spring
　　Spark Streaming的核心　　　　1.核心概念　　　　StreamingContext：要初始化Spark Streaming程序，必须创建一个StreamingContext对象，它是所有Spark StreamingContext功能的主要入口点。　　　　一个StreamingContext对象可以由SparkConf对象来创建，需要指定Seconds。import o
数据
spark
Streaming
转载
mob64ca141834d3
2024-02-17 12:21:41
61阅读

springboot整合spark并在spark中使用mybatisplus
  Spark Streaming重点知识//************* Spark Streaming是什么 1、SPark Streaming是Spark中一个组件，基于Spark Core进行构建，用于对流式进行处理，类似于Storm。 2、Spark Streaming能够和Spark Core、Spark SQL来进行混合编程。 3、Spark Streaming我们
spark
java
大数据
kafka
apache
转载
网络安全守护先锋
10月前
107阅读

springboot使用spark处理csv文件
# Spring Boot与Spark处理CSV文件 在数据处理和分析领域，Apache Spark是一种迅速流行的大数据处理工具，而Spring Boot则是Java领域广泛使用的微服务框架。结合这两者，我们可以高效地处理CSV文件。本文将介绍如何使用Spring Boot和Spark来读取、处理和保存CSV文件，并提供相关代码示例。 ## 项目依赖 在开始前，请确保您已经在`pom.xm
spark
CSV
Data
原创
mob649e81693c66
2024-09-02 04:19:01
52阅读

springboot可以单独使用 Spark吗
spring boot web开发非常的简单，其中包括常用的json输出、filters、property、log等 json 接口开发 在以前的spring 开发的时候需要我们提供json接口的时候需要做那些配置呢添加 jackjson 等相关jar包配置spring controller扫描对接的方法添加@ResponseBody 就这样我们会经常由于配置错误，导致406错误等等，spring
spring
hibernate
User
转载
月光倾城美
11月前
37阅读

springboot 整合 spark springboot+spark
大家好呀，我是阿瞒，感谢大家收看我的博客，今天给大家带来的是一个众所周知的推荐系统的小demo，废话不多说，上才艺！！！首先简单的看一下项目结构，很简单。你得会创建SpringBoot项目详细教程走这个链接，写得非常详细了IDEA 如何快速创建 Springboot 项目1.SparkApplication：SpringBoot的启动类package com.study; import org.
springboot 整合 spark
spark
springboot
大数据
apache
转载
笑傲江湖求败
2023-12-29 23:04:40
128阅读

springboot 集成spark并使用graphx springboot集成poi
springboot整合poi注解方式依赖<!-- poi依赖--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <ve
springboot整合poi
注解方式
poi
EXCEL模板
导出导入
转载
小屁孩
2023-11-24 12:56:43
56阅读

springboot配置spark环境 spark整合springboot
在云服务器上做的，由于白嫖的云服务器性能比较差，就设计了如下架构。功能与设计(大数据集群+架构设计+功能分析与设计) 总体架构图 功能： 订单成交量统计分析 历史成交总金额 热门分类的实时和离线统计分析 热门商品的实时和离线统计分析 活跃用户统计分析项目实现SpringBoot tmall商城部署在服务器git拉取tmall springboot项目到本地，配置mysql，创建对应数据库，运行sq
springboot配置spark环境
spark
kafka
apache
转载
mob64ca1417736e
2023-12-19 17:27:02
135阅读

SpringBoot + Spark
Scala开发，这里只是Spark local模式的简单示例，工作也没有需求 http请求去执行Spark yarn，所以暂时没有去管。pom.xml需要注意的是去除掉 SpringBoot 默认的日志引擎。 <properties> <project.build.sourceEncoding>UTF-8</project.b...
spark
spring
scala
apache
sql
原创
訾零LY
2021-08-31 14:13:26
540阅读

springboot 整合 spark SQL springboot+spark
一：版本预备：Scala :2.11 版Spark: 2.2.3 版二：版本之间的差异： Spark 2.x 版中将使用Dataset 取代Spark 1.x 版 DataFrame三：项目工程搭建构建一个SpringInitializr 项目在pom.xml 文件中添加依赖<dependency> <groupId>org.apache.spark</groupI
JAVA 
Spark
SpringBoot
SpringWebFlux
spark
转载
字节小舞神
2023-11-29 09:06:39
493阅读

springboot 如何 调用 spark 集群 springboot spark整合
目录背景准备工作主要流程效果截图主要代码外部引用 背景一直很好奇web后台如何启动Spark应用程序，查找Api后发现可以使用org.apache.spark.launcher.SparkLauncher来做到这一点。我想得动手测试一下，而且要做的体面一些，所以搞个简易的web工程吧，顺便学习熟悉一下使用springboot框架。在这里将整个折腾的过程记录下来准备工作1. 搭建hadoop集群，
springboot
spark应用
spark submit
spark 提交
spark
转载
mob64ca13f8eecb
2023-12-20 15:50:26
244阅读

springboot spark清理数据示例 springboot整合spark
Spark安装：厦大数据库实验室Spark安装Scala安装：厦大数据库实验室Scala安装相应软件的安装环境： jdk 1.8.0_161scala 2.12.12spark 2.4.7maven 3.6.3zookeeper 3.6.1kafka_2.12-2.5.0apache-tomcat-8.5.61nginx-1.17.10.tar.gzjdk的安装在 /usr/local/ 下创建
kafka
zookeeper
apache
转载
jacksky
2024-08-06 18:30:53
53阅读

SpringBoot 接入 Spark springboot向spark提交任务
环境：<java.version>1.8/17</java.version> <scala.version>2.12.15</scala.version> <scala.binary.version>2.12</scala.binary.version> <spark.version>3.1.2/3.3.2<
SpringBoot 接入 Spark
spark
jar
spring boot
spring
转载
数码悟透
2024-01-17 17:43:44
572阅读

springboot 远程调用 spark springboot提交spark任务
 1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上，任务单独起一个项目，解除与springboot项目的耦合2. 构建springboot项目1. pom配置<properties> <jav
spark
springboot
spring
java
转载
mob64ca140e4022
2023-12-07 14:04:58
502阅读

将spark注入springboot springboot提交spark任务
前言昨晚本来想把这部分的博客内容，完成的，结果只写到了设计，时间就不早了，今天把具体的实现，还有实现过程中所遇到的所有的问题写在这里。引入依赖这次我用了Spark2.x的java api，并且了解到spark底层是scala实现了，然后上层的api有scala版本和java版本，这里我使用了它提供的java的api，并且java底层调用的函数都是scala实现的，非常的方便，可以与java进行无缝
将spark注入springboot
项目实训
正则化
spark
数据
转载
网络小墨舞风
2023-12-27 10:47:03
46阅读

spark springboot 数据库 spark整合springboot
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。 文章目录一、集群环境二、项目配置环境 一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3
spark
spring boot
java
spring
apache
转载
编程小匠人
2023-11-23 22:56:10
125阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

springboot编写spark spark spring

spark spring spark springboot yarn

springboot使用spark的方法 springbootplus怎么用

spark springboot推荐 springboot soket

springboot 继承spark

springboot 集成 spark

springboot spark 集群

springboot spark hive

springboot spark kafka

springboot集成 spark

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯