51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

spark springboot 教程 springbootspi
    上一篇文章中提到SpringBoot中实现自动配置时，用到了SPI机制。不知道会不会有有心人去看看我推荐的那篇博文。本篇文章将从代码的层次深入解读Springboot的SPI机制。   首先，是一个很重要的注解@EnableAutoConfiguration，它的源码如下：@Target(ElementType.TYPE) @Retention(Re
spark springboot 教程
spring
List
lua
转载
互联网小墨风
2024-06-04 12:55:44
11阅读

spark 教程 spark实战教程
全文共10887字，预计阅读时间70分钟。第二章  Spark入门介绍与基础案例1.  第一步：下载Apache Spark安装包    1.1  Spark的目录和文件2.  第二步：使用Scale或者PySpark Shell    2.1  使用本地机器3.  第三步：理解Spark应用的概念
spark 教程
人工智能
大数据
编程语言
hadoop
转载
mob64ca13fa6a3c
2023-08-15 18:15:20
292阅读

springboot 整合 spark springboot+spark
大家好呀，我是阿瞒，感谢大家收看我的博客，今天给大家带来的是一个众所周知的推荐系统的小demo，废话不多说，上才艺！！！首先简单的看一下项目结构，很简单。你得会创建SpringBoot项目详细教程走这个链接，写得非常详细了IDEA 如何快速创建 Springboot 项目1.SparkApplication：SpringBoot的启动类package com.study; import org.
springboot 整合 spark
spark
springboot
大数据
apache
转载
笑傲江湖求败
2023-12-29 23:04:40
128阅读

spark教程 Java spark教程入门
Spark生态圈1. Spark Core（重点）1.1 Spark特点1.2 spark的体系构架1.3 spark的安装配置1.3.1 准备工作：1.3.2 伪分布1.3.3 全分布1.3.4 HA1.3.5 spark任务的提交1.4 Spark Shell1.4.1 两种运行模式1.4.2 wordcount案例1.5 RDD弹性分布式数据集（重点）1.5.1 RDD特性1.5.2 Tr
spark教程 Java
spark
数据集
数据
转载
编程艺术大师
2023-08-07 22:09:26
565阅读

spark教程 DAG spark教程入门
Spark下载与入门下载Spark访问 http://spark.apache.org/downloads.html， 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”，然后选择“Direct Download”直接下载。得到文件名为 spark-1.2.0-bin-hadoop2.4.tgz.cd ~ # x 标记指定 tar 命令执行解压缩操作，f
spark教程 DAG
spark
apache
java
转载
蓝月亮
2023-09-27 15:30:52
83阅读

springboot 整合 spark SQL springboot+spark
一：版本预备：Scala :2.11 版Spark: 2.2.3 版二：版本之间的差异： Spark 2.x 版中将使用Dataset 取代Spark 1.x 版 DataFrame三：项目工程搭建构建一个SpringInitializr 项目在pom.xml 文件中添加依赖<dependency> <groupId>org.apache.spark</groupI
JAVA 
Spark
SpringBoot
SpringWebFlux
spark
转载
字节小舞神
2023-11-29 09:06:39
493阅读

springboot配置spark环境 spark整合springboot
在云服务器上做的，由于白嫖的云服务器性能比较差，就设计了如下架构。功能与设计(大数据集群+架构设计+功能分析与设计) 总体架构图 功能： 订单成交量统计分析 历史成交总金额 热门分类的实时和离线统计分析 热门商品的实时和离线统计分析 活跃用户统计分析项目实现SpringBoot tmall商城部署在服务器git拉取tmall springboot项目到本地，配置mysql，创建对应数据库，运行sq
springboot配置spark环境
spark
kafka
apache
转载
mob64ca1417736e
2023-12-19 17:27:02
135阅读

spark教程菜鸟教程 spark入门实战
好的，下面是Spark入门教程：# 1. Spark概述Spark是一种基于内存计算的大数据处理框架，它提供了高效的分布式数据处理能力，使得处理大规模数据变得更加容易。Spark最初是由加州大学伯克利分校AMPLab实验室开发的，后来被捐赠给了Apache软件基金会，成为了Apache的顶级项目。Spark最主要的特点是内存计算，它能够将数据存储在内存中进行计算，大大提高了计算速度。此外，Spar
spark教程菜鸟教程
spark
大数据
hadoop
数据
转载
烂漫树林
2023-07-28 20:32:54
1350阅读

SpringBoot + Spark
Scala开发，这里只是Spark local模式的简单示例，工作也没有需求 http请求去执行Spark yarn，所以暂时没有去管。pom.xml需要注意的是去除掉 SpringBoot 默认的日志引擎。 <properties> <project.build.sourceEncoding>UTF-8</project.b...
spark
spring
scala
apache
sql
原创
訾零LY
2021-08-31 14:13:26
540阅读

sparkmllib在springboot里怎么调用 spark ml教程
一、ML组件ML的标准API使用管道（pipeline）这样的方式，可以将多个算法或者数据处理过程整合到一个管道或者一个流程里运行，其中包含下面几个部分： 1. dataFrame：用于ML的dataset，保存数据 2. transformer：将一个dataFrame按照某种计算转换成另外一个dataFrame，例如把一个包含特征的dataFrame通过模型预测，生成一个包
spark
apache
数据
转载
lemon
3月前
33阅读

springboot spark清理数据示例 springboot整合spark
Spark安装：厦大数据库实验室Spark安装Scala安装：厦大数据库实验室Scala安装相应软件的安装环境： jdk 1.8.0_161scala 2.12.12spark 2.4.7maven 3.6.3zookeeper 3.6.1kafka_2.12-2.5.0apache-tomcat-8.5.61nginx-1.17.10.tar.gzjdk的安装在 /usr/local/ 下创建
kafka
zookeeper
apache
转载
jacksky
2024-08-06 18:30:53
53阅读

SpringBoot 接入 Spark springboot向spark提交任务
环境：<java.version>1.8/17</java.version> <scala.version>2.12.15</scala.version> <scala.binary.version>2.12</scala.binary.version> <spark.version>3.1.2/3.3.2<
SpringBoot 接入 Spark
spark
jar
spring boot
spring
转载
数码悟透
2024-01-17 17:43:44
572阅读

spark视频教程 spark中文教程
概论 在高层中，每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的mian 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分布式数据集(RDD)，RDD 是指能横跨集群所有节点进行并行计算的分区元素集合。 RDDs 从 Hadoop 的文件系统中的一个文件中创建而来(或其他 H
spark视频教程
数据集
spark
驱动程序
转载
网络安全卫士
2024-02-06 21:57:42
39阅读

springboot 如何 调用 spark 集群 springboot spark整合
目录背景准备工作主要流程效果截图主要代码外部引用 背景一直很好奇web后台如何启动Spark应用程序，查找Api后发现可以使用org.apache.spark.launcher.SparkLauncher来做到这一点。我想得动手测试一下，而且要做的体面一些，所以搞个简易的web工程吧，顺便学习熟悉一下使用springboot框架。在这里将整个折腾的过程记录下来准备工作1. 搭建hadoop集群，
springboot
spark应用
spark submit
spark 提交
spark
转载
mob64ca13f8eecb
2023-12-20 15:50:26
244阅读

springboot编写spark spark spring
Spark Streaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。Spark Streaming可结合批处理和交互查询，适合一些需要对历史数据和实时数据进行结合分析的应用场景。Spark Streaming设计Spark Streaming是Spark的核心组件之一，为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示，Spark Stream
springboot编写spark
Streaming
数据
批处理
转载
数据探索者
2024-01-30 00:45:13
43阅读

spark spring spark springboot yarn
前言之前项目是基于springboot整合spark，在standalone上运行，现在使用同样的方案，不过是在生产环境yarn集群上提交spark，并且需进行kerbores验证，如下。背景公司项目需求，通过手机信令位置数据，做一个分析性平台。基于目前线上环境spark+hadoop+yarn做分析。数据量10亿用户。spark on yarn 问题总结首先在开发过程中，前提保证版本的一致性，否
spark spring
spark
yarn
big data
spring
转载
笑傲江湖求败
2023-07-05 21:07:40
167阅读

将spark注入springboot springboot提交spark任务
前言昨晚本来想把这部分的博客内容，完成的，结果只写到了设计，时间就不早了，今天把具体的实现，还有实现过程中所遇到的所有的问题写在这里。引入依赖这次我用了Spark2.x的java api，并且了解到spark底层是scala实现了，然后上层的api有scala版本和java版本，这里我使用了它提供的java的api，并且java底层调用的函数都是scala实现的，非常的方便，可以与java进行无缝
将spark注入springboot
项目实训
正则化
spark
数据
转载
网络小墨舞风
2023-12-27 10:47:03
43阅读

springboot 远程调用 spark springboot提交spark任务
 1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上，任务单独起一个项目，解除与springboot项目的耦合2. 构建springboot项目1. pom配置<properties> <jav
spark
springboot
spring
java
转载
mob64ca140e4022
2023-12-07 14:04:58
498阅读

spark springboot 数据库 spark整合springboot
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。 文章目录一、集群环境二、项目配置环境 一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3
spark
spring boot
java
spring
apache
转载
编程小匠人
2023-11-23 22:56:10
125阅读

【Spark】Spark基础教程
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark特点Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘
内存计算
执行引擎
Hadoop
原创
chengzheng183
2023-09-12 19:18:42
48阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

spark操作教程 spark使用

sparkmagic 教程 spark教程菜鸟教程

Sparkline 教程 spark教程菜鸟教程

java springboot 教程 springboot系列教程

springboot 系列教程 springboot新手教程

springboot 官方教程 springboot教程视频

springboot集成 spark

springboot 整合 spark

springboot spark kafka

sparkhub教程 spark实战教程

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯