51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

springboot 连接spark springboot 连接池 耗尽
目录前言背景问题排查步骤构造测试用例分析query语句的连接为什么没有释放？在testWithTx方法中无DB操作情况下Connection被占用Spring-JdbcTemplate是否存在上面的问题？结论前言由于本人对spring没有深入研究，这篇文章只是针对遇到的问题以及其产生原因进行简单记录。背景在使用spring-boot-2.4.2开发的项目中，有一个controller，需要调用RP
springboot 连接spark
spring
java
spring boot
bc
转载
feiry
2023-12-21 10:09:25
89阅读

springboot通过kerberos连接hdfs springboot+spark
Springboot+Mybatis+Pagehelper+Aop动态配置Oracle、Mysql数据源用公司新搭的maven脚手架创建springboot工程，因为脚手架功能未完善，创建出的工程主要就是引了springboot基础包并创建了目录结构，所以需要自己添加框架来搭建工程，也能通过这个过程来更深入了解相关框架，提升自己。 * springboot程序入口:TianlianModelSe
aop
mybatis
springboot
动态数据源
bc
转载
mob64ca141139a2
2024-06-19 20:53:20
73阅读

springboot连接spark的datasource springboot项目如何连接数据库
使用docker部署springboot项目并连接上mysql数据库预览：http://8.142.6.23/#/screen项目开源地址： 前端vue：https://gitee.com/gaohan888/echarts-learning/tree/master/vision 后端node.js: https://gitee.com/gaohan888/node-js-learning/tre
docker
linux
mysql
java
jar
转载
蓝梦之翼
2024-07-05 12:10:19
43阅读

springboot 整合 spark springboot+spark
大家好呀，我是阿瞒，感谢大家收看我的博客，今天给大家带来的是一个众所周知的推荐系统的小demo，废话不多说，上才艺！！！首先简单的看一下项目结构，很简单。你得会创建SpringBoot项目详细教程走这个链接，写得非常详细了IDEA 如何快速创建 Springboot 项目1.SparkApplication：SpringBoot的启动类package com.study; import org.
springboot 整合 spark
spark
springboot
大数据
apache
转载
笑傲江湖求败
2023-12-29 23:04:40
128阅读

spark 连接hadoop spark 连接kafka
Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统 本文旨在通过具有实际意义的案例向读者介绍如何使用 Kafka 分布式消息框架和 Spark 的 Streaming 模块构建一个实时的数据处理系统。内容将涉及数据产生，数据读取，数据处理，结果存储等数据系统处理的基本环节，也会提出一些开放式的问题，供读者一起讨论。 内容
spark 连接hadoop
zookeeper
kafka
服务器
转载
数据探索家
2024-08-07 09:21:19
21阅读

spark连接7077 spark连接idea
首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。平台环境：hadoop 2.6.0-CDH5.7 Hive 1.1.0 Spark 1.6.0 Scala 2.11.5项目环境：jdk 1.8 scala2.11.01.创建新工程 1.创建一个maven工程，不做赘述。工程目录结构如下：2.配置环境 1.左上角File ->Project Structure -
spark连接7077
spark
hive
windows
scala
转载
墨色天香
2024-06-20 08:27:22
64阅读

spark连接mysql spark连接clickhouse
 　　在使用DSL方式（DataFrame/DataSet）编写时Spark SQL时，会通过SparkSession.read.format(source: String)或SparkSession.write.format(source: String)来指定要读写的数据源，常见的有jdbc、parquet、json、kafka、kudu等，但实际上，这个format(source)
spark连接mysql
spark
ide
apache
转载
编程小达人之心
2023-08-11 19:28:34
257阅读

spark连接pycharm spark连接idea
一.背景介绍许多中小型企业使用Ambari去管理自己的大数据集群，以Spark作为主要的计算框架去实现数据的分析。通用的Spark的开发调试流程是往往需要以下流程：Idea上进行开发，并使用spark local模式进行调试。打包程序放到测试分布式环境上进行spark on yarn client模式进行调试。使用spark on yarn cluster模式进行调试，成功后在正式环境中进行分布式
spark连接pycharm
yarn
hdp
spark
client
转载
码海舵手之心
2024-05-30 09:54:44
28阅读

SpringBoot + Spark
Scala开发，这里只是Spark local模式的简单示例，工作也没有需求 http请求去执行Spark yarn，所以暂时没有去管。pom.xml需要注意的是去除掉 SpringBoot 默认的日志引擎。 <properties> <project.build.sourceEncoding>UTF-8</project.b...
spark
spring
scala
apache
sql
原创
訾零LY
2021-08-31 14:13:26
540阅读

springboot 整合 spark SQL springboot+spark
一：版本预备：Scala :2.11 版Spark: 2.2.3 版二：版本之间的差异： Spark 2.x 版中将使用Dataset 取代Spark 1.x 版 DataFrame三：项目工程搭建构建一个SpringInitializr 项目在pom.xml 文件中添加依赖<dependency> <groupId>org.apache.spark</groupI
JAVA 
Spark
SpringBoot
SpringWebFlux
spark
转载
字节小舞神
2023-11-29 09:06:39
493阅读

springboot配置spark环境 spark整合springboot
在云服务器上做的，由于白嫖的云服务器性能比较差，就设计了如下架构。功能与设计(大数据集群+架构设计+功能分析与设计) 总体架构图 功能： 订单成交量统计分析 历史成交总金额 热门分类的实时和离线统计分析 热门商品的实时和离线统计分析 活跃用户统计分析项目实现SpringBoot tmall商城部署在服务器git拉取tmall springboot项目到本地，配置mysql，创建对应数据库，运行sq
springboot配置spark环境
spark
kafka
apache
转载
mob64ca1417736e
2023-12-19 17:27:02
135阅读

spark连接器 spark左连接
三。 左外连接　　考虑一家公司，比如亚马逊，它拥有超过2亿的用户，每天要完成数亿次交易。假设我们有两类数据，用户和交易：　　　　　　users(user_id,location_id)　　　　transactions(transction_id,product_id,user_id,quantity,amout)　　所谓左外连接：令T1(左表)和T2(右表)是以下两个关系（其中t1是T1的属性，t
spark连接器
大数据
设计模式
数据结构与算法
左外连接
转载
网络安全守卫
2023-12-25 20:06:27
54阅读

spark 连接tidb url spark 连接kafka
[comment]: # Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已
spark 连接tidb url
kafka
spark
scala
转载
mob64ca14061c9e
2024-06-14 08:15:02
53阅读

spark 连接hive spark 连接池
在一般的java 项目  以及 现在特别火的大数据分析项目中 ，用到数据库以及数据库资源池 连接的事情 是在稀松平常不过的了 。今天就简单的梳理下 这是一个怎样的过程：我们按照代码的调度顺序审视下 ：Comment ，我们是从Spark 数据分析做demo 展开的  ：第一，假设读写数据库一定是从业务层面发出的 ，那么就应该有以下代码这是我们众多代码中的最后一步 ，写数据到数据
spark 连接hive
sql
java
数据库
转载
mob64ca1418e88d
2023-09-21 09:49:15
91阅读

spark 连接
在当今数据驱动的世界中，Apache Spark作为一款高性能的分布式计算框架，被广泛应用于大数据处理。然而，连接Spark与数据源（如Hadoop、SQL数据库等）时，常常会面临各种连接问题。本博文将详细记录如何解决“Spark连接”问题的过程，包括背景描述、技术原理、架构解析、源码分析、性能优化等部分。 ### 背景描述 在**2023年8月**，我在项目中使用Apache Spark进行
数据源
数据库
bc
原创
mob649e8162842c
6月前
50阅读

远程连接spark集群 spark 连接oracle
前面我们已经把大数据平台搭建完成了，接下来是怎么应用大数据这件威力巨大的武器了。因为作者目前在一家传统型制造企业，很多业务和数据都是基于传统关系型数据库展开的，数据源大部分都存在Oracle、Mysql、PostgreSQL等传统关系型数据库，所以如何跟大数据平台建立联系，或者说让大数据技术更接地气，是应用大数据技术最好的实践。本文从一个初学者的角度去实践Spark访问Oracle数据库的过程。1
远程连接spark集群
大数据
bc
spark
数据库
转载
梦里忧郁
2023-09-24 17:13:18
179阅读

将spark注入springboot springboot提交spark任务
前言昨晚本来想把这部分的博客内容，完成的，结果只写到了设计，时间就不早了，今天把具体的实现，还有实现过程中所遇到的所有的问题写在这里。引入依赖这次我用了Spark2.x的java api，并且了解到spark底层是scala实现了，然后上层的api有scala版本和java版本，这里我使用了它提供的java的api，并且java底层调用的函数都是scala实现的，非常的方便，可以与java进行无缝
将spark注入springboot
项目实训
正则化
spark
数据
转载
网络小墨舞风
2023-12-27 10:47:03
46阅读

spark springboot 数据库 spark整合springboot
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。 文章目录一、集群环境二、项目配置环境 一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3
spark
spring boot
java
spring
apache
转载
编程小匠人
2023-11-23 22:56:10
125阅读

springboot 远程调用 spark springboot提交spark任务
 1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上，任务单独起一个项目，解除与springboot项目的耦合2. 构建springboot项目1. pom配置<properties> <jav
spark
springboot
spring
java
转载
mob64ca140e4022
2023-12-07 14:04:58
502阅读

springboot spark清理数据示例 springboot整合spark
Spark安装：厦大数据库实验室Spark安装Scala安装：厦大数据库实验室Scala安装相应软件的安装环境： jdk 1.8.0_161scala 2.12.12spark 2.4.7maven 3.6.3zookeeper 3.6.1kafka_2.12-2.5.0apache-tomcat-8.5.61nginx-1.17.10.tar.gzjdk的安装在 /usr/local/ 下创建
kafka
zookeeper
apache
转载
jacksky
2024-08-06 18:30:53
53阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

SpringBoot 接入 Spark springboot向spark提交任务

springboot 如何 调用 spark 集群 springboot spark整合

spark 连接clickhouse spark 连接pgsql 空间查询

spark 远程连接 spark connector

spark spring spark springboot yarn

springboot编写spark spark spring

spark 连接hbase java spark 连接Doris报错

spark 连接hive kerberos spark 连接Doris报错

spark 连接impala kerberos认证 spark连接kafka

hue 连接spark spark连接hive的metastore

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯