WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在 WebSocket API 中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。springboot提供了相关整合starter<!--websocket-
一、sparkContext与sparkSession区别任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数,sparkContext只能在driver机器上面启动;SparkSession： SparkSession实质上是SQLContext和HiveContext的组合，S
转载
2023-07-15 12:20:37
46阅读
# 使用GeoTools进行空间数据处理
GeoTools是一个开源的Java库，用于处理和分析地理空间数据。它提供了大量的功能和工具，可以帮助开发者进行空间数据的读取、处理、分析和可视化。本文将介绍如何在Spark中使用GeoTools进行空间数据处理，并提供一些代码示例。
## 1. 准备工作
在开始使用GeoTools之前，我们需要先安装GeoTools库。可以通过Maven来添加Ge
# Spark中使用Aggregator
## 介绍
在Spark中使用Aggregator可以用于对数据进行分组和聚合操作。本文将介绍使用Aggregator的流程，并提供代码示例和注释。
## 流程
使用Aggregator的流程如下：
```mermaid
journey
title 使用Aggregator的流程
section 准备数据
开发者->数据源
原创
2023-08-22 07:23:02
335阅读
package com.immooc.sparkimport org.apache.spark.{SparkConf, rdd}imp
原创
2022-08-01 20:30:12
168阅读
Spark 2.x管理与开发-Spark RDD的高级算子（二）aggregate*聚合操作，类似于分组Group By（１）先对局部进行聚合操作，再对全局进行聚合操作（２）举例：将每一个分区中的最大值加在一起分成两步操作：１）先在分区内部进行最大值操作２）面对全局进行操作－求和：２＋５＝７zeroValue: U：初始值，需要赋值 后面是两个函数参数，第一个函
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感兴趣和从事大数据开发的人员提供有价值的中文资料，对PySpark开发人员的工作和学习有所帮助。官网地
转载
2023-07-17 11:43:14
46阅读
# 使用 Spring Boot 整合 Apache Spark
Spring Boot 是一个便捷的框架，用于创建独立的 Spring 应用，而 Apache Spark 是一个强大的大数据分布式计算引擎。将二者结合起来，可以构建高效的数据处理应用。本教程将指导你如何在 Spring Boot 中使用 Spark。
## 整体流程
下面是实现步骤的表格：
| 步骤 | 操作 |
|---
在开发中，如果相同的查询条件去频繁查询数据库, 是不是会给数据库带来很大的压力呢？因此，我们需要对查询出来的数据进行缓存,这样客户端只需要从数据库查询一次数据，然后会放入缓存中，以后再次查询时可以从缓存中读取。Spring开始提供了强大的基于注解的缓存支持，可以通过注解配置方式低侵入的给原有Spring应用增加缓存功能，提高数据访问性能。SpringBoot支持很多种缓存方式：redis、guav
转载
2018-07-03 15:59:00
121阅读
pom中添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency>常规切面使用切入指定包类目
原创
2023-02-01 12:11:32
286阅读
对于数据访问层，无论是哪种数据库，springBoot 底层都是采用Spring Data的方式统一处理各种的数据库，Spring Data也是Spring
原创
2023-04-08 01:45:05
384阅读
创建一个类并继承接口ApplicationRunner,实现接口的run方法 为类添加两个注解@Component和@Order 添加测试参数 ，如下图，普通参数 与键值对参数 ,启用服务，成功输出参数值
原创
2022-10-17 06:22:49
95阅读
# 使用Redis在Spring Boot中的应用
Redis是一个开源的内存数据库，可以用作缓存、消息队列、分布式锁等。在Spring Boot中使用Redis可以提高系统的性能和可靠性。本文将介绍如何在Spring Boot中使用Redis，并提供相应的代码示例。
## 为什么要使用Redis
在传统的数据库中，数据的读写会涉及到磁盘的IO操作，速度较慢。而Redis是基于内存的数据库，
SpringBoot中使用RabbitMQ一、搭建初始环境引入依赖<dependency> <groupId>org.springframework.boot</groupId
原创
2023-02-01 10:13:15
61阅读
集成IDE安装Plugins插件=>lombok添加maven依赖 <dependency> <groupId>org.projectl
原创
2023-02-02 08:24:34
68阅读
导入pom依赖<dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-spring</artifactId> <version>1.4.0</version></dependency>添加...
原创
2021-09-14 16:01:13
153阅读
SpringBoot中使用Redisredis的应用场景:缓存（数据查询、短连接、新闻内容、商品内容等等）。（最多使用）分布式集群架构中的session分离。聊天室的在线好友列表。任务队列。（秒杀、抢购、12306等等）应用排行榜。网站访问统计。数据过期处理（可以精确到毫秒）利用SpringBoot可以快速在项目中加入redis关系数据库。redis.properties#多redis连接
原创
2023-03-08 10:25:07
1282阅读
1. 导入依赖首先，在pom.xml（Maven项目）或build.gradle（Gradle项目）中添加Redisson的依赖。对于Maven项目，添加如下依赖： <dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson-spring-boot-st
添加Redis依赖包
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
转载
2021-08-13 09:10:51
127阅读
mybatis.type-aliases-package = com.atchina.springbootmvc04.daomybatis.mapper-locations=classpath:mybatis/mapper/*.xml
原创
2021-08-24 15:33:13
221阅读
