WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。WebSocket 使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在 WebSocket API 中,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。springboot提供了相关整合starter<!--websocket-
  Spark Streaming重点知识//************* Spark Streaming是什么 1、SPark Streaming是Spark中一个组件,基于Spark Core进行构建,用于对流式进行处理,类似于Storm。 2、Spark Streaming能够和Spark Core、Spark SQL来进行混合编程。 3、Spark Streaming我们
一、sparkContext与sparkSession区别任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数,sparkContext只能在driver机器上面启动;SparkSession: SparkSession实质上是SQLContext和HiveContext的组合,S
转载 2023-07-15 12:20:37
55阅读
# 使用GeoTools进行空间数据处理 GeoTools是一个开源的Java库,用于处理和分析地理空间数据。它提供了大量的功能和工具,可以帮助开发者进行空间数据的读取、处理、分析和可视化。本文将介绍如何在Spark中使用GeoTools进行空间数据处理,并提供一些代码示例。 ## 1. 准备工作 在开始使用GeoTools之前,我们需要先安装GeoTools库。可以通过Maven来添加Ge
原创 2024-01-17 13:09:39
341阅读
# Spark中使用Aggregator ## 介绍 在Spark中使用Aggregator可以用于对数据进行分组和聚合操作。本文将介绍使用Aggregator的流程,并提供代码示例和注释。 ## 流程 使用Aggregator的流程如下: ```mermaid journey title 使用Aggregator的流程 section 准备数据 开发者->数据源
原创 2023-08-22 07:23:02
483阅读
package com.immooc.sparkimport org.apache.spark.{SparkConf, rdd}imp
原创 2022-08-01 20:30:12
182阅读
Spark 2.x管理与开发-Spark RDD的高级算子(二)aggregate*聚合操作,类似于分组Group By(1)先对局部进行聚合操作,再对全局进行聚合操作(2)举例:将每一个分区中的最大值加在一起分成两步操作:1)先在分区内部进行最大值操作2)面对全局进行操作-求和:2+5=7zeroValue: U:初始值,需要赋值    后面是两个函数参数,第一个函
摘要:在Spark开发中,由于需要用Python实现,发现API与Scala的略有不同,而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢,还是中文版比较容易get到所需,所以利用闲暇之余将官方文档翻译为中文版,并亲测Demo的代码。在此记录一下,希望对那些对Spark感兴趣和从事大数据开发的人员提供有价值的中文资料,对PySpark开发人员的工作和学习有所帮助。官网地
转载 2023-07-17 11:43:14
75阅读
# Spring Boot 使用 Spark 的入门指南 在大数据处理领域,Apache Spark 是一种广泛使用的分布式计算框架,而 Spring Boot 作为一个轻量级的 Java 应用框架,能够帮助我们快速构建微服务应用。今天,我们将通过一个简单的程序实现 Spring Boot 与 Spark 的结合。下面是整个流程的概览。 | 步骤 | 描述
原创 2024-10-09 04:06:27
83阅读
早上刚起来看订阅号时,偶然间看到使用hutool工具类导出excel。以前用过POI、easyexcel等工具的导入导出功能,总感觉太麻烦了,一顿乱七八糟的配置支撑条件。闲来无事,看着文档实际动手欧撸一遍。pm.xml中新加支撑####################################################################<dependency>
原创 2020-01-26 11:51:53
2447阅读
通过注解的方式实现filter过滤器。 创建Filter包,并在该包下创建MyFilter 示例代码: 注意需要加注解,配置需要拦截哪些路径。过滤的逻辑在输出语句处实现。并且如果不阻断请求,需要让请求过滤链继续。 需要在启动类上加包扫描注解,代码如下: 注解:@ServletComponentSca
转载 2019-06-18 17:27:00
88阅读
2评论
需要在springboot的启动类Webapplication上加上注解,对指定包进行扫描: com.bjpowernode.springboot.servlet是包的全名,servlet文件所在的包。 servlet类上需要加上注解,配置映射路径,才能被解析: 完整代码示例: 启动类的代码:
转载 2019-06-17 17:57:00
105阅读
2评论
win安装redis客户端https://github.com/tporadowski/redis/releases下载zip文件解压redis-server.exe运行redispom添加redis
原创 2023-02-01 12:11:15
82阅读
集成//版本号<properties> <springfox.swagger.version>2.9.2</springfox.swagger.versio
原创 2023-02-02 08:24:01
200阅读
简单使用集成 <dependency> <groupId>com.github.pagehelper</groupId> <
原创 2023-02-03 08:31:47
213阅读
Springboot默认集成的就是logback,logback相对来说是优秀于log4j的,log4j2也是参考了logback的设计。本篇就是来看看如何使用logback。新建一个Springboot项目,勾选web就OK了,项目会自动集成logback。控制台日志写一个controller测试一下:import org.slf4j.Logger;import org.slf
说 明现在开发中大部分主要使用spring boot 进行开发,Kafka的Java客户端,使用比较少这里就不做介绍了,如果大
原创 2022-12-14 18:22:42
260阅读
在项目中使用Swagger:新建一个springboot-web项目添加Maven依赖<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-boot-starter</artifactId> <version>3.0.0&l
原创 2023-07-25 20:32:35
64阅读
在Spring Boot中,@Autowired注解用于自动装配Spring容器中的bean。当你想要在一个类中注入另一个类时,你可以使用@Autowired注解来自动完成这个注入过程。Spring Boot会自动查找匹配的bean并将其注入到被标注的字段、方法或构造函数中。下面是使用@Autowired注解的一些示例:注入字段:@Service public class MyService {
原创 2024-04-11 18:45:02
140阅读
SpringMVC与Struts2的比较1:框架核心机制:SpringMVC(DispatcherServlet)采用Servlet实现,Struts2采用Filter(StrutsPrepareAndExecuteFilter)实现。Filter在容器启动之后即初始化;服务停止以后坠毁,晚于Servlet。Servlet在是在调用时初始化,先于Filter调用,服务停止后销毁。2:拦截机制 a、
转载 2024-10-17 08:25:52
25阅读
  • 1
  • 2
  • 3
  • 4
  • 5