⭐RabbitMQ深度历险 - 生产者发布确认机制首先聊聊mq(有人叫broker)服务器的确认机制。这里举出三种,分别为单个确认、批量确认、异步批量确认单个确认:单个确认就不用讲了,每一条消息都会确认一次优点:可靠,保证消息的可靠传输(不保证不会丢失)缺点:效率低(测试1000条消息时,全部确认完在1480ms左右)批量确认:批量确认就是每一次不管发多少消息,有多少消息,mq都会依次性全部确认(
clickhouse批量写入报错TOO_MANY_PARTS场景处理 场景在windows 10上,使用docker,安装clickhouse最新镜像,启动使用数据库使用默认的Ordinary引擎,数据表使用MergeTree之前测试使用了一段时间,数据写入没问题昨天发现,数据并发写入一段时间后报错Code: 252. DB::Exception: Too many parts (300). M
1、下载excel模板 1.1、配置后端服务的静态资源路径 在学习 SpringBoot 整合 SpringMVC 的时候,我们需要自己编写一个 配置类,来指定 SpringBoot 项目的静态资源的目录,配置类如下package com.exam.config;
import org.springframework.context.annotation.Configuration;
impor
转载
2024-03-04 10:11:15
96阅读
现在越来越多的企业推荐使用RESTful 风格来构建企业的应用接口,那么什么是RESTful呢?什么是RESTful?RESTful是目前最流行的一种互联网软件架构。REST (Representational State Transfer,表述性状态转移)一词是由Roy Thomas Fielding 在他2000年博士论文中提出的,定义了他对互联网软件的架构原则,如果一个架构符合REST原则,
转载
2024-07-03 12:38:21
46阅读
更新时间2018-12-27 最近看了一个大神写的通过注解的形式来实现excel中表头名称 选项的设置,觉得很受启发,所以决定更新一版我的小文章。当然不会让大家失望的。这次更改我使用了注解工具类来侵入性更小的实现简单的excel导入导出。 再次更新一下,如何使用最简单的jar包更优雅的完成excel的导入和导出,包括
转载
2024-02-19 13:10:29
45阅读
Spring Boot 框架是目前非常流行的微服务框架,我们很多情况下使用它来提供 Rest API,而对于 Rest API 来说很重要的一部分内容就是文档,Swagger 为我们提供了一套通过代码和注解自动生成文档的方法,这一点对于保证 API 文档的及时性将有很大的帮助。本文将使用 Swagger 2 规范的 Springfox 实现来了解如何在 Spring Boot
转载
2024-06-05 14:28:24
45阅读
文章目录前言一、导入依赖二、配置监听器三、controller编写四、Service业务层五、持久层不再赘述六、前端总结 前言之前出过一期easyExcel在SSM的环境下使用流程,本篇演示在springboot环境下easyExcel的使用 一、导入依赖<!-- easyexcel依赖-->
<dependency>
<gr
转载
2024-03-22 10:03:43
121阅读
前言
最近在做阅读类的业务,需要记录用户的PV,UV;
项目状况:前期尝试业务阶段; 特点: 快速实现(不需要做太重,满足初期推广运营即可)快速投入市场去运营 收集用户的原始数据,三要素:谁在什么时间阅读哪篇文章 提到PV,UV脑海中首先浮现特点:需要考虑性能(每个客户每打开一篇文章进行记录)允许数据有较小误差(少部分数据丢失)架构设计架构图: -
转载
2024-06-19 20:31:08
84阅读
前言在我们做后端服务Dao层开发,特别是大数据批量插入的时候,这时候普通的ORM框架(Mybatis、hibernate、JPA)就无法满足程序对性能的要求了。当然我们又不可能使用原生的JDBC进行操作,那样尽管效率会高,但是复杂度会上升。综合考虑我们使用Spring中的JdbcTemplate和具名参数namedParameterJdbcTemplate来进行批量操作。改造前在开始讲解之前,我们
转载
2023-12-17 10:50:16
110阅读
说明SpringBoot版本:2.1.4.RELEASEjava版本:1.8文中所说JPA皆指spring-boot-starter-data-jpa使用JPA保存一个Student对象在JPA中保存一个对象,仅需要该对象,一个仓储即可。StudentDO实体类:@Getter
@Setter
@Entity
@Table(name = "t_student")
public class Stud
转载
2024-03-20 16:01:53
60阅读
准备工作1、Maven项目中pom.xml文件引入的相关依赖如下<dependencies>
<!-- SpringBoot Web模块依赖 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId
转载
2024-06-20 11:40:31
127阅读
springboot解析上传excel,存入数据库项目需要,写了一个,批量导入的接口。因为需要使用excel去批量导入数据,所以写了一个例子,经过测试已经可以用于实际开发,这里记录一下。一、导入依赖 这里还是用了Apache的POI插件,现在一般的springboot解析excel基本都用它 。<!-- 文件上传,解析文件需要的依赖-->
<!--poi对exce
转载
2024-02-15 16:47:29
569阅读
本文记录学习在SpringBoot中使用Redis。一 什么是Redis Redis 是一个速度非常快的非关系数据库(Non-Relational Database),它可以存储键(Key)与 多种不同类型的值(Value)之间的映射(Mapping),可以将存储在内存的键值对数据持久化到硬盘,可以使用复制特性来扩展读性能,还可以使用客户端分片来扩展写性能。Redis主要有以下几个优点: 1&
转载
2024-03-19 17:07:45
59阅读
这里写目录标题配置指定实体类导入基于注解实现测试 配置在Web项目开发过程中我们有批量导入数据的需求,使用Apache的poi是一种不错的选择。导入架包<!-- 导入数据 -->
<dependencies>
<!--spring data jpa 依赖-->
<dependency>
&
转载
2024-03-25 20:19:15
64阅读
前言作者之前做了个excel导入导出的功能。之前的实现思路是完全的"覆盖导入"。什么意思?意思就是,每次导入excel时按照一定的过滤条件, 把之前存储的数据的状态置为删除状态(在真实的环境中开发,几乎不存在"物理删除",也就是真正的把数据删除的应用场景,基本上都是用一个"状态"字段来控制)。 然后,本次导入的数据就无需关心之前的那些数据,只需按照"新增"插入记录即可。这种实现方式有好处也有坏处。
转载
2024-03-07 10:32:09
199阅读
原创 springboot葵花宝典 springboot葵花宝典 2023-12-30 19:20 发表于广东springboot葵花宝典主要分享JAVA技术,主要包含SpringBoot、SpingCloud、Docker、中间件等技术,以及Github开源项目228篇原创内容MyBatis批量插入数据优化,那叫一个优雅!在项目开发中,我们经常需要进行大量
转载
2024-07-29 16:56:48
1589阅读
文章目录一、前言二、正文1.准备项目和测试数据表2. 普通for循环,单条插入user表3. foreach,批量插入user表4. ExecutorType.BATCH,批量插入user表5. ExecutorType.BATCH,再结合foreach方式,批量插入user表6. 运行测试,横向对比结果:三、总结 一、前言Mybatis批量插入的正确姿势到底是什么?在网上浏览了非常多的帖子,很
转载
2023-09-17 11:46:43
315阅读
点赞
Spring Boot & Spring Batch 实现批处理需求领域自动,复杂地处理大量信息,无需用户交互即可最有效地进行处理。这些操作通常包括基于时间的事件(例如月末计算,通知或通信)。定期应用非常大的数据集(例如,保险利益确定或费率调整)重复处理复杂的业务规则。从内部和外部系统接收的信息的集成,通常需要格式化,验证和以事务方式进行的处理到记录系统中。批处理每天用于为企业处理数十亿笔
转载
2023-11-11 06:15:07
305阅读
一.上传10m以内的excel2007文件进行处理。1.前端使用vue 封装data信息。<div class="col-sm-2 control-label" >上传月使用量表格(仅支持excel)</div>
<div class="col-sm-10">
<input id="usageUPload" type="file"
转载
2024-03-18 06:28:55
51阅读
SpringBoot项目中使用Mybatis批量插入百万条数据话不多说,直接上代码,测试原生批处理的效率开始测试 背景:因为一些业务问题,需要做多数据源,多库批量查询、插入操作,所以就研究了一下。今天先整理记录一下批量插入的过程。 一般项目中常用三种方式向数据库插入数据,单条数据插入、mybatis中foreach插入、批处理插入,这三种各有不同。在数据量小的情况下区别不大。需要注意的是fo
转载
2023-10-27 01:03:35
261阅读