异步线程nosesion

转载

数据探索家 2024-10-29 11:40:22

文章标签 异步线程nosesion mysql java 异步线程数据 文章分类 架构后端开发

事务 + 异步线程使用

描述

在前端通过Excel导入数据时，数据量过大需要等待很长时间，这个时候就可以使用异步线程，在后台另开一个线程来处理数据导入，同时在前台展示一条处理日志，显示未完成，等到异步线程处理完成，修改该状态为完成状态。这样做的好处就是减少用户等待的时长，前台不会阻塞在当前位置，文件上传完成后，用户可以使用其他功能，不影响后台处理数据。

在springBoot项目中使用异步线程

1、在启动类中加入@EnableAsync

2、（可选）在启动类或者新建一个configuration中添加一个bean

@Bean(name = "自定义")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor()
    {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setMaxPoolSize(maxPoolSize);// 最大可创建的线程数
        executor.setCorePoolSize(corePoolSize);// 核心线程池大小
        executor.setQueueCapacity(queueCapacity);// 队列最大长度
        executor.setKeepAliveSeconds(keepAliveSeconds);// 线程池维护线程所允许的空闲时间
        // 线程池对拒绝任务(无线程可用)的处理策略
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        return executor;
    }

3、在需要开启异步线程的方法上添加@Async(“自定义的线程池名称，可不写”)

@Async("threadPoolTaskExecutor")
@Override
public void importInfo(byte[] bytes, String type, PersonDeptImportLog log) throws Exception {

文件的传递

在使用异步线程的过程中，还出现了一个问题，controller层接收到前端传过来的文件后，需要将这个文件传到处理数据的方法内，问题就是在当controller这个线程执行完后，这个文件就被销毁了，后面方法就会报错，这个文件不存在。后面我将这个文件转换为输入流之后再进行传递也还是不行，会报流被关闭的错误。这个问题出现的原因可能和前面说的一样，当controller方法执行完成后，线程关闭，输入流也会被关闭。

解决方案

这个时候其实有一种解决办法，就是讲这个临时文件保存到本地，然后在进行操作，完成后再将这个文件删除，避免服务器被占满。这个方法也可以，但是我对文件的这些操作不是很熟悉，所以就没有采用。

最后我找到了另一种解决办法，就是将文件的输入流转换为byte数组，org.springframework.util.FileCopyUtils.copyToByteArray() 这个方法，后面再将数组转换成输入流就可以了。

事务的使用

描述

上文已经讲到我们需要对数据库进行批量操作，如果在操作过程中出现了错误，那么我们是需要将之前的所有操作都撤销，也就是回滚，回到最开始的状态。

这一步其实很简单，SpringBoot为我们提供了一个注解**@Transactional**。只需要在类的方法头上添加即可。不过Transcational有几条注意事项

不应在接口上声明**@Transactional**，应在具体类的方法上使用，否则注解可能无效
哪个方法需要事务，就在哪方法的头上加注解，若是放到类的头上，会使类中的所有方法都带有事务
使用了 @Transactional的方法，对同一个类里面的方法调用， @Transactional无效。
事务的传播属性：

在类A事务方法内,调用了类B非事务的方法,没有事务的方法一样会拥有事务特性,和类A事务的方法使用的是同一个事务.(无论哪个方法出错,都会回滚)
在类A事务方法内,调用了类A的非事务方法,非事务方法同样会拥有事务特性,且为同一个事务.(无论类A的事务方法出现错误,还是类A的非事务方法出现错误,数据库的任何操作都会回滚)
在类A中的非事务方法内,调用类A的事务方法(事务不生效)

事务传播行为类型	说明
PROPAGATION_REQUIRED	如果当前没有事务，就新建一个事务，如果已经存在一个事务中，加入到这个事务中。这是最常见的选择。
PROPAGATION_SUPPORTS	支持当前事务，如果当前没有事务，就以非事务方式执行。
PROPAGATION_MANDATORY	使用当前的事务，如果当前没有事务，就抛出异常。
PROPAGATION_REQUIRES_NEW	新建事务，如果当前存在事务，把当前事务挂起。
PROPAGATION_NOT_SUPPORTED	以非事务方式执行操作，如果当前存在事务，就把当前事务挂起。
PROPAGATION_NEVER	以非事务方式执行，如果当前存在事务，则抛出异常。
PROPAGATION_NESTED	如果当前存在事务，则在嵌套事务内执行。如果当前没有事务，则执行与PROPAGATION_REQUIRED类似的操作。

事务的传播是发生在不同类之间的，这一点一定要注意！！！

注意

spring AOP 异常捕获原理：被拦截的方法需显式抛出异常，并且不能经任何处理，这样aop代理才能捕获到方法的异常，才能进行回滚，默认情况下aop只捕获runtimeException的异常

如果使用了事务，并且你捕获了异常，在catch子句里做一些业务处理，那么一定要在catch子句里面再次抛出异常，而且是运行时异常RuntimeException和error，或者你在注解这里指定一下，抛出异常的类型，

@Transactional(rollbackFor = Exception.class) //这个配置仅限于 Throwable 异常类及其子类。

或者在catch语句中增加这行代码，手动回滚

TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();

效率

在未开启事务之前，两万多条数据需要五分钟以上才能执行完毕，开启事务之后，只需要三十多秒即可完成，效率提升10倍。因为在未开启事务时，MySQL默认自动提交，每插入一条数据，就提交一次，两万多条数据需要提交两万多次。肯定会大大降低插入数据的速度。而开启事务之后，插入数据时只要中间没有出错，等到执行完成就只提交一次，这样会节省很多时间。当然事务是有一定限制的，MySQL有innodb_log_buffer_size配置项，超过这个值会把innodb的数据刷到磁盘中，这时，效率会有所下降。