定时清理垃圾文件/清空存储空间
1. 任务描述
在本地上传图片存储到七牛云中后,由于存储空间有限,所以需要在一定时间后清理垃圾文件,以及在一定时间后清空Redis存储。
要求:
1. 每周末清理垃圾图片 2. 每月底清空Redis存储
2. 任务实现
2.1. 引入Quartz定时任务组件maven坐标
<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz -->
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz</artifactId>
<version>2.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz-jobs -->
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz-jobs</artifactId>
<version>2.3.0</version>
</dependency>
2.2. 配置文件
2.2.1. applicationContext-jobs.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
xmlns:mvc="http://www.springframework.org/schema/mvc"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc.xsd
http://code.alibabatech.com/schema/dubbo
http://code.alibabatech.com/schema/dubbo/dubbo.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd">
<context:annotation-config></context:annotation-config>
<!-- 配置job类-->
<bean id="clearImgJob" class="com.itlearn.jobs.ClearImgJob"/>
<bean id="emptyImgJob" class="com.itlearn.jobs.EmptyImgJob"/>
<bean id="jobDetail1" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<!-- 注入目标对象-->
<property name="targetObject" ref="clearImgJob"/>
<!-- 注入目标方法-->
<property name="targetMethod" value="clearImg"/>
</bean>
<bean id="jobDetail2" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<!-- 注入目标对象-->
<property name="targetObject" ref="emptyImgJob"/>
<!-- 注入目标方法-->
<property name="targetMethod" value="emptyImgJob"/>
</bean>
<!-- 注册触发器-->
<bean id="myTrigger1" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
<!-- 注入jobDetail-->
<property name="jobDetail" ref="jobDetail1"/>
<!-- 指定触发的时间,基于cron表达式:0 0 0 ? * 7 *:每周末晚上00:00:00执行-->
<property name="cronExpression">
<value>0 0 0 ? * 7 *</value>
</property>
</bean>
<!-- 注册触发器-->
<bean id="myTrigger2" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
<!-- 注入jobDetail-->
<property name="jobDetail" ref="jobDetail2"/>
<!-- 指定触发的时间,基于cron表达式-->
<property name="cronExpression">
<value>0 0 0 L * ? *</value>
</property>
</bean>
<!-- 注册一个统一的调度工厂,通过这个调度工厂完成任务调度-->
<bean id="scheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<!-- 注入多个触发器-->
<property name="triggers">
<list>
<ref bean="myTrigger1"/>
<ref bean="myTrigger2"/>
</list>
</property>
</bean>
</beans>
quartz组件核心配置:
MethodInvokingJobDetailFactoryBean—工作细节,即要执行哪个类的哪个方法。需要注入目标对象和目标方法
CronTriggerFactoryBean—触发器,即执行工作的时机,需要注入工作细节,并指定触发时机。
SchedulerFactoryBean—调度工厂,统一的调度工厂,通过这个调度工厂完成任务调度。可注入多个触发器。
Cron表达式:https://qqe2.com/cron可自动生成,不再赘述,可查阅资料。
2.2.2. applicationContext-redis.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:aop="http://www.springframework.org/schema/aop"
xmlns:tx="http://www.springframework.org/schema/tx"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd
http://www.springframework.org/schema/aop
http://www.springframework.org/schema/aop/spring-aop.xsd
http://www.springframework.org/schema/tx
http://www.springframework.org/schema/tx/spring-tx.xsd">
<!-- jedisPoolConfig配置 -->
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxIdle" value="50"/>
<property name="maxTotal" value="200"/>
<property name="testOnBorrow" value="true"/>
<property name="testOnReturn" value="true"/>
</bean>
<!-- 配置jedisPool-->
<bean id="jedisPool" class="redis.clients.jedis.JedisPool">
<constructor-arg name="poolConfig" ref="jedisPoolConfig"/>
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6379"/>
<constructor-arg name="timeout" value="30000" type="int"/>
</bean>
</beans>
2.3. 编写工作类
2.3.1. ClearImgJob.java :清理垃圾图片
package com.itlearn.jobs;
import com.itlearn.constant.RedisConstant;
import com.itlearn.utils.QiNiuFileUploadUtils;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.JedisPool;
import java.util.Set;
/**
* 自定义job类,完成定时清理垃圾图片
*/
public class ClearImgJob {
@Autowired
private JedisPool jedisPool;
public void clearImg(){
//获取redis中保存的两个set集合进行的差值计算获得的垃圾图片名称集合
Set<String> set = jedisPool.getResource().sdiff(RedisConstant.SETMEAL_PIC_RESOURCES,RedisConstant.SETMEAL_PIC_DB_RESOURCES);
if (set != null && set.size() > 0){
for (String picName : set) {
//删除七牛云上的图片
QiNiuFileUploadUtils.deleteFileFromQiniu(picName);
//从redis集合中删除垃圾图片
jedisPool.getResource().srem(RedisConstant.SETMEAL_PIC_RESOURCES,picName);
}
}
}
}
2.3.2. EmptyImgJob.java :清空Redis
package com.itlearn.jobs;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.JedisPool;
public class EmptyImgJob {
@Autowired
private JedisPool jedisPool;
/**
* 每月底清空redis中的集合,以保持内存足够使用
* 注意:在清空之前,要首先调用clearImg方法,来首先删除七牛云中的垃圾图片。
* 然后再执行清空命令。不然再七牛云中会出现大量的垃圾图片,而七牛云中的图片不需要删除,以保证前台功能正常使用
* */
public void emptyImgJob(){
new ClearImgJob().clearImg();
//执行清空集合操作
jedisPool.getResource().flushDB();
}
}