定时清理垃圾文件/清空存储空间

1. 任务描述

在本地上传图片存储到七牛云中后,由于存储空间有限,所以需要在一定时间后清理垃圾文件,以及在一定时间后清空Redis存储。

要求:

1. 每周末清理垃圾图片 2. 每月底清空Redis存储

2. 任务实现

2.1. 引入Quartz定时任务组件maven坐标
<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz -->
<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz-jobs -->
<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz-jobs</artifactId>
    <version>2.3.0</version>
</dependency>
2.2. 配置文件
2.2.1. applicationContext-jobs.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
       xmlns:mvc="http://www.springframework.org/schema/mvc"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
							http://www.springframework.org/schema/beans/spring-beans.xsd
							http://www.springframework.org/schema/mvc
							http://www.springframework.org/schema/mvc/spring-mvc.xsd
							http://code.alibabatech.com/schema/dubbo
							http://code.alibabatech.com/schema/dubbo/dubbo.xsd
							http://www.springframework.org/schema/context
							http://www.springframework.org/schema/context/spring-context.xsd">
    <context:annotation-config></context:annotation-config>
<!--    配置job类-->
    <bean id="clearImgJob" class="com.itlearn.jobs.ClearImgJob"/>
    <bean id="emptyImgJob" class="com.itlearn.jobs.EmptyImgJob"/>
    <bean id="jobDetail1" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<!--        注入目标对象-->
        <property name="targetObject" ref="clearImgJob"/>
<!--        注入目标方法-->
        <property name="targetMethod" value="clearImg"/>
    </bean>
    <bean id="jobDetail2" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
        <!--        注入目标对象-->
        <property name="targetObject" ref="emptyImgJob"/>
        <!--        注入目标方法-->
        <property name="targetMethod" value="emptyImgJob"/>
    </bean>
<!--    注册触发器-->
    <bean id="myTrigger1" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
<!--        注入jobDetail-->
        <property name="jobDetail" ref="jobDetail1"/>
<!--        指定触发的时间,基于cron表达式:0 0 0 ? * 7 *:每周末晚上00:00:00执行-->
        <property name="cronExpression">
            <value>0 0 0 ? * 7 *</value>
        </property>
    </bean>
    <!--    注册触发器-->
    <bean id="myTrigger2" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
        <!--        注入jobDetail-->
        <property name="jobDetail" ref="jobDetail2"/>
        <!--        指定触发的时间,基于cron表达式-->
        <property name="cronExpression">
            <value>0 0 0 L * ? *</value>
        </property>
    </bean>
<!--    注册一个统一的调度工厂,通过这个调度工厂完成任务调度-->
    <bean id="scheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<!--        注入多个触发器-->
        <property name="triggers">
            <list>
                <ref bean="myTrigger1"/>
                <ref bean="myTrigger2"/>
            </list>
        </property>
    </bean>
</beans>

quartz组件核心配置:

MethodInvokingJobDetailFactoryBean—工作细节,即要执行哪个类的哪个方法。需要注入目标对象和目标方法

CronTriggerFactoryBean—触发器,即执行工作的时机,需要注入工作细节,并指定触发时机。

SchedulerFactoryBean—调度工厂,统一的调度工厂,通过这个调度工厂完成任务调度。可注入多个触发器。

Cron表达式:https://qqe2.com/cron可自动生成,不再赘述,可查阅资料。

2.2.2. applicationContext-redis.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xmlns:aop="http://www.springframework.org/schema/aop"
       xmlns:tx="http://www.springframework.org/schema/tx"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
       http://www.springframework.org/schema/beans/spring-beans.xsd
       http://www.springframework.org/schema/context
       http://www.springframework.org/schema/context/spring-context.xsd
       http://www.springframework.org/schema/aop
       http://www.springframework.org/schema/aop/spring-aop.xsd
       http://www.springframework.org/schema/tx
       http://www.springframework.org/schema/tx/spring-tx.xsd">
    <!-- jedisPoolConfig配置 -->
    <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <property name="maxIdle" value="50"/>
        <property name="maxTotal" value="200"/>
        <property name="testOnBorrow" value="true"/>
        <property name="testOnReturn" value="true"/>
    </bean>
<!--    配置jedisPool-->
    <bean id="jedisPool" class="redis.clients.jedis.JedisPool">
        <constructor-arg name="poolConfig" ref="jedisPoolConfig"/>
        <constructor-arg name="host" value="127.0.0.1"/>
        <constructor-arg name="port" value="6379"/>
        <constructor-arg name="timeout" value="30000" type="int"/>
    </bean>
</beans>
2.3. 编写工作类
2.3.1. ClearImgJob.java :清理垃圾图片
package com.itlearn.jobs;

import com.itlearn.constant.RedisConstant;
import com.itlearn.utils.QiNiuFileUploadUtils;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.JedisPool;
import java.util.Set;
/**
 * 自定义job类,完成定时清理垃圾图片
 */
public class ClearImgJob {
    @Autowired
    private JedisPool jedisPool;

    public void clearImg(){
        //获取redis中保存的两个set集合进行的差值计算获得的垃圾图片名称集合
        Set<String> set = jedisPool.getResource().sdiff(RedisConstant.SETMEAL_PIC_RESOURCES,RedisConstant.SETMEAL_PIC_DB_RESOURCES);
        if (set != null && set.size() > 0){
            for (String picName : set) {
                //删除七牛云上的图片
                QiNiuFileUploadUtils.deleteFileFromQiniu(picName);
                //从redis集合中删除垃圾图片
                jedisPool.getResource().srem(RedisConstant.SETMEAL_PIC_RESOURCES,picName);
            }
        }
    }
}
2.3.2. EmptyImgJob.java :清空Redis
package com.itlearn.jobs;

import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.JedisPool;

public class EmptyImgJob {

    @Autowired
    private JedisPool jedisPool;

    /**
     * 每月底清空redis中的集合,以保持内存足够使用
     * 注意:在清空之前,要首先调用clearImg方法,来首先删除七牛云中的垃圾图片。
     * 然后再执行清空命令。不然再七牛云中会出现大量的垃圾图片,而七牛云中的图片不需要删除,以保证前台功能正常使用
     * */
    public void emptyImgJob(){
        new ClearImgJob().clearImg();
        //执行清空集合操作
        jedisPool.getResource().flushDB();
    }
}