【工具】Java 自动分页获取数据 适用于数据抓取 或者分页获取 等

【工具】Java 自动分页获取数据 适用于数据抓取 或者分页获取 等

使用方法 参考main

package org.modules.common.utils;

import cn.hutool.core.lang.func.Func;
import cn.hutool.core.util.PageUtil;
import cn.hutool.json.JSONArray;
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.dromara.hutool.core.collection.CollUtil;
import org.jeecg.common.api.vo.Result;

import java.util.Collection;

/**
 * 分页执行fun
 */
@Slf4j
public class WTool分页 {


    @Data
    public static class 分页执行funFuncVo{

        /**
         * 如果第一次没有的话 建议维护 set总条数 从新计算
         */
        private int 总条数;

        private int 总页数;
        private int 每页条数;
        /**
         * 从1开始
         */
        private int 当前页;

        /**
         * 从0开始每次查询的下标 比姐是有10个好友这里填5就是从第五个好友开始查500个  首次填0 建议就是第一次0第二次就是0+limit
         */
        private int 当前下标;

    }


    @Data
    public static class 分页执行funFuncReq{
        private int 总条数;
        private int 每页条数;
        /**
         * 从1开始
         */
        private int 当前页;

        public 分页执行funFuncReq(int 当前页, int 每页条数, int 总条数) {
            this.当前页 = 当前页;
            this.每页条数 = 每页条数;
            this.总条数 = 总条数;
        }

        /**
         * 通过func参数 维护 vo入参的总条数即可
         * @param 每页条数
         * @param 当前页
         */
        public 分页执行funFuncReq(int 当前页, int 每页条数) {

            //强制执行一次
            this.总条数 = 当前页 * 每页条数;

            this.当前页 = 当前页;
            this.每页条数 = 每页条数;
        }

    }


    /**
     *
     */
    public static <T extends Collection> Result<T> 分页执行fun(分页执行funFuncReq req, Func<分页执行funFuncVo, Result<T>> func, T initCollectionData){

        //首次是不知道的 需要从接口获取
        int 总条数 = req.get总条数();
        int 当前页 = req.get当前页();
        int 每页条数 = req.get每页条数();


        //计算出总共有多少页
        int 总页数 = PageUtil.totalPage(总条数, 每页条数);
        if(总页数 <= 0){
            return Result.error("总页数为0", null);
        }

        if(当前页 > (总页数+1)){
            return Result.error("当前页 大于 总页数", null);
        }

        //因为当前页也需要执行 所以+1
        int 剩余页数 = 总页数 - 当前页 + 1;


//        Collection respList = null;

        for (int i = 0; i < 剩余页数; i++) {


            int 真实当前页 = 当前页+i;
            int 当前下标 = (当前页+i-1) * 每页条数;

            分页执行funFuncVo vo = new 分页执行funFuncVo();
            vo.set当前页(真实当前页);
            vo.set总条数(总条数);
            vo.set每页条数(每页条数);
            vo.set总页数(总页数);

            vo.set当前下标(当前下标);

            try {
                Result<T> call = func.call(vo);
                if(call.isSuccess()){

                    //重新维护页数
                    总条数 = vo.get总条数();
                    每页条数 = vo.get每页条数();
                    //计算出总共有多少页
                    总页数 = PageUtil.totalPage(总条数, 每页条数);
                    if(当前页 > (总页数+1)){
                        return Result.error("当前页 大于 总页数", null);
                    }
                    //因为当前页也需要执行 所以+1
                    剩余页数 = 总页数 - 当前页 + 1;
                    T resultData = call.getResult();
                    if(resultData == null){
                        continue;
                    }

                    if(initCollectionData == null){
                        initCollectionData = resultData;
                    }else{
                        initCollectionData.addAll(resultData);
                    }
                }else{
                    log.error("分页执行fun失败:{}", call);
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

        if(CollUtil.isEmpty(initCollectionData)){
            return Result.error("获取到的数据为空", null);
        }

        return Result.OK(initCollectionData);
    };


    public static void main(String[] args) {



            Result<JSONArray> collectionResult = WTool分页.分页执行fun(new WTool分页.分页执行funFuncReq(1, 500),
                    new Func<WTool分页.分页执行funFuncVo, Result<JSONArray>>() {
                        @Override
                        public Result call(WTool分页.分页执行funFuncVo... parameters) throws Exception {

                            WTool分页.分页执行funFuncVo vo = parameters[0];

                            int 每页条数 = vo.get每页条数();
                            int 当前下标 = vo.get当前下标();

                            return Result.OK(null);
                        }
                    }, new JSONArray());

    }

}