使用Java8 Stream流的skip + limit实现批处理
原创
©著作权归作者所有:来自51CTO博客作者南北走走吧的原创作品,请联系作者获取转载授权,否则将追究法律责任
1、一般进行批处理时会将数据加入到一个临时的集合中,当数据量达到一定大小后进行下一步操作,数据量不足时需要进行额外的判断;
2、若使用Java8的Stream流中的 skip + limit 则可以让我们对集合方便快捷的操作,其中:
(1)skip(x):返回丢弃流中的前x个元素后剩下元素组成的新流;若原流中包含的元素个数小于x,则返回空流。
(2)limit(x): 对一个Stream流进行截断操作,获取其前x个元素;若原流中包含的元素个数小于x,那就获取其所有的元素;
3、实例代码如下:
public static void main(String[] args) {
List<Integer> list = new ArrayList<>();
for (int i = 10; i < 36; i++) {
list.add(i);
}
int limit = 10;
for (int offset = 0; offset < list.size(); offset += limit) {
List<Integer> subList = list.stream()
.skip(offset)
.limit(limit)
.collect(Collectors.toList());
System.out.println(subList);
}
}
输出结果:
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
[30, 31, 32, 33, 34, 35]
3、通过结果也可以看出 skip 配合 limit 操作使用时, limit 是最多取出限制的大小,不用再判断最后一批数据量大小不够限定的大小时的处理。
改进版
int j = 0, size = list.size(), batchSize = 100;
while (j < size) {
batchList = list.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
j += batchSize;
}