date java 比对 java大量数据比对

在项目中遇到一个问题：要将通过http方式发送过来的大批量数据(这个数据保守估计每次请求在10万条左右)，要和数据库中的另一批数据(数据库中的记录1万条左右)进行匹配(匹配：指两组数据中的某几个字段值相等)，匹配上的数据保存在数据库中，匹配不上的直接扔掉。或者说：有一个List strList，List personList，strNoList.size是1万，personList.size是10万， 然后要从personList中把person的id属性在strList中的person取出来，personList中的person的id可能会相同，两个记录的结构不同。

要实现这个功能，首先想到的就是使用for循环逐条进行比较，那么这样就有10W*1W，即10亿次循环。但是，系统对数据的实时性要求比较高，这样做显然性能上是有问题的。于是乎就要找另一种方式，减少循环次数来提高匹配的处理速度，由于之前也没做个这样的事情，于是就想各种办法，同时在OSC社区发帖求助

List可以放重复数据，而Map为不能放重复数据的key-value结构。那么就可以把接收到的id相同的person实体数据放入一个list中，然后用该id作为key，list做作为value放入map中。那么现在处理10w条数据则需要10W次for循环。然后查出数据库中的1W条记录，遍历map，使用map.get("key")取出相同id的list，然后将这些list的元素全部添加到一个resultList中，遍历这1W条记录需要1W次for循环。这样，就将一个10W*1W次的for循环减小到10W+1W次。下边是关于for循环次数的耗时测试，结果表明减少循环次数能大幅度提高处理速度

所以我们一般写代码，双循环匹配是N*M，数据量不大可以，数据量大了那就。。。

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
/**
* For循环测试
* @author 47Gamer
*
*/
public class ForTest {
public static void main(String[] args) {
ForTest test = new ForTest();
System.out.println("============开始=============");
//一亿次for循环
test.test1Yi();
//十一万次for循环
test.test11W();
//嵌套for循环匹配：10W*1W次for循环
test.testForAndFor();
//Map和List整理匹配：10W+1W次for循环
test.testMapAndList();
System.out.println("============结束=============");
}
/**
* 一亿次for循环
*/
private void test1Yi(){
long start = System.currentTimeMillis();
for (Integer i = 0; i < 100000000;i++) {
System.out.println(i);
}
long end = System.currentTimeMillis();
System.out.println("1亿次循环耗时："+ (end - start) + "毫秒");
System.out.println("----------------------------");
}
/**
* 11万次for循环
*/
private void test11W(){
long start = System.currentTimeMillis();
for (Integer i = 0; i < 110000;i++) {
System.out.println(i);
}
long end = System.currentTimeMillis();
System.out.println("11W次循环耗时："+ (end - start) + "毫秒");
System.out.println("----------------------------");
}
/**
* 嵌套for循环进行比较匹配
*/
private void testForAndFor(){
//构造一个10万个Person对象的list
List personList = new ArrayList();
for (int i = 0; i < 100000; i++) {
int j =10000;
personList.add(new Person((i%j) +"", "张三"+i));
}
//构造一个1万个String对象的list
List strList = new ArrayList();
for (int i = 0; i < 10000; i++) {
strList.add(i +"");
}
//嵌套for循环：10W*1W
long start = System.currentTimeMillis();
//保存匹配结果
List resultList = new ArrayList();
//遍历10W person的List
for (Person person : personList) {
//遍历1W str的List
for (String str : strList) {
if(person.getId().equals(str)){
resultList.add(person);
}
}
}
long end = System.currentTimeMillis();
System.out.println("reslutList.size:"+ resultList.size());
System.out.println("10W*1W次循环耗时："+ (end - start) + "毫秒");
System.out.println("----------------------------");
}
/**
* 使用Map和List的特性进行匹配:
* Map为key-value结构，不能放重复数据
* List可以放重复数据
* 使用String型id做key,List做value
* 遍历List, map.get(String)则取出id == str 的List
*/
private void testMapAndList(){
//构造一个10万个Person对象的list
List personList = new ArrayList();
for (int i = 0; i < 100000; i++) {
int j =10000;
personList.add(new Person((i%j) +"", "张三"+i));
}
//构造一个1万个String对象的list
List strList = new ArrayList();
for (int i = 0; i < 10000; i++) {
strList.add(i +"");
}
long start = System.currentTimeMillis();
//利用Map和List的特性整理数据
Map> map = new HashMap>();
//将10W条数据根据id放入map
for(int i=0;i
Person person = personList.get(i);
String id = person.getId();
if(map.containsKey(id)){
map.get(id).add(person);
}else{
List pList = new ArrayList();
pList.add(person);
//id为key,相同id的person的List为value
map.put(id,pList);
}
}
//保存匹配结果
List resultList = new ArrayList();
//根据1W条str,map.get(str)取匹配上的数据
for (String str : strList) {
List pList = map.get(str);
if (pList != null) {
resultList.addAll(pList);
}
}
long end = System.currentTimeMillis();
System.out.println("map.size:" +map.size());
System.out.println("reslutList.size:"+ resultList.size());
System.out.println("10W+1W次循环耗时："+ (end - start) + "毫秒");
System.out.println("----------------------------");
}
}
/**
* Person实体类
*/
class Person{
private String id;
private String name;
public Person() {}
public Person(String id, String name) {
this.id = id;
this.name = name;
}
@Override
public String toString() {
return this.id +"::>"+ this.name;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}

测试结果：

============开始=============
1亿次循环耗时：1262985毫秒
----------------------------
11W次循环耗时：1016毫秒
----------------------------
reslutList.size:100000
10W*1W次循环耗时：21219毫秒
----------------------------
map.size:10000
reslutList.size:100000
10W+1W次循环耗时：31毫秒
============结束=============

•1亿次system.out.println(i)的循环耗时1262985毫秒，即21分钟，那么10亿次210分钟，显然不可接受。当然这里设计I/O操作，比较耗时，实际应用中没有这么吓人。

•11万次system.out.println(i)循环耗时1016毫秒，即1秒种，很明显，减少循环次数能够提高处理速度。

•使用嵌套for循环完成10W*1W次循环耗时21219毫秒，使用第二种方法完成10W+1W次循环耗时31毫秒，处理速度提高了600多陪，达到了预想的目的。