个人网站上有个功能,记录访问者的IP及其归属地。最初我偷懒通过一个WebService来查询IP归属地,后来觉得通过这种方法响应时间长,资源耗费大,而且对那个WebSerice的依赖度太高,如果它挂了或者网络原因,经常要到超时才返回。所以,我打算直接从本地的纯真IP库里查询。
纯真库的数据结构在http://lumaqq.linuxsir.org/article/qqwry_format_detail.html上讲的很详细了。简单地讲数据文件分成三个区域:
1、文件头(8个字节,前4字节是指向索引区第一条记录,后4字节指向索引区最后一条记录)
2、记录区(一个记录包含IP地址,国家记录,地区记录,后两个记录有可能是字符串,也可能是重定向,有多种重定向模式)
3、索引区(一个索引定长7个字节,前4字节是IP地址(little-endian),后3字节指向对应记录区的位置,这里的位置指从文件头开始计算的偏移字节)
虽然这个库结构工作的很好,效率也没有问题,但是我觉得设计的有点小复杂了。而且,如果记录区中有条记录A,是重定向到记录B中的,假如我删除了记录B,查询记录A的时候就会有问题。当然,可以在删除记录B的时候进行相应处理,只是有些麻烦。如果把文件结构改成如下,应该处理起来会更方便一些:
1、文件头(与原库一样)
2、字符串区
3、索引区(4字节的IP地址,4字节的偏移值,4字节的偏移值)
所有字符串放在字符串区中,统一管理。索引区中放IP地址,国家记录的“指针”和区域记录的“指针”,所谓的“指针”是对应到字符串区中某条的字符串偏移值。
不过既然纯真IP库是这么设计的,我只好根据它的结构来进行相应的查询。
索引区的记录是从小到大排列的,可以用二分法来查询。
IP库中索引的IP地址,并不是连续的,举个例子,192.168.0.0的后一条记录并不是192.168.0.1,可能是192.169.0.0,也就是说,它存储的一个是IP段。所以要做一个类似于“四舍五入”的处理。好在大部分情况下,我们都只要舍掉就可以了,比如查询192.168.1.1应该匹配192.168.0.0而不是192.169.0.0。
- import java.io.*;
- public class IPSeeker
- {
- protected RandomAccessFile ipDataFile;
- protected final int RECORD_LEN = 7;
- protected final int MODE_1 = 0x01; //重定向国家记录,地区记录
- protected final int MODE_2 = 0x02; //重定向国家记录,有地区记录
- protected final int MODE_3 = 0x03; //default
- protected long indexBegin;
- protected long indexEnd;
- public IPSeeker() throws Exception
- {
- //打开纯真IP库数据文件
- ipDataFile = new RandomAccessFile("qqwry.dat", "r");
- indexBegin = readLong(4, 0);
- indexEnd = readLong(4, 4);
- }
- public static void main(String[] args) throws Exception
- {
- IPSeeker seeker = new IPSeeker();//may throw Exception
- String result = seeker.search("111.2.13.4");//输入查询的IP地址
- System.out.println(result);
- seeker.close();//关闭,若不调用close,将在finalize关闭
- seeker = null;
- }
- @Override
- protected void finalize() throws Throwable
- {
- try
- {
- ipDataFile.close();
- }
- catch (IOException e)
- {
- }
- super.finalize();
- }
- public void close()
- {
- try
- {
- ipDataFile.close();
- }
- catch (IOException e)
- {
- }
- }
- public String search(String ipStr) throws Exception
- {
- //采用二分法查询
- long recordCount = (indexEnd - indexBegin) / 7 + 1;
- long itemStart = 0;
- long itemEnd = recordCount - 1;
- long ip = IPSeeker.stringIP2Long(ipStr);
- long middle = 0;
- long midIP = 0;
- while(itemStart <= itemEnd)
- {
- middle = (itemStart + itemEnd) / 2;
- midIP = readLong(4, indexBegin + middle * 7);
- //String temp = IPSeeker.long2StringIP(midIP);
- if(midIP == ip)
- {
- break;
- }
- else if(midIP < ip)
- {
- itemStart = middle + 1;
- }
- else//midIP > ip
- {
- itemEnd = middle - 1;
- }
- }
- //若无完全匹配结果,则向前匹配
- if(ip < midIP && middle > 0)
- {
- middle--;
- }
- long item = readLong(3, indexBegin + middle * 7 + 4);
- String[] result = getInfo(item + 4);//取出信息
- return long2StringIP(readLong(4, indexBegin + middle * 7))+ ","//匹配到的IP地址(段)
- + result[0] + "," //国家
- + result[1];//地区
- }
- //32位整型格式的IP地址(little-endian)转化到字符串格式的IP地址
- public static String long2StringIP(long ip)
- {
- long ip4 = ip >> 0 & 0x000000FF;
- long ip3 = ip >> 8 & 0x000000FF;
- long ip2 = ip >> 16 & 0x000000FF;
- long ip1 = ip >> 24 & 0x000000FF;
- return String.valueOf(ip1) + "." + String.valueOf(ip2) + "." +
- String.valueOf(ip3) + "." + String.valueOf(ip4);
- }
- //字符串格式的IP地址转化到32位整型格式的IP地址(little-endian)
- public static Long stringIP2Long(String ipStr) throws Exception
- {
- String[] list = ipStr.split("\\.");
- if(list.length != 4)
- {
- throw new Exception("IP地址格式错误");
- }
- long ip = Long.parseLong(list[0]) << 24 & 0xFF000000;
- ip += Long.parseLong(list[1]) << 16 & 0x00FF0000;
- ip += Long.parseLong(list[2]) << 8 & 0x0000FF00;
- ip += Long.parseLong(list[3]) << 0 & 0x000000FF;
- return ip;
- }
- //读取一个n位的
- private long readLong(int nByte, long offset) throws Exception
- {
- ipDataFile.seek(offset);
- long result = 0;
- if(nByte > 4 || nByte < 0)
- throw new Exception("nBit should be 0-4");
- for(int i = 0; i < nByte; i++)
- {
- result |= ((long)ipDataFile.readByte() << 8 * i) & (0xFFL << 8 * i);
- }
- return result;
- }
- private String[] getInfo(long itemStartPos) throws Exception
- {
- //result[0]放国家,result[1]放地区
- String[] result = new String[2];
- ipDataFile.seek(itemStartPos);
- int mode = (int)ipDataFile.readByte();
- switch (mode)
- {
- case MODE_1:
- {
- long offset = itemStartPos + 1;
- long redirPos = readLong(3, offset);
- result = getInfo(redirPos);
- }
- break;
- case MODE_2:
- {
- long offset = itemStartPos + 1;
- long redirPos = readLong(3, offset);
- result = getInfo(redirPos);
- result[1] = getArea(offset + 3);
- }
- break;
- default://MODE_3
- {
- long offset = itemStartPos;
- int countryLen = getStrLength(offset);
- result[0] = getString(offset, countryLen);
- offset = itemStartPos + countryLen + 1;
- result[1] = getArea(offset);
- }
- break;
- }
- return result;
- }
- private String getArea(long offset) throws Exception
- {
- ipDataFile.seek(offset);
- int cityMode = (int)ipDataFile.readByte();
- if(cityMode == MODE_2 || cityMode == MODE_1)
- {
- offset = readLong(3, offset + 1);
- }
- int cityLen = getStrLength(offset);
- return getString(offset, cityLen);
- }
- private int getStrLength(long pos) throws IOException
- {
- ipDataFile.seek(pos);
- long strEnd = pos - 1;
- while(ipDataFile.readByte() != (byte)0)
- {
- strEnd++;
- }
- return (int) (strEnd - pos + 1);
- }
- private String getString(long pos, int len) throws IOException
- {
- byte buf[] = new byte[len];
- ipDataFile.seek(pos);
- ipDataFile.read(buf);
- String s = new String(buf, "gbk");
- return s;
- }
- }