nosqldb

  • 一、nosqldb介绍
  • 二、nosqldb功能介绍
  • 三、数据存储结构介绍
  • 1. 数据文件存储结构(data.nosqldb)
  • 2.索引文件存储结构(index.mbdb)
  • 三、优化点
  • 1. 不支持连表查询
  • 2. 不支持分片存储
  • 3. 碎片整理



一、nosqldb介绍

github地址 https://github.com/MaBo2420935619/nosqldb

nosqldb是一个用Java实现的基于文件存储的 非关系型数据库管理系统,由个人开发者mabo独立开发

nosqldb 将不同表的数据保存在不同的目录下,而不是将所有数据放在一个大仓库内,这样就增加了查询速度并提高了灵活性

java操作maysql数据库 java实现的数据库_java

每个表的目录下有2个文件:

  • data.nosqldb存储数据
  • index.nosqldb存储索引
    如下图所示

二、nosqldb功能介绍

nosqldb无需对表结构进行定义,即无需创建表就可以进行数据库操作。
对表数据进行操作支持两种方式,一种是基于对象进行操作,一种是基于json格式的数据进行操作。
如下图所示对person表进行插入操作

  • 对象操作
public static void insert() {
        Person zhangsan = new Person().setId("1").setName("zhangsan");
        NoSqlObjTemplate noSqlObjTemplate = new NoSqlObjTemplate();
        noSqlObjTemplate.insert(zhangsan);
    }
  • json操作
JSONArray array = new JSONArray();
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("id","2");
        jsonObject.put("msgid","6");
        array.add(jsonObject);
        TableService.insert("person",array,"id");

nosqldb支持增删改查操作,具体使用样例参考github中example

三、数据存储结构介绍

1. 数据文件存储结构(data.nosqldb)

如图所示,数据在文件中以json字符串进行存储,读取的时候在转化为对象或者json进行使用

并且该数据库支持批量存储

java操作maysql数据库 java实现的数据库_nosql_02

2.索引文件存储结构(index.mbdb)

索引文件一条数据存储了三条数据用符号 | 进行分割,key存储数据的唯一id,position存储数据的指针,方便查询数据,表头的999008用于表示数据的数据量大小,因为查询数据采用二分法查询,所以需要记录数据的数据量。

java操作maysql数据库 java实现的数据库_nosql_03

三、优化点

1. 不支持连表查询

2. 不支持分片存储

目前数据库的的一张表数据都存储在同一张表中。
可以进行优化,当数据库文件大小超过一定大小时,将文件存储到不同文件中。当使用分片存储时,需要修改索引结构,增加分片编号,查询时根据索引中的分片编号选择文件进行查询。

3. 碎片整理

由于删除操作的存在,删除时为了保证其他数据的位置不发生变化,只是对当前行的数据进行空字符串替代,并没有进行行数据的移动操作。所以当大量数据被删除时,会导致数据库的文件中存在大量的空行。所以删除操作并不会使数据文件变小。所以最好时能进行数据库文件的定时碎片整理。重新整理后,重新生成数据库的索引。

目前该数据库还在使用测试阶段,并且github中提供了该数据库的所有源代码。
欢迎各位大佬提出意见和建议进行数据库优化升级!