近日在设计《威博文件管理系统》的文件标签系统中的一点体会。

 

近来根据用户反馈和原定的开发计划,为《威博文件管理系统》设计一个“文件标签”模块,实现的功能类似于很多大型网站的标签功能,能够实现智能标签功能。

 

开始的数据库表结构,使用一个单一的“文件标签”表,文件标签表,结构如下:

 

主键:char(36)

标签名称:varchar(50)

标签排序:int

主观权重:bit

主观推荐:bit

时间戳:bigint

版本号:int

引用计数:int

点击计数:int

 

对应的实体模型为

 

package cn.sh.webfile.model;
import java.io.Serializable;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.OneToOne;
import javax.persistence.PrimaryKeyJoinColumn;
import javax.persistence.Table;
import javax.persistence.Version;
import org.apache.commons.lang.builder.ReflectionToStringBuilder;
/**
 * 开始于 2010-06-09
 * 文件标签符号表的模型
 * [2010-06-18修]新增加一个字段
 * [2010-06-21修]根据应用程序的使用反馈,把引用计数、点击计数字段,放入两个不同的表
 * 以实现更好的多工状态下的并发操作,减少状态冲突。分拆理由,表《文件标签》主表、《文件标签引用计数》、
 * 《文件标签点击计数》作为从表,主表变化慢,从表变化快。
 * 最后修改于 2010-06-21
 * @author 万继斌
 * @version 1.3
 */
@Entity
@Table(name = "文件标签")
public class FileTagModel implements Serializable {
    /**
     * 使用java的UUID唯一号,36长度的字符串
     */
    @Id
    @Column(name = "主键")
    private String id;
    /**
     * 标签名称
     */
    @Column(name = "标签名称")
    private String tagName;
    /**
     * 标签排序
     */
    @Column(name = "标签排序")
    private int px;
    /**
     * 主观权重
     */
    @Column(name = "主观权重")
    private boolean tagWeight;
    /**
     * 主观推荐
     */
    @Column(name = "主观推荐")
    private boolean tagSuggest;
    /**
     * 实体创建时的时间戳
     */
    @Column(name = "时间戳")
    private long timestamp;
    /**
     * 实体对象的版本号
     */
    @Column(name = "版本号")
    @Version
    private int version;
    /**
     * 点击计数
     */
    @Column(name = "点击计数")
    private int clickCount;
    /**
     * 引用计数
     */
    @Column(name = "引用计数")
    private int quoteCount;
}

 

经过一段时间的测试后发现,“文件标签”表中,各个字段的的变化速度有很大的不同,其中引用计数、点击计数、变化很频繁,而其它字段的内容相对变化就比较稳定,一旦生成,相对比较稳定,这样在并发程度高时,常常导致数据更新冲突,虽然可以通过@version注解可以保证数据的乐观锁定发生作用,数据的一致性不被破坏。但是由于把变化频度差异很大的字段放在同一张表上,导致冲突发生的概率增大,降低了系统的效能。

 

于是想到了对该表的横向切割,以便获得更好的并发性能。

 

切割后,分为三个表,《文件标签》作为主表,《文件标签引用计数》《文件标签点击计数》作为从表,三个表共用主键,三表结构如下:

 

《文件标签》表结构

主键:char(36)

标签名称:varchar(50)

标签排序:int

主观权重:bit

主观推荐:bit

时间戳:bigint

版本号:int

 

《文件标签引用计数》表结构

主键:char(36)

引用计数:int

时间戳:bigint

版本号:int

 

《文件标签点击计数》表结构

主键:char(36)

点击计数:int

时间戳:bigint

版本号:int

 

对应的三张表的实体模型为

《文件标签》表实体Bean

package cn.sh.webfile.model;
import java.io.Serializable;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.OneToOne;
import javax.persistence.PrimaryKeyJoinColumn;
import javax.persistence.Table;
import javax.persistence.Version;
import org.apache.commons.lang.builder.ReflectionToStringBuilder;
/**
 * 开始于 2010-06-09
 * 文件标签符号表的模型
 * [2010-06-18修]新增加一个字段
 * [2010-06-21修]根据应用程序的使用反馈,把引用计数、点击计数字段,放入两个不同的表
 * 以实现更好的多工状态下的并发操作,减少状态冲突。分拆理由,表《文件标签》主表、《文件标签引用计数》、
 * 《文件标签点击计数》作为从表,主表变化慢,从表变化快。
 * 最后修改于 2010-06-21
 * @author 万继斌
 * @version 1.3
 */
@Entity
@Table(name = "文件标签")
public class FileTagModel implements Serializable {
    /**
     * 使用java的UUID唯一号,36长度的字符串
     */
    @Id
    @Column(name = "主键")
    private String id;
    /**
     * 标签名称
     */
    @Column(name = "标签名称")
    private String tagName;
    /**
     * 标签排序
     */
    @Column(name = "标签排序")
    private int px;
    /**
     * 主观权重
     */
    @Column(name = "主观权重")
    private boolean tagWeight;
    /**
     * 主观推荐
     */
    @Column(name = "主观推荐")
    private boolean tagSuggest;
    /**
     * 实体创建时的时间戳
     */
    @Column(name = "时间戳")
    private long timestamp;
    /**
     * 实体对象的版本号
     */
    @Column(name = "版本号")
    @Version
    private int version;
    /**
     * 点击计数
     */
    @OneToOne
    @PrimaryKeyJoinColumn
    private FileTagClickCountModel clickCount;
    /**
     * 引用计数
     */
    @OneToOne
    @PrimaryKeyJoinColumn
    private FileTagQuoteCountModel quoteCount;
    @Override
    public String toString() {
        return ReflectionToStringBuilder.toString(this);
    }
    /**
     * @return the id
     */
    public String getId() {
        return id.trim();
    }
    /**
     * @param id the id to set
     */
    public void setId(String id) {
        this.id = id.trim();
    }
    /**
     * @return the timestamp
     */
    public long getTimestamp() {
        return timestamp;
    }
    /**
     * @param timestamp the timestamp to set
     */
    public void setTimestamp(long timestamp) {
        this.timestamp = timestamp;
    }
    /**
     * @return the version
     */
    public int getVersion() {
        return version;
    }
    /**
     * @param version the version to set
     */
    public void setVersion(int version) {
        this.version = version;
    }
    /**
     * @return the tagName
     */
    public String getTagName() {
        return tagName.trim();
    }
    /**
     * @param tagName the tagName to set
     */
    public void setTagName(String tagName) {
        this.tagName = tagName.trim();
    }
    /**
     * @return the tagWeight
     */
    public boolean getTagWeight() {
        return tagWeight;
    }
    /**
     * @param tagWeight the tagWeight to set
     */
    public void setTagWeight(boolean tagWeight) {
        this.tagWeight = tagWeight;
    }
    /**
     * @return the px
     */
    public int getPx() {
        return px;
    }
    /**
     * @param px the px to set
     */
    public void setPx(int px) {
        this.px = px;
    }
    /**
     * @return the tagSuggest
     */
    public boolean isTagSuggest() {
        return tagSuggest;
    }
    /**
     * @param tagSuggest the tagSuggest to set
     */
    public void setTagSuggest(boolean tagSuggest) {
        this.tagSuggest = tagSuggest;
    }
    /**
     * @return the clickCount
     */
    public FileTagClickCountModel getClickCount() {
        return clickCount;
    }
    /**
     * @param clickCount the clickCount to set
     */
    public void setClickCount(FileTagClickCountModel clickCount) {
        this.clickCount = clickCount;
    }
    /**
     * @return the quoteCount
     */
    public FileTagQuoteCountModel getQuoteCount() {
        return quoteCount;
    }
    /**
     * @param quoteCount the quoteCount to set
     */
    public void setQuoteCount(FileTagQuoteCountModel quoteCount) {
        this.quoteCount = quoteCount;
    }
}

 

《文件标签引用计数》表实体Bean

package cn.sh.webfile.model;
import java.io.Serializable;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.Table;
import javax.persistence.Version;
import org.apache.commons.lang.builder.ReflectionToStringBuilder;
/**
 * 开始于 2010-06-21
 * 文件标签引用计数表的模型
 * 《文件标签引用计数》作为从表,主表变化慢,从表变化快。
 * 最后修改于 2010-06-21
 * @author 万继斌
 * @version 1.0
 */
@Entity
@Table(name = "文件标签引用计数")
public class FileTagQuoteCountModel implements Serializable {
    /**
     * 使用java的UUID唯一号,36长度的字符串
     */
    @Id
    @Column(name = "主键")
    private String id;
    /**
     * 引用计数
     */
    @Column(name = "引用计数")
    private int count;
    /**
     * 实体创建时的时间戳
     */
    @Column(name = "时间戳")
    private long timestamp;
    /**
     * 实体对象的版本号
     */
    @Column(name = "版本号")
    @Version
    private int version;
    @Override
    public String toString() {
        return ReflectionToStringBuilder.toString(this);
    }
    /**
     * @return the id
     */
    public String getId() {
        return id.trim();
    }
    /**
     * @param id the id to set
     */
    public void setId(String id) {
        this.id = id.trim();
    }
    /**
     * @return the timestamp
     */
    public long getTimestamp() {
        return timestamp;
    }
    /**
     * @param timestamp the timestamp to set
     */
    public void setTimestamp(long timestamp) {
        this.timestamp = timestamp;
    }
    /**
     * @return the version
     */
    public int getVersion() {
        return version;
    }
    /**
     * @param version the version to set
     */
    public void setVersion(int version) {
        this.version = version;
    }
    /**
     * @return the count
     */
    public int getCount() {
        return count;
    }
    /**
     * @param count the count to set
     */
    public void setCount(int count) {
        this.count = count;
    }
}

 

《文件标签点击计数》表实体Bean

package cn.sh.webfile.model;
import java.io.Serializable;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.Table;
import javax.persistence.Version;
import org.apache.commons.lang.builder.ReflectionToStringBuilder;
/**
 * 开始于 2010-06-21
 * 文件标签点击计数表的模型
 * 《文件标签点击计数》变化较快的表。
 * 最后修改于 2010-06-21
 * @author 万继斌
 * @version 1.0
 */
@Entity
@Table(name = "文件标签点击计数")
public class FileTagClickCountModel implements Serializable {
    /**
     * 使用java的UUID唯一号,36长度的字符串
     */
    @Id
    @Column(name = "主键")
    private String id;
    /**
     * 点击计数
     */
    @Column(name = "点击计数")
    private int count;
    /**
     * 实体创建时的时间戳
     */
    @Column(name = "时间戳")
    private long timestamp;
    /**
     * 实体对象的版本号
     */
    @Column(name = "版本号")
    @Version
    private int version;
    @Override
    public String toString() {
        return ReflectionToStringBuilder.toString(this);
    }
    /**
     * @return the id
     */
    public String getId() {
        return id.trim();
    }
    /**
     * @param id the id to set
     */
    public void setId(String id) {
        this.id = id.trim();
    }
    /**
     * @return the timestamp
     */
    public long getTimestamp() {
        return timestamp;
    }
    /**
     * @param timestamp the timestamp to set
     */
    public void setTimestamp(long timestamp) {
        this.timestamp = timestamp;
    }
    /**
     * @return the version
     */
    public int getVersion() {
        return version;
    }
    /**
     * @param version the version to set
     */
    public void setVersion(int version) {
        this.version = version;
    }
    /**
     * @return the count
     */
    public int getCount() {
        return count;
    }
    /**
     * @param count the count to set
     */
    public void setCount(int count) {
        this.count = count;
    }
}

经过实地测试,并发效能大大提高,而通过对主表的分割,而导致的连接操作带来的速度损失相对较小,某些方面还可以增大综合读写速度。

 

体会总结如下:

当我们在设计时,发现同一张表内,字段的变化频度差异过大时,为了获得更好的并发操作性能,降低潜在冲突,这时可以对表,进行横向分割,按照字段的不同的变化频度,合理地置于不同的主从表内,以此来提高性能。特别是在Web应用程序中,使用版本号来进行乐观锁定时,对性能的提高更加有好处,可以大大降低冲突发生的概率。