素材库组成原理

原创

XOSG 2022-03-14 10:17:23 ©著作权

©著作权归作者所有：来自51CTO博客作者XOSG的原创作品，请联系作者获取转载授权，否则将追究法律责任

目录	素材数据库组成原理组成原理类型系统顶级分类多级分类组合索引文件可靠属性不可靠属性派生属性图像增强算法 3D模型标签系统文件名多键索引数据表字段 _id tags class_N size 缩略图引用

素材数据库组成原理

组成原理

本素材库由类型系统和标签系统组成，依赖fileSystem和mongodb这2个存储介质，同时需要nodejs和web进运算行处理与展示集成。本素材库希望利用fileSystem存储所有素材，利用mongoDB存储素材的索引，从而实现Everything这样的搜索引擎。

类型：一对多的树形分类

标签：多对多的索引

FS：文件系统，用于存储素材

mongodb：蒙古数据库，用于存储索引

nodejs：后端

web：前端

类型系统

顶级分类

顶级分类指不同的数据表，每个数据表对应一个根文件夹，表名==文件夹名，比如可以分为下面几类：

图片：图片文件

特效：shader代码（glsl或hlsl）

模型：Draco压缩后的3d模型（gltf或fbx）

多级分类

多级分类对应数据表中的class字段，也对应文件夹的路径：

建筑/民房

交通工具/地面载具/货车

组合索引

文件

文件系统FS中的文件可以自定义许多属性，这里给他们分3类：

可靠属性：始终不变的字段

不可靠属性：跨FS拷贝时可被随意修改

派生属性：不占空间，根据其他属性临时计算得出

可靠属性

路径：尽量全用英文

文件名：大小写尽量统一

大小：文件真实体积

内容：文件的内容

不可靠属性

权限

增改查日期

标签、备注、作者、版本：这些我从没用过。。

打开方式

派生属性

大小：文件体积

种类：根据文件后缀名/魔数/释伴（shebang）判断得出

图标/预览：根据种类而定

隐藏：根据后缀名前是否有字符而定

媒体信息：如图像分辨率、音视频的时长等

因此素材库只能依赖FS的可靠属性，充其量再存储一下创建日期，其余的功能都放在mongodb数据库中实现

图像增强算法

根据经验，素材库中占大头的部分一定是图片文件，尤其是一张4K以上的高清图基本上是10m起步，这样存不了几张就占满了磁盘空间。为此可以使用图像增强算法，从缩略图重建高清图像，在用户点击下载原始图像的时候，临时伪造一个原图。毕竟素材讲究应景即可，不必非常真实。

对比度增强：调整过暗或者过亮图像的对比度，使图像更加鲜明

无损放大：将图像在长宽方向各放大两倍，保持图像质量无损

图像修复：支持去除图片中不需要的遮挡物，使用背景内容进行填充；修复图片缺损内容

清晰度增强：对压缩后的模糊图像实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰

色彩增强：可智能调节图片的色彩饱和度、亮度、对比度，使得图片内容细节、色彩更加逼真

3D模型

为了存储巨量的模型，单个模型的体积要足够小，3D模型中的PBR材质里尽量不要存在贴图，同时利用Draco压缩几何信息。

标签系统

文件名

为了能够自动化导入标签，文件的命名规范应当是下划线分隔的标签列表，例如：

建筑_公寓_办公楼.glb

写字楼_建筑_摩天大厦.fbx

多键索引

索引是数据库最常见的优化方法，通常的索引都是单键索引，即键值对是一对多的关系，但mongodb推出了多键索引（multikey index），即键值对是多对多的关系，这非常适合列表类型的字段tags。tags列存储素材的标签，每个标签名尽量简短，数量可以尽可能的多，可以将原始名称存入tags。

数据表字段

列	类型	索引
_id	Integer	唯一	文件创建日期
tags	List	多键	素材的标签
class_N	String	组合	素材所在文件夹的绝对路径
size	Integer	单键	文件大小，单位字节
pre	String	单键	文件名前缀
suf	String	单键	文件名后缀