Intro:
本文提出了一种新的方法，学习生成各种服饰人详细的三维形状，同时带有相应的蒙皮权重。具体地说，本文设计了一个多对象的前向蒙皮模块，其从每个对象几个pose下扫描模型学习而来。为了捕捉服装中高频细节的随机性，本文利用了一种对抗损失公式，鼓励模型捕捉底层统计数据。本文提供的经验证据表明，这可以真实地生成局部细节，比如皱纹。本文展示了该模型能够生成穿着多样和详细服装的自然人类化身。此外，本文的方法可以用于将人体模型与原始扫描相拟合的任务（使其可以animation），优于之前的最先进技术。
难点：由于服装的复杂交互作用、拓扑结构和姿势驱动的变形，为穿着衣服的人和铰链连接建模更加困难。
Innovation points/key points
- 第一种方法生成各种各样的动画三维人体形状带有详细的服装，提出了一种多对象隐式生成表征（隐式生成表征可以打破网格表征固有分辨率的限制）;
- 学习从原始姿势的3D扫描，而不需要规范的形状，详细的表面注册（registration），或手动定义蒙皮权重；
- 一种显著改善布料变形中的几何细节的技术，基于恢复布料变形的底层统计数据**。**
Methods:
本文在一个姿势和身体大小独立的规范空间中使用粗糙的形状和详细的法线来代表穿着衣服的人。然后，通过多对象前向蒙皮模块，可以将这种规范表示变形为目标身体姿势和尺寸。通过三维重建损失来将变形的形状与原始摆拍扫描进行比较，进而学习规范的形状和蒙皮。为了改善表面细节，本文使用隐式表面渲染器来增强前向蒙皮模块，以生成2D法线贴图，并通过应用2D对抗性损失公式来学习详细的3D法线场。
- Canonical Representation
本文的方法基于神经隐式表示，利用它们的拓扑灵活性和分辨率独立性，将穿着的人体形状和几何服装细节结合起来建模。
给定潜码Zshape和Zdetail，该模块预测正则空间中三维点的占用概率o和法线n。为了预测o，基于3D样式的生成器首先根据Zshape生成一个3D特征体积。通过对特征体积进行三线性采样，并将特征和三维坐标输入到MLP中，得到三维点的最终占用率。为了预测法线n，本文使用了一个以特征f和潜码Zdetail为条件的MLP，每个表面点的特征f由占用网络连同占用概率一同输出。
- Multi-Subject Forward Skinning
本文变形特性进行了建模，并定义了与SMPL一致的身体尺寸(β)和姿态(θ)参数，从而能够使用现有的数据集(例如:AMASS)用于动画。身体尺寸参数β是一个10维向量，身体位姿参数θ表示SMPL骨架的关节角。
由于蒙皮权重场是在规范空间中定义的，该模型可以在多个训练实例中聚合信息。重要的是，这使我们能够从多个对象的一个或几个姿势学习蒙皮，而不是要求相同的对象的许多姿势。为了实现这一点，本文呢将来自身体大小变化β和穿着人体形状Zshape的影响解耦。M翘曲场通过预测它的正则对应x将其映射回平均大小，然后W结合形状潜码得到权重。给定目标姿态θ，在身体尺寸β空间下将其中一点转换到pose空间的公式为：
- Implicit Surface Rendering
本文建议使用对抗性损失来学习更好的几何细节N。所以使用隐式渲染器对前向蒙皮模块进行增强，以建立姿态空间中3D点的2D投影与规范空间中相应的3D点之间的直接对应关系，实现端到端训练。给定一个二维姿态法线图中的像素p，其与变形三维空间x的对应关系通过p的射线与前蒙皮表面的交点可以确定:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wFrlubjk-1655105424734)(https://s3-us-west-2.amazonaws.com/secure.notion-static.com/432e2943-5d5f-43e7-9a4d-92b98bd0c8bd/Untitled.png)]
其中分别表示射线方向和原点，t是沿着射线的标量距离；
Conclusion:
Citation:
Chen X, Jiang T, Song J, et al. gDNA: Towards Generative Detailed Neural Avatars[J]. arXiv preprint arXiv:2201.04123, 2022.
