获取有趣、好玩的前沿干货!
https://arxiv.org/pdf/2211.11319.pdf
VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
扩散模型在文本到图像合成中显示出令人印象深刻的结果。使用大量带文本描述的图像数据集,扩散模型学习生成高度多样化的对象和场景的光栅图像。但是,设计人员经常使用图像的矢量表示形式,例如用于数字图标或艺术的矢量图形 (SVG)。矢量图形可以缩放到任意大小,并且紧凑。
本文展示了在图像像素表示上训练的文本条件扩散模型可用于生成 SVG 矢量图形。并且,是在没有使用文字描述的 SVG 的大型数据集的情况下做到的。通过优化可微矢量图形光栅化器,方法 VectorFusion 从预训练的扩散模型中提取抽象语义知识。受最近文本到 3D 工作的启发,还使用分数蒸馏采样学习了与文本描述一致的 SVG。为了加速生成并提高保真度,VectorFusion 还从图像样本进行初始化。
实验显示比以前的工作质量更高,并展示了一系列风格,包括像素艺术和草图。
https://ajayj.com/vectorfusion
-------------END-------------