摘要:ComfyUI 中局部重绘与扩图核心是图生图加遮罩:局部重绘需用 “加载图像” 节点绘遮罩,换 “VAE 内补编码器”(带遮罩端口)连流程,可加 ControlNet 约束;扩图先借 “外补画板” 设扩图大小与羽化,再连 “VAE 内补编码器”。“VAE 内补编码器” 让重绘不受原图影响,“设置 latent 噪波遮罩” 保留原图影响适配微调,二者均仅重绘遮罩区域,外部图像不变。

    局部重绘与扩图的本质是图生图流程中添加了遮罩的应用,这节课我们来学习局部重绘与扩图的基本操作。

1 局部重绘

    新建一个基础图生图工作流,我们可以看到“加载图像”节点的输出端实际上有“图像“、“遮罩”两个端口,基础图生图工作流中,我们仅用到“图像”的输出,没有启用的“遮罩”功能。这里我们可以把遮罩功能理解为蒙版,“加载图像”节点除了可以输出图像外,还可以同时输出遮罩(蒙版)。

    我们点击选中“加载图像”节点,鼠标右键→在遮罩编辑器中打开,即可以打开遮罩编辑,通过手动绘制遮罩范围。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_重绘

    示例:比如我们希望重绘图像中的人物面部,那么我们加载图像后,鼠标右键打开遮罩编辑器,通过手动绘制人物面部的遮罩区域即可。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#inpaint局部重绘_02

此时加载图像节点会同时形成图像层和遮罩层:

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_重绘_03

    但是基础图生图工作流中所使用的“VAE编码”节点中并没有遮罩的输入端口,所以这里我们需要把“VAE编码”节点更换为“VAE内补编码器”。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#comfyui教程_04

    新建路径:鼠标右键→新建节点→latent→局部重绘→VAE内补编码器

    也可以从加载图像的输出端口节点引出,就可以看到“VAE内补编码器”选项。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_05

    中心节点:"加载图像"→"VAE内补编码器"

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_06

    将上面的节点连入图生图流程,选择模型、设置参数、填入提示词,执行工作流,便可以看到元图像中人物面部增加的遮罩范围发生变化。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_07

    当然,由于我们并未添加任何其他控制,遮罩范围的重绘效果类似于webui中的“仅重绘蒙版范围”,可以说是任意发挥,并不受全局图像的影响。此时,可以借助增加controlnet控制的方式进行约束,比如我们增加一个softedge软边缘的controlnet约束,便可以看到重绘效果得到很好的改善。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_08

2 扩图

    扩图的前提是在新增加的画布上进行重绘,即我们要对画布进行外补,这里需要用到“外补画板”节点来实现这个功能。

    新建路径:鼠标右键→新建节点→图像→外补画板

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#扩图_09

    “外补画板”节点中上、下、左、右均是指图像朝这个方向外扩的大小,外扩的范围可以理解为新增的画布区域,也是需要重绘的遮罩范围;羽化则主要调节重绘区域和原图的融合范围。

   相关节点: “加载图像”→“外补画板”→“VAE内补编码器”。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#comfyui教程_10

    新的遮罩由外部画板提供,所以VAE内补编码器的遮罩插口和外部画板的遮罩插口相连。

   将上面的节点连入图生图流程,选择模型、设置参数、填入提示词,执行工作流,便可以看到图像按照设置的范围调整了画布大小,且新增区域按照参数设置进行重绘。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_重绘_11

    虽然画布有提升,但是可以看出新增区域与原图的融合效果并不好。实际使用期间,除了可以通过多次抽卡获取较好的图像外,还可以使用ip-adapter等功能节点进行风格参考。

3 VAE内补编码器、设置latent噪波遮罩

3.1 VAE内补编码器

    上文中我们已经学习“VAE内补编码器”比“VAE编码器”多出一个“遮罩”插口,负责把重绘区域转换为“空白的潜空间”提供给后续节点处理。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_12

    VAE内补编码器主要用于局部重绘和图像修复任务,可以替换原始图像中不相关的内容,通过调节遮罩延展(羽化程度)来改变和图像的过渡程度。

    “VAE内补编码器”将遮罩转换为空白潜空间,类似于webui中局部重绘的“蒙版区域内容处理”选项选择“空白潜空间”,遮罩区域出图不受遮罩底部的原图影响。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_13

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#inpaint局部重绘_14

3.2 设置latent噪波遮罩

新建路径:鼠标右键→新建节点→latent→局部重绘→设置latent噪波遮罩

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_重绘_15

    “设置latent噪波遮罩”类似于webui中局部重绘的“蒙版区域内容处理”选项选择“原版”,在此模式下,遮罩区域转换的潜空间则依然受原图影响。与VAE内部编码器相比,设置Latent噪波遮罩更适合局部微调,因为它允许重绘区域更多地参考原图内容,从而改善融合效果。

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_编码器_16

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_#扩图_17

3.3 重绘对原图的影响

    图生图中,图像使用“VAE编码器”转换为latent,经K采样器处理后即经历了重新采样生成,所得到的图像与原图一定会出现差异,具体差异大小根据“降噪”值不同进行控制。

    但是通过“VAE内补编码器”或者“VAE编码+设置latent噪波遮罩”传递进K采样器的会增加遮罩区域,采样器仅对遮罩区域进行重绘,遮罩范围外区域图像不会产生变化。

 附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。

    百度网盘链接: 

https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e 

     夸克网盘链接:https://pan.quark.cn/s/f445b7325b47

    欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

◆comfyUI教程◆第2章01节 Inpaint局部重绘与outpaint扩图_重绘_18

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。