type
status
date
slug
summary
tags
category
icon
password
ComfyUI的生图步骤:
大模型 → 提示词 → 采样器 → VAE解码 → 出图
三方教程网站
节点信息
AIGODLIKE-COMFYUI-TRANSLATION 翻译节点
cg-use-everywhere 节点虚拟链接
ComfyUI_AdvancedRefluxControl
已卸载
ComfyUI_ADV_CLIP_emb
采样器参数
模型类
Flux模型
模型 | 显存要求 | 是否支持商用 | 建议步数 | 安装目录 | 是否需要 VAE | VEA 安装目录 | 是否需要Clip | Clip下载目录 |
原模 Flux1 Dex FP16 精度 | 16G | 不支持 | ㅤ | model/Unet | 是 | model/VAE | 是 | model/clip |
原模 Flux1 Schell FP16精度 | 16G | 支持 | 4步，如果想要更多细节可选 8-10步 | model/Unet | 是 | model/VAE | 是 | model/clip |
Flux1 Dev FP8 | 6-8GB | 支持 | 4 | model/Unet | 是 | flux 模型都必须vae | 是 | ㅤ |
Flux1 Schnell FP8 | 6-8GB | 支持 | 4 | model/Unet | 是 | ㅤ | 是 | ㅤ |
NF4 模型 | 低显存 4G | 支持 | ㅤ | model/checkpoints | 否 | ㅤ | 否 | ㅤ |
GGUF 模型 | 根据显存下载适合自己的模型 | 支持 | ㅤ | model/checkpoints | 是 | ㅤ | 是 | ㅤ |
Lora
controlnet
ps: 列表备注
节点安装笔记
ComfyUI汉化 节点
查看comfyui硬件信息 节点
提示词翻译
自定义脚本 / 瑞士军刀
rgthree-comfy (运行进度条)
Comfyui_HeyGem 数字人
节点类路径
SDXL 风格化 提示词插件
ComfyUI-KJNodes (精简化 节点间连线, 收取信号化)
comfyui-mixlab-nodes 节点 将工作流转为web应用
Efficiency-nodes-comfyui （效率节点）
was-node-suite-comfyui (工具类节点增强)
ControllNet 预处理器
ControllNet
MingNodes 其中一个节点 增加水印
YoloWorld 获取遮罩蒙版
应用 IPAdapter
EasyUse节点 简易节点
Essen节点
LayerStyle 节点 (图片 ps化操作)
LayerStyle_Advance (LayerStyle 拆分出来的节点)
ComfyUI-IC-Light 光影
PuliD Flux 面部迁移
ComfyUI-GGUF (Flux 的一种模型)
ComfyUI_Mira 蒙版处理 不太常用
ComfyUI-Frame-Interpolation
VideoHelperSuite （与视频工作流程相关的节点）
reactor-node （换脸）
BrushNet 节点 (优于系统的重绘节点)
ComfyUI_pruna 无损加速生图效果
图生视频
LTX-V 文生视频 / 图生视频
LTX 提示词
echomimic v2 数字人效果 自定义动作
混元 i2V 图生视频
wan 2.1 图生视频
Starlight 放大视频
加载节点后 执行依赖
如果不显示可以用 当前项目环境的 python 加载一下依赖库
更新pip 或者更新对应依赖包
更新运行环境的python
图像根据某一边进行等比例缩放
去除图片背景
LayerStyle 节点（dz节点）中 SegmentAnything UItra
路径： 右键 — dz节点 — 图层遮罩 — 下面 SegmentAnything UItra
现在已经没有这个节点了, 已经拆分到了
LayerStyle_Advance 这个节点 SAM 模型使用 sam_vit_l
GroundingDINO模型 使用 GroundingDINO_SwinB (938MB)
阈值 0.3
细节范围 16
黑色阈值 0.15
白色阈值 0.99
处理细节 true
提示词 bottle
cache_model false
免费抠图
图片覆盖 （两张图合成一张）
effciency （效率节点）中 选择覆盖节点
图片放大
可以参考 欧阳的 这个视频
空间内放大
latent 潜空间放大
不会直接导出高清图, 需要二次采样与重绘, 重新加载一个采样器,latent使用放大后的latent外其余都和原来的模型.提示词参数保持一致,这样出来的图就是比较清晰的图
因为有二次重绘,所以一般情况下放大后图片会变化, 所以在二次采样时绘制强度(降噪) 设置为 0.5—0.6即可
空间外放大
通过系数直接强制放大
实用工具 — 图像 — 图像缩放 / 图像通过系数缩放
通过模型放大 - 模型不采样内部重绘放大
实用工具 — 图像 — 图像通过模型放大
需要加载放大模型 4X-UltraSharp
SD 放大 - 图片分区重绘放大
需要添加 UltimateSDUpscale 这个插件
之后右键新建节点 — 图像 — 放大— SD放大 / 不放大
这个节点 自带采样器, 所以不需要与上面的两种那样重新采样,直接设置即可,然后加载放大模型
结论 : 3步放大 —> 先潜空间放大 - 再SD分区放大 - 模型不采样重绘放大
基础重绘 / 裁剪重绘 / 图生图
裁剪
右键新建节点 - 图像 - 变换 - 图像裁剪
题词反推: WD 1.4 节点
图片重绘
潜空间内重绘
采用 latent — 内补 — 设置latent 噪波遮罩 节点
需要用 “加载图像遮罩” 加载出原图的遮罩, 之后这个节点需要两个参数, 一个是第一次生图的latent 参数, 一个就是这个遮罩, 重新加载采样器 采样即可
潜空间外重绘
用新生成的图片当参数, 如果需要重绘就编辑遮罩, 采用 latent — 内补 — vae内补编码器
这个节点有个遮罩参数,传递后仅仅是对遮罩的部分进行重新编码,而不是整张图片
之后就新增 采样器 进行重绘, 模型以及提示词参数采用之前的即可,或者自定义更改也行
SDXL从初级到进阶
需要主模型 和 Refiner 模型 共同生图, 可以使用SDXL风格化提示词 节点
尝试使用各种高级节点 设置提示词 / 设置采样器 等
ControlNet 应用与 UnClip视觉编码
ControlNet 应用
使用 ControlNet 模型可以对图片进行一些预处理, 然后通过 ControlNet 应用把这些参数给传递给采样器,进行编码采样绘制等操作
clip视觉编码
也叫 反向编码,简单讲是把图片重新编码后 再把这个码根据模型重新生成一个新图片
由图像 — 通过Clip模型反向编码出 “Clip视觉输出” — “UnClip 条件” 会生成对应的参数给采样器进行渲染
这两个模块各自都可以串接,并不仅只能使用某一个模块
外补扩图
风格迁移 （风格一致性 / 面部迁移）
ipadapter 和 ipadapter plus 插件
多张图片风格合并
旧版本 使用 ip适配编码
新版本 使用 多个 IPAdapter 编码 + IPAdapter合并嵌入组， 使用是使用“应用IPAdapter(嵌入组)” 即可
人物面部还原
小白用户
一般使用两步采样 也就是两个ipadapter
第一个是ipadapter faceid 统一应用 选择face plus V2预设
第二个是 ipadapter 统一应用 选择的是plus face 预设
专业用户
单独加载IPAdapter 模型加载器 和 clip这些
应用IPAdapter (高级) 节点 —- ipa为参数，模型为输出
权重和权重类型
通过不同权重 控制 ipa 和 提示词在绘制模型中的参与程度
嵌入词缩放
与提示词是间接关系 ，底层参数与数据规整化，一般使用 K+V
Clip 精准控制构图 自动化流程入门
impact 节点 和 inspire节点
comfyUI中 impact节点， 它的辅助包是 inspire节点
管道式节点 / 节点束节点 与 简易节点类似 都是一个体系的节点插件
ComfyUI 安装后补充
添加ultralytics 库
D:\AI\ComfyUI_windows\python_embeded\python.exe -s -m pip install ultralytics
自动下载需要的一些模型
SAM ： model/sam 路径下 sam_vit_b_01ec64.pth
onnx ：
多种方法都可以实现精准构图， 主要是通过各种条件控制某个模块的位置
InstantID + IP adapter 人物肖像转绘
InstantID 用于读取人脸信息 (固定头部的位置，不会读取身体的姿势之类的数据) IPAdapter 是读取整个图片的风格信息
InstantID 节点参数中使用的模型是它特有的主模型 （名字是ip-adapter.bin）
InstantID 节点参数中需要使用它专用的 controlNetmodel
制作工作流时要清晰认识到哪里控制的是面部，哪里控制的是整体风格 / 局部风格
通过蒙版可以控制哪块区域需要做绘制， 通过合并纯快蒙版可以控制某块区域的强度（纯快蒙版有个明度可以调节它的不透明度从而条件蒙版深浅，从而控制其权重）
Mask 遮罩的运用 （IPAdapter + 遮罩 , CN+遮罩, Lora+遮罩， prompts+遮罩）
了解遮罩和蒙版的区别
遮罩 是作用于图像上的， 作用与哪里就绘制哪里
蒙版不是作用于图像上生成的，是需要提供一个黑白的蒙版图，将黑白蒙版图应用于图像之上形成遮罩
重绘是重绘的蒙版的白色区域还是黑色区域?
蒙版是白色区域
明确了解蒙版的作用区域，根据不同位置有不同的思路预期，绘图时每个模块都可以使用蒙版进行参与绘制，同时可以设置每个模块的权重等信息，最终来确定生成效果图
蒙版边缘模糊, 与原图有个过渡,边缘不至于太生硬
可以添加 “模糊节点“
局部重绘自动识别区域(抠图)
segment anything2 (抠图 - 获取蒙版)
BrushNet (对蒙版区域进行重绘)
Florence2
AnimateDiff 动画
PuliD 人物面部迁移
Flux 模型使用与周边配件
官方 ComfyUI-Flux 插件
x-flux
低显存使用 ComfyUI-Flux 插件
comfyui-GGUF
JoyCaption2 图片反推 可用于 ComfyUI 打标
Fluxgym 一键训练
白嫖 ComfyUI 显存
腾讯 CNB
- 作者:赵小嘎的交易与积累
- 链接:https://blog.zxn.wiki/%E5%BF%83%E6%83%85%E9%9A%8F%E7%AC%94/dd4f632f-1eb2-49d5-ad86-b21357a7c17a
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
