科技魔方

如何将ControlNet与SDXL模型配合使用

更多场景

2024年06月20日

  众所周知SD1.5的ControlNet模型在SDXL上是不可以使用的,那我们使用SDXL时需要用到ControlNet怎么办呢,别担心这个教程以canny为例教你怎么将ControlNet和SDXL配合使用

  更新我们的ControlNet

  首先就是更新我们的ControlNet,在秋叶整合包中点击版本管理——扩展—— 一键更新就可以啦

  也可以在WebUI中——扩展——已安装——检查更新——点击应用——重启WebUI

  下载SDXL控制模型

  您可以通过以下链接下载适用于 SDXL 的 ControlNet 模型。

  Canny模型

  这边以Canny模型为例,我们不用全部下载,我这边已经测试了这些模型的生成效果和速度

  速度测试

  模型大小

  虽然diffusers_xl_canny_full效果很好,但不幸的是,它是最大的。(2.5 千兆字节)而且生成的时间也比较久,如果你只在乎质量不在意时间并且电脑配置很好可以考虑这个

  kohya_controllllite控制模型非常小。鉴于它们的体积小,它们的表现非常好。

  对 Canny SDXL 的建议

  如果您对它的大尺寸和较低的速度感到满意,请使用diffusers_xl_canny_full。

  如果您需要更小、更快的模型并且可以接受风格的轻微变化,请使用kohya_controllllite_xl_canny。

  使用sai_xl_canny_128lora以获得合理的文件大小,同时减少样式的更改。

  控制权重参数对于生成良好的图像至关重要。大多数型号需要它低于 1。

+1

来源:站长之家

延展资讯