今天我们将介绍一项令人振奋的新技术,通过使用Aur,你可以显著加速任何稳定扩散1.5SDXL或SSD1B的生成过程。
Aur发布的新技术涉及LCM(Laura Configuration Models)的创新,为稳定扩散和SDXL提供了更快的生成速度。通过LCM过程对模型进行蒸馏,他们成功将生成速度从1390秒(在之前的7秒内)降低到仅需1秒,让Mac上的速度提高了10倍。
在新发布的LCM Laura中,我们可以看到他们在SDXL一代中进行快速推理。他们分享了扩散器代码的部分,通过这个过程中的8个步骤,成功取代了之前需要执行的50、25甚至10个步骤。值得注意的是,在这里有一小段关于指导尺度的文字,建议使用尺度为1以有效禁用它,特别是对于大多数提示而言,这是最快的方法。
LCM调度程序在auto1111和ComfyUI中表现出色。通过使用ComfyUI,您可以轻松下载SDXL检查点,使用LCM Laura配置,选择合适的采样器和指导比例,即可生成高质量的图像。在示例中,作者使用了UNI PC和LCM采样器,演示了使用四个步骤和1.8的指导比例时的性能。
在Auto1111中使用Aur技术的方式非常简单。基本上,您只需选择一个采样器,我建议使用DPM Plus+ SD Caris,并按比例缩小。如果您在使用SD Caris采样器时达到两个步骤,然后再次尝试四个步骤,您可以显著提高性能。按照提示,这样做更为有效。因此,在ComfyUI和Auto1111中都成功完成了四个步骤。
对于SDXL的处理,回到ComfyUI,加载SDXL检查点,并选择SDXL LCM Laura配置。确保将此采样器的名称更改为LCM,并将指导比例保持在1.8。建议比较两个图像的输出,特别关注画面的亮度和对比度。开箱即用的指导比例为1.5,尽管性能会下降到1或1.1,但仍然关注亚秒级生成。在增加步数到6后,每秒3.7次迭代,即1秒内有4个步骤。这与使用带有SDXL的普通Oiler采样器的速度相当。通过增加指导比例到1.8左右,您可以在第一张图像中获得更多清晰度。作者更喜欢1.6左右的指导比例,因为相比于一路上升到2.4,这样的比例更为理想。不幸的是,尝试使用其他采样器,如uni PC和uni PC bh2,似乎并未如期望那样自动工作。
在总体性能方面,使用LCM版本几乎每秒九次迭代,具有四个步骤,而速度下降到每秒六次迭代。这意味着如果速度足够快,可以一直增加到八个步骤,可能仍然保持在subc的水平。生成时间不到1秒,即每秒九次迭代,对于生成1024x1024的SDXL图像非常令人满意。作者还尝试了与DM一起使用Oiler,尝试提高指导尺度,虽然生成的图像是卡通风格,但似乎有起作用。
使用LCM配置生成的图像,其生成速度足够快,可以制作人工智能生成的视频。尽管生成的质量不是最佳,但在每秒17帧的速度下,生成60帧只需17秒。这证明LCM技术与Aur的其他配置兼容,确实为用户提供了快速而高效的深度学习模型生成体验。
总的来说,Aur的LCM技术为稳定扩散和SDXL的生成速度提供了显著的提升。无论是在ComfyUI中还是在auto1111中,使用LCM Laura配置和适当的采样器,用户都能够轻松实现高质量、高速的深度学习模型生成。这是对Aur技术的一次令人印象深刻的探索,为用户提供了更快、更高效的生成体验。