科技魔方

谷歌携手 UC 伯克利抛出王炸 IGN:要取代扩散模型,可单步生成逼真图像

大模型

2023年11月14日

  谷歌近日携手加州大学伯克利分校(UC Berkeley),研发出了可取代扩散模型(Diffusion Models)的全新生成式 AI 方法--幂等生成网络(IGN)。

  包括生成对抗网络(GAN)、扩散模型(Diffusion Models)和今年 3 月 OpenAI 发布的一致性模型(Consistency Models)在内,当前主流生成式 AI 模型都是随机噪点、草图或者低分辨率或其他损坏的图像等输入,映射到与给定目标数据分布相对应的输出(通常是自然图像)来生成图像。

  以扩散模型为例,在训练期间学习目标数据分布,然后通过多个步骤执行“去噪”处理。

  谷歌研究团队提出了名为幂等生成网络(IGN)的全新生成模型,从任何形式的输入中生成合适的图像,理想情况下只需一步即可完成。

  该模型可以想象为一种“全局投影仪”,将任何输入数据投射到目标数据分布上,和现有其它模型算法不同,不会限于特定的输入。

  IGN 和 GAN、扩散模型主要有两点不同:

  GAN 需要单独的生成器和鉴别器模型,而 IGN 是“自我对抗”的,可以同时扮演着两种角色。

  扩散模型需要执行增量步骤,而 IGN 可以单个步骤中将输入映射到数据分布上。

  研究人员使用 MNIST 和 CelebA 数据集展示了 IGN 的潜力。该团队展示了一些应用,例如将草图转换为逼真的图像、从噪点生成图像或修复损坏的图像等。

+1

来源:IT之家

延展资讯