谷歌近日携手加州大学伯克利分校(UC Berkeley),研发出了可取代扩散模型(Diffusion Models)的全新生成式 AI 方法--幂等生成网络(IGN)。
包括生成对抗网络(GAN)、扩散模型(Diffusion Models)和今年 3 月 OpenAI 发布的一致性模型(Consistency Models)在内,当前主流生成式 AI 模型都是随机噪点、草图或者低分辨率或其他损坏的图像等输入,映射到与给定目标数据分布相对应的输出(通常是自然图像)来生成图像。
以扩散模型为例,在训练期间学习目标数据分布,然后通过多个步骤执行“去噪”处理。
谷歌研究团队提出了名为幂等生成网络(IGN)的全新生成模型,从任何形式的输入中生成合适的图像,理想情况下只需一步即可完成。
该模型可以想象为一种“全局投影仪”,将任何输入数据投射到目标数据分布上,和现有其它模型算法不同,不会限于特定的输入。
IGN 和 GAN、扩散模型主要有两点不同:
GAN 需要单独的生成器和鉴别器模型,而 IGN 是“自我对抗”的,可以同时扮演着两种角色。
扩散模型需要执行增量步骤,而 IGN 可以单个步骤中将输入映射到数据分布上。
研究人员使用 MNIST 和 CelebA 数据集展示了 IGN 的潜力。该团队展示了一些应用,例如将草图转换为逼真的图像、从噪点生成图像或修复损坏的图像等。