Google DeepMind昨天发布的一项研究展示了一项引人注目的技术,尽管其中的技术细节可能需要深入理解,但总体来说,通过一系列操作,可以以无监督的方式精准控制扩散模型,从而实现风格和内容的分离,以及合成物品的3D视图等功能。
这项研究介绍了一种名为SODA的自监督扩散模型,专门用于表示学习。该模型包括一个图像编码器,通过将源视图提炼成紧凑的表示,来引导生成相关的新颖视图。通过在编码器和去噪解码器之间施加严格的瓶颈,并以新颖的视图合成作为自监督目标,这项技术将扩散模型转变为强大的表示学习器,能够以无监督的方式捕获视觉语义。
该模型由一个图像编码器和一个去噪解码器组成,编码器将输入视图转换为低维潜在表示,然后引导去噪解码器进行生成。论文详细描述了编码器的架构设计、新视角生成的机制,以及为了培养强大有意义的表示而开发的优化技术。
通过一系列定量和定性实验,作者展示了SODA在多个数据集上的强大表示和生成能力。这些实验涉及线性探测分类、图像重建、新视角合成,以及解混杂和可控性的评估。
SODA不仅在图像生成方面表现出色,而且能够学习强大的语义表示。未来,这种方法或许可以应用到动态组合场景中。这项研究为深度学习领域的发展提供了新的思路和可能性。