科技魔方

韩国AI研究机构出品!MagiCapture:个性化生成高分辨率肖像照片

大模型

2023年09月19日

  韩国的一家人工智能研究机构近日发布了名为MagiCapture的新技术,该技术旨在解决肖像照片个性化生成的多概念定制挑战。传统上,人们需要前往照相馆,经历昂贵和耗时的图片编辑过程,才能获得适合简历或婚礼庆典等场合的高质量肖像照片。MagiCapture的目标是自动化这一过程,让用户只需使用几张自拍照和一些参考照片,即可获得特定风格的高分辨率肖像照片,如护照照片或个人资料照片。

  这一技术的背后,是最新发展的大型文本到图像模型,如SD和Imagen等,使得高保真、逼真的肖像照片成为可能。目前,研究人员正致力于定制这些模型,以结合特定主题或美学。他们将这一挑战定义为多概念定制挑战,旨在让模型能够同时学习源材料和参考风格,生成复合输出。

  与传统的文本驱动编辑不同,MagiCapture使用参考图片,让用户能够提供更细粒度的建议,从而使生成的肖像更加符合预期。然而,早期的个性化技术存在一个问题,即生成的图像常常缺乏真实感,而且在商业上难以应用。这主要是因为尝试仅用几张照片来更新大型模型的参数时,通常会导致不同概念的混合或与原始概念的分歧,这在肖像照片中尤为明显。

  为了解决这一问题,MagiCapture采用了多概念定制方法,通过组合提示学习实现主题和风格创意的融合。这个过程将组合提示作为培训的一部分,并强化源材料和参考风格的紧密结合。辅助损失和假标签等技术被用来实现信息解缠和避免信息泄漏。这一方法在定量和定性评估中表现出比其他基线方法更好的性能,并且可以轻松应用于生成非人类物体的图像。

  MagiCapture代表了肖像照片生成领域的一项重要技术突破,为用户提供了更便捷、个性化的肖像照片生成方法。通过多概念定制和新的学习策略,它成功地克服了传统个性化技术存在的问题,为高分辨率肖像照片的定制创造了更多可能性。

+1

来源:站长之家

延展资讯