科技魔方

Inst-Inpaint可通过指令从图像中移除对象

大模型

2023年08月18日

  Inst-Inpaint 是一个创新的图像修复框架,可以根据给定的文本指令从图像中移除对象。传统的图像修复方法通常需要使用二值掩膜来定义要移除的像素点,但这种方法需要用户手动创建掩膜,耗时且容易出错。Inst-Inpaint 通过使用文本指令来估计需要移除的对象,并在修复过程中将其删除。

  研究人员创建了 GQA-Inpaint 数据集,用于训练和测试这种图像修复方法。数据集包含了147165张图像和41407个不同的指令。通过在这个数据集上进行训练,Inst-Inpaint 模型可以在一步中去除对象,而无需预测遮罩。

  研究人员使用了多种指标来评估该方法的效果,并证明了它在定量和定性上的显著改进。Inst-Inpaint 的出现证明了人工智能在图像处理方面的转化能力,并为使用文本指令进行图像修复开辟了新的途径。

  核心功能:

  - 基于文本指令进行图像修复:Inst-Inpaint 可以根据给定的文本指令从图像中移除对象,无需手动创建掩膜。

  - 高质量的修复结果:Inst-Inpaint 使用了先进的生成对抗网络和扩散模型,可以生成语义一致且逼真的修复结果。

  - 实用的数据集和预训练模型:Inst-Inpaint 提供了 GQA-Inpaint 数据集和预训练模型,可以用于训练和评估模型的性能。

+1

来源:站长之家

延展资讯