Inst-Inpaint 是一个创新的图像修复框架,可以根据给定的文本指令从图像中移除对象。传统的图像修复方法通常需要使用二值掩膜来定义要移除的像素点,但这种方法需要用户手动创建掩膜,耗时且容易出错。Inst-Inpaint 通过使用文本指令来估计需要移除的对象,并在修复过程中将其删除。
研究人员创建了 GQA-Inpaint 数据集,用于训练和测试这种图像修复方法。数据集包含了147165张图像和41407个不同的指令。通过在这个数据集上进行训练,Inst-Inpaint 模型可以在一步中去除对象,而无需预测遮罩。
研究人员使用了多种指标来评估该方法的效果,并证明了它在定量和定性上的显著改进。Inst-Inpaint 的出现证明了人工智能在图像处理方面的转化能力,并为使用文本指令进行图像修复开辟了新的途径。
核心功能:
- 基于文本指令进行图像修复:Inst-Inpaint 可以根据给定的文本指令从图像中移除对象,无需手动创建掩膜。
- 高质量的修复结果:Inst-Inpaint 使用了先进的生成对抗网络和扩散模型,可以生成语义一致且逼真的修复结果。
- 实用的数据集和预训练模型:Inst-Inpaint 提供了 GQA-Inpaint 数据集和预训练模型,可以用于训练和评估模型的性能。