Doppelgangers是一个基于学习的方法来区分视觉上非常相似但是物理上是不同3D表面的图像对(我们称之为“庞氏图像”)。研究人员构建了一个包含大量正负样本的图像数据集Doppelgangers,其中正样本是同一实际3D表面拍摄的图片,负样本是不同但视觉上相似的3D表面。
研究人员设计了一个网络架构,利用局部特征点和匹配的空间分布作为输入,以便综合考虑局部和全局线索进行判断。实验结果表明,这种方法可以准确区分难以识别的负样本,并可集成到SfM流程中校正3D重建。
这种工具足够智能,可以避免人们可能会犯的错误。它的工作原理是根据3D 模型的特点,通过分析图片之间的微小差异,进而判断它们是否来自同一物体。
这一技术在许多领域都有潜在的应用价值,比如在艺术鉴赏、犯罪侦查、甚至是在日常生活中查找丢失的物品等。通过这种技术,我们可以更准确地分辨相似的图片,避免因误解而产生的问题。
本研究的主要创新和贡献包括:
1. 提出视觉消歧问题的定义,将其建模为图像对的二分类任务
2. 构建首个图像视觉消歧评估数据集Doppelgangers
3. 设计了一种网络架构,输入是对齐后的图像和关键点匹配mask, OUTPUT 是一对图像是否匹配的概率
4. 方法可以集成到SfM流程中,过滤错误匹配提高3D重建质量
本工作为处理视觉相似但实际不同的3D表面的图像提供了学习型解决方案,可广泛应用于3D重建、图像匹配等任务中。