近日,清华大学和东京大学共同发布了一项名为CustomNet的技术,该技术旨在更好地将指定物品的图片融合到新生成的图片中,并确保原物品的样式和纹理细节得以还原。这项技术给SD商品图融合带来了一线生机。从发布的测试案例来看,还原度也相当不错。
CustomNet是一种新颖的对象定制方法,它明确将3D新视角合成能力纳入对象定制过程中。通过整合这一能力,CustomNet能够调整空间位置关系和视角,从而产生多样化的输出,并有效地保留对象的身份。这一技术的提出对于推动对象定制领域的发展具有重要意义。
核心功能:
零拍摄对象定制:CustomNet 提供了一种零拍摄的对象定制方法,克服了现有优化和编码方法的时间消耗问题。与优化方法不同,CustomNet 无需在测试时进行优化,节省了时间和计算资源。
明确视角和位置控制:该模型引入了3D新视角合成能力,使对象定制过程中可以明确调整空间位置关系和视角,产生多样的输出,同时有效地保留了对象的身份。这为用户提供了更多的控制权。
灵活的背景控制:CustomNet 具有精细的设计,使用户可以通过文本描述或特定用户定义的图像来控制背景。这有助于克服现有3D新视角合成方法的局限性,使背景与对象更和谐。
复杂场景数据处理:CustomNet采用了数据集构建管道,可以更好地处理现实世界的对象和复杂的背景。这增强了模型的适用性,使其能够处理更具挑战性的情境。
高质量输出:通过以上功能,CustomNet确保了对象身份的完整性,并生成多样、和谐的个性化输出。这使它在识别保持、视角控制和图像和谐方面具有卓越能力。
CustomNet 是一款强大的文本到图像生成模型,为用户提供了多方面的控制,使他们能够创建个性化的图像,同时保持图像的身份。这对于多种应用,如广告、创意设计和虚拟世界创建都具有潜力。