Make-It-Vivid：通过文字描述生成3D卡通动画角色

　　在创造生动的3D动画角色时，面临着这样的挑战，除了要满足特定领域的高要求比如角色需要有独特风格和丰富细节，还缺乏高质量的数据支撑。现有方法通常无法生成具有丰富细节，和过度自然的纹理，使得角色看起来不真实，不够生动。

　　因此，来自上海交通大学的海AI实验室和清华大学的研究团队，研究着眼于基于输入指令为卡通角色自动生成纹理设计。为了解决领域特定需求和高质量数据不足的挑战，他们提出了 “Make-It-Vivid” 方法，这是首次尝试从文本中在 UV 空间生成高质量纹理。

　　这个框架能够根据文本描述自动生成高质量的3D纹理。该方法通过使用视觉问答代理生成了详细的文本 - 纹理配对数据，为3D 角色准备了数据。然后，他们定制了一个预训练的文本到图像模型，以模板结构生成纹理地图，同时保留自然的2D 图像知识。此外，为了增强细粒度细节，他们提出了一种新颖的对抗学习方案，缩短了原始数据集与真实纹理领域之间的域差。

　　大量实验证明，他们的方法优于当前的纹理生成方法，实现了高效的角色纹理处理和根据提示生成忠实的结果。此外，他们展示了各种应用，如域外生成和纹理风格化。他们还提供了一个高效的生成系统，用于自动文本引导的纹理角色生成和动画。

　　这一方法接受一对数据作为输入，包括一个纹理地图、相应的文本描述 P 和网格模型 M。他们对预训练的文本到图像扩散模型的低秩适配器∆θ 进行微调，以生成高质量 UV 纹理。为了提高合成纹理的质量和感知保真度，他们引入了对抗训练来增强纹理细节。他们利用由 ControlNet 生成的渲染深度条件的合成可信图像作为指导，引导这种对抗性训练。