Meta推新框架OPT2I 提高SD图像生成一致性

　　Meta公司最近推出了一款名为OPT2I的新框架，该框架利用大型语言模型(LLM)来提高SD 图像从提示词到图像(T2I)的生成过程中的一致性。

　　OPT2I是一个优化框架，旨在提升T2I模型中的提示-图像一致性。它的工作流程始于用户输入的提示词，并通过迭代的方式生成修订后的提示词，目标是最大化一致性得分。

　　经过在两个数据集MSCOCO和PartiPrompts上的广泛验证，研究显示，OPT2I能够显著提高初始一致性得分，同时保持FID(一种评估生成图像质量的指标)并增加生成数据与真实数据之间的召回率。

　　OPT2I框架由三个主要部分构成:预训练的T2I模型、LLM以及一个自动提示-图像一致性评分器。该框架通过迭代地利用提示-评分对的历史记录，提出修订后的提示，从而生成更符合用户意图的图像。

　　此外，作者们还探讨了如何设计元提示(meta-prompt)，以及如何通过反馈调整LLM的探索-利用权衡，以进一步提升模型的性能。总的来说，OPT2I框架为提高T2I模型的提示-图像一致性提供了一种新的有效方法。