Gen4Gen：数据驱动多概念组合图像数据生成方法

简介

文本到图像扩散模型的能力在过去一年中有了显著提升，从逼真的肖像到幻想生物的绘画。一些最近的工作集中在个性化生成模型上，通过用户提供的概念图像来生成新场景。然而，同时进行多个概念的个性化可能会很具有挑战性，尤其是当概念在语义上相似时。这可能是由于预训练数据集中文本和图像之间的不匹配导致的。

本文介绍了一种名为Gen4Gen的半自动生成数据管道，用于构建多概念个性化图像和文本描述的概念证明数据集。该数据管道利用了最近的高精度基础模型，包括图像前景提取、大型语言模型、图像修复和多模态大型语言模型等技术，生成了超过10k个图像，并创建了最终的基准数据集MyCanvas。此外，作者还提出了两个评估指标：Composition-Personalization-CLIP score (CPCLIP)和Text-Image alignment CLIP score (TI-CLIP)，用于评估多概念个性化的准确性和能力。作者发现，使用Gen4Gen和提示策略，可以显著提高生成多概念图像的准确性和质量。本文的贡献包括：整合AI基础模型的重要性、数据集质量的重要性以及多概念个性化的评估基准的必要性。

个性化合成度量

随着通过增加对象数量来增加个性化挑战的难度，在模型不学习如何生成关键细节和过拟合失去生成新背景的能力之间实现了一种固有的权衡。这种权衡的问题在以前使用的基准中没有反映出来，因为：1）没有使用像MyCanvas这样的复杂数据集进行评估，2）可以完全过拟合训练集并获得高质量的结果。

为克服这一问题，本文提出了两个指标。第一个指标，composition personalization – clip分数(CP-CLIP)，评估了构图和个性化的准确性。第二个指标，文本-图像对齐CLIP得分(TI-CLIP)，通过评估模型对各种文本背景的泛化质量，作为潜在过拟合的指标。

场景构图和个性化精度。与主要关注一般概念组成的现有基准和指标不同，所提出的指标解决了两个关键问题：1）文本中提到的每个个性化概念在图像生成过程中反映了吗？(构图的准确性)和2）生成的个性化概念与它们的对应源看起来相似吗？

为了自动化完整的评估框架，从最先进的开放词汇表目标检测模型OWL-ViT开始。开放词汇表的选择允许在MyCanvas数据集中捕获任何对象。具体来说，给定一个生成的图像I生成的目标是包含O ‘内的所有对象，我们得到一组任意裁剪的图像，由预测边界框指定：

我们将其用作OWL-ViT的目标词汇。

对于我们从等式1获得的每个裁剪图像，我们计算图像集的平均剪辑得分：

最终个性化剪辑得分是：

最后，我们得到每张图像的CP-CLIP总得分：

当特定的个性化对象没有反映在生成的图像中时，这是一个惩罚。当边界框比预期的更多时，我们不会惩罚，因为只要遵循文本指导，生成模型应该能够自由地生成比要求更多的对象。

文本图像对齐。为了定量测量过拟合的数量，我们计算了TI-CLIP作为I生成和用于生成I生成的提示p生成之间的剪辑分数。请注意，虽然TI-CLIP的表达非常类似于CP-CLIP，但它正在评估模型泛化质量的一个正交概念，因此应该作为一个单独的指标进行测量。

在高层视图上，TI-CLIP用整个生成的图像测量背景提示(没有对象)，没有理由相信在个性化过程中背景得到了改善，因此在TI-CLIP中维护应该是我们在提高CP-CLIP分数时的目标。这表明该模型对训练集背景没有过拟合。

分数可解释性。在实践中，我们意识到CP-CLIP的好分数在0.5左右，而TI-CLIP应该是一个保持而不是增加的分数。我们将在附录中深入探讨分数可解释性的细节。

定性对比

通过使用MyCanvas数据集，我们的个性化模型的生成质量得到了显著提高。我们的组合策略成功地将在潜在空间中相似的对象（如狮子和猫，两个拖拉机）分离开来，并且我们的提示方法确保在生成过程中没有概念被遗漏。此外，我们的提示方法还能够处理越来越难的组合情况。

消融分析

对通过Gen4Gen流程生成的800张图像进行质量评估的方法和结果。评估主要基于个性化概念的包含程度、适当的放置位置以及视觉瑕疵的排除程度。评分从1到5进行排名，只有得分为4/5的图像被添加到MyCanvas数据集中。研究结果表明，生成高质量图像在涉及少于四个概念时更容易实现。此外，文档还提供了使用不同数量图像（1到100张）进行训练的分析结果，显示在涉及四个以上概念时，训练稳定在10到50张图像之间。这表明我们的数据集大小已经足够获得稳定的性能。