在最新的研究中，提出了一种名为注意力混合模式（MoA）的新架构，旨在个性化文本到图像扩散模型，可以实现风格参考和人物融合的效果。
受大型语言模型（LLMs）中使用的专家混合机制的启发，MoA 通过将生成工作负载分配给两个注意力路径来实现给定主题和背景的分离生成。具体来说，MoA 保留了原始模型的先验知识，通过固定先验分支中的注意力层，同时通过个性化分支最小干预生成过程，学习将主题嵌入由先验分支生成的布局和背景中。
一种新颖的路由机制管理着每个层中像素在这些分支之间的分布，以优化个性化和通用内容创建的混合。经过训练，MoA 能够轻松生成高质量的个性化图像，其主题和背景的组合和交互与原始模型生成的一样丰富多样。最重要的是，MoA 增强了模型的现有能力与新增个性化干预之间的区别，从而提供了一种之前无法实现的更为分离的主题 – 背景控制。
此外，研究还探讨了 MoA 在现实应用中的潜力。例如，结合 MoA 和 DDIM 反演技术，可以实现对真实图像中主体的替换;结合 MoA 和 ControlNet，可以实现带有姿势控制的个性化生成;MoA 甚至能够在面部和身体形状完全不同的情况下进行主体交换，以及轻松地在主体之间进行形态变换。这些应用展示了 MoA 在个性化图像生成领域的潜在价值和广泛适用性。
产品入口:Mixture of Attention (snap-research.github.io) （外网）
评论0