【论文简介】个性化真实人像生成方法（2024.01.15发布，即将开源）

零样本身份保留生成方法：声称效果好于PhotoMaker（即将开源）
2401.InstantID: Zero-shot Identity-Preserving Generation in Seconds ：
项目主页：https://instantid.github.io/

一、简介

本文的主要内容是介绍了一种名为InstantID的零样本身份保留生成方法，它可以在只有一个面部图像的情况下生成保留身份细节的个性化图像。
这种方法通过引入一个轻量级的适配器模块和一个身份网络来实现强大的身份控制和面部细节保留。
实验结果表明，InstantID在保持原始模型的文本编辑能力的同时，能够有效地保留身份细节，具有出色的性能和效率。

官方展示效果

原图1 对论文作者进行风格化图片生成

主要方法

模型由三部分组成，以保持高面部保真度。
首先，我们采用人脸编码器（face encoder）而不是CLIP来提取语义人脸特征，并使用可训练的投影层(a trainable projection layer)将它们投影到文本特征的空间。我们将投影特征作为人脸嵌入(face embedding)。
然后，引入一个具有解耦交叉注意（decoupled cross-attention）的轻量级自适应模块(lightweight adaptive module)来支持图像作为提示（prompts）。
最后，我们提出了IdentityNet，用额外的弱空间控制对参考图像中的复杂特征进行编码。
在 IdentityNet 中，生成过程完全由人脸嵌入(face embedding)指导，没有任何文本信息。
只有新添加的模块被更新（训练），而预训练的文本到图像模型仍然被冻结以确保灵活性。
训练后，用户可以高保真地生成任何风格的id保留图像

原图5 和主流方法比较效果

从左到右分别是IP-Adapter-SDXL、IPAdapter-SDXL-FaceID (*表示实验版本)、IP-Adapter-SD1.5-FaceID、IP-Adapter-SD1.5-FaceID-Plus
对比发现依赖 CLIP embedding 的IP-Adapter无法实现面部保真度（facial fidelity），也会导致提示控制的退化生成样式（degradation of prompt control to generate styles）。
IP-Adapter-FaceID 引入了人脸嵌入向量(face embedding)，提高了人脸保真度，但仍然无法实现高保真度。
IPAdapter-FaceID-Plus结合了人脸和CLIP embeding，可以实现良好的人脸保真度，但存在风格退化问题，导致人脸无法融入背景风格。