好玩！腾讯开源 PhotoMaker：高效地定制化生成任意风格的逼真人类照片！

发布时间：2024年01月18日

文章目录

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/

一、前言

腾讯开源的 PhotoMaker：高效定制生成逼真人类照片的工具！这一项工作非常有趣，可能会为未来普及个性化设计铺平道路。

论文标题：PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding

论文链接：https://arxiv.org/abs/2312.04461

Github 地址：https://photo-maker.github.io/

Hugging Face 地址：https://huggingface.co/spaces/TencentARC/PhotoMaker

在这里插入图片描述

文本到图像生成的最新进展在合成以给定文本提示为条件的逼真的人体照片方面取得了显着进展。然而，现有的个性化生成方法无法同时满足高效率、良好的身份（ID）保真度和灵活的文本可控性等要求。

在这项工作中，研究者介绍了一种高效的个性化文本到图像生成方法：PhotoMaker，该方法主要是将任意数量的输入 ID 图像编码为堆栈式 ID 嵌入，以保留身份信息。这种嵌入作为一种统一的 ID 表示，不仅可以全面地封装同一输入 ID 的特征，而且还可以容纳不同 IDs 的特征以供后续集成。这为更有趣和有实际价值的应用铺平了道路。

此外，为了驱动 PhotoMaker 的训练，研究者提出了一个面向 ID 的数据构建管道来组装训练数据。在通过所提出的管道构建的数据集的滋养下，PhotoMaker 展示了更好的 ID 保存能力，同时还提供了显著的速度改进、高质量的生成结果、强大的泛化能力和广泛的应用。

二、主要内容

近年来，文本到图像生成领域取得了重大进展。值得注意的是，该领域的发展已经促成了符合特定文字描述的人类照片的合成。

PhotoMaker 是一项值得关注的研发成果，旨在通过将身份（ID）嵌入图像，同时有效地遵守给定的文本提示，从而增强个性化文本到图像的生成。与现有方法不同的是，PhotoMaker 的设计在不影响身份保留和文本可控性的前提下实现了高效率。

方法和途径

PhotoMaker 方法的核心是所谓的 “堆叠 ID 嵌入”。这一过程包括获取任意数量的输入 ID 图像，并将其编码为统一的 ID 表示法。这种方法的优势在于它既能保留单个 ID 的独特特征，又能在需要时灵活地整合这些特征。PhotoMaker 能够高效处理多个已编码的 ID，这与之前的 DreamBooth 等方法形成鲜明对比，后者需要大量的计算资源和时间进行定制。

此外，开发面向 ID 的数据构建管道是 PhotoMaker 的关键组成部分，它可以合成一个数据集，为模型所需的训练提供数据。

功能和应用

PhotoMaker 可以处理各种令人兴奋的应用。它能灵活地转换各种特征，如改变属性、变形艺术作品中的人物或将多个身份合二为一。值得注意的是，它的创新方法允许身份混合，即生成的照片逼真地保留了多个输入身份的各个方面。此外，该界面还允许用户通过控制输入样本池中的图像份额或使用提示加权来调整不同身份的合并比例。

总之，PhotoMaker 是生成个性化人体图像的有效方法，既逼真又能保持 ID 的真实性。它能根据文本提示快速生成各种图像，是数字图像创建领域的一大进步。从娱乐到虚拟现实，它的应用领域非常广泛。然而，毋庸置疑，对于如此强大的技术，道德方面的考虑是至关重要的。在使用 PhotoMaker 和类似方法时，必须以负责任的态度，并考虑到潜在的滥用问题。

📷 PhotoMaker：通过堆叠 ID 嵌入定制逼真的人体照片。Hugging Face 上可以直接体验。当我运用自己的照片进行体验时，我发现这个过程非常有趣。具体操作如下：

  • 上传您想要定制的人的图片。一张图片即可，但越多越好。虽然 PhotoMaker 不进行人脸检测，但上传图片中的人脸应占据图片的大部分。
  • 输入文本提示，确保在要定制的类别词后面加上触发词：img，例如：man img or woman img or girl img.
  • 选择您喜欢的样式模板。
  • 单击提交按钮开始定制。

得到的一些生成结果展示如下：

在这里插入图片描述

👨?💻 所用的 Prompts：

instagram photo, portrait photo of a man img, perfect face, natural skin, hard shadows, film grain

instagram photo, portrait photo of a man img, perfect face, natural skin, hard shadows, film grain, white shirts, suits, president

instagram photo, portrait photo of a man img, perfect face, natural skin, hard shadows, film grain, white shirts, black suit, smile, handsome

三、总结

🚀 研究者已经提出了 PhotoMaker，一个高效的个性化的文本到图像生成方法，专注于生成逼真的人类照片。PhotoMaker 利用一种简单而有效的表示方法：堆叠 ID 嵌入，来更好地保存 ID 信息。

👨?💻 实验结果表明，与其他方法相比，PhotoMaker 可以同时满足高质量和多样化的生成能力、良好的可编辑性、高推理效率和较强的 ID 保真度。此外，研究者还发现所提出的 PhotoMaker 可以实现许多以前的方法难以实现的有趣应用，例如改变年龄或性别、将旧照片或艺术品中的人带回现实以及身份混合。

📚 总结要点：

  • PhotoMaker 通过高效的 ID 嵌入增强了文本到图像的合成功能，同时还能保持身份和遵循文本提示。
  • 该方法采用 “堆叠 ID 嵌入” 方法，将多个输入 ID 的特征统一起来。
  • PhotoMaker 在效率上超越了以往的方法，并减少了定制所需的计算资源。
  • 系统可以改变属性、变形艺术角色、合并身份、自定义 ID 特征的合并比例。
  • PhotoMaker 提供了娱乐和虚拟现实的潜力，同时也强调了合乎道德地使用此类技术的必要性。

📚? 参考链接：

文章来源:https://blog.csdn.net/fyfugoyfa/article/details/135675724
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章