WithAI.Design

5 min read

新鲜！好玩！最新换脸工作流 InfiniteYou

新鲜！好玩！最新换脸工作流 InfiniteYou

前言

虽然，OpenAI 的“一站式”改图新模型，对现在的 ComfyUI 研究存在不少冲击，# 【AI前沿】就在昨天！OpenAI扔出了一个王炸，许多这方面的研究者，都不仅哀叹，过往的工作毫无意义！ 但是呢，开源的世界毕竟充满活力和想象，作为设计师，ComfyUI 的原理和工作流逻辑，还是要有必要学习了解的。所以今天我们跟进一下最新的换脸技术，来自字节的：InfiniteYou。 作者 ZenAI 也刚刚发布了 ComfyUI 的适配节点，可谓新鲜👍。

一句话亮点

InfiniteYou，正如其名，可以通过一张照片，通过提示语方式，创造“无限的你“，与以往的换脸方案不同，他相当于不用训练 LoRA，而实现 LoRA 的功能！ 至于实际效果如何，别急，看完介绍后，我为大家实测一下😎。

InfiniteYou 介绍

这是来自字节的最新开源项目，地址：https://bytedance.github.io/InfiniteYou/。

从官方放出的效果看，还是非常不错的，虽然AI感还是有点强🥱

核心目标：

解决现有 AI 图像生成模型在保持人物身份一致性、文本描述匹配度、生成质量和美感上的不足。

技术亮点

  1. 身份保真增强

    • 提出 InfuseNet 模块：通过残差连接将身份特征注入扩散变换器（DiT）基础模型，显著提升生成图像与目标身份的相似度，同时不损失模型原有的生成能力。

  2. 多阶段训练策略

    • 预训练 + 微调：先进行基础预训练，再利用合成的单人多样本数据（SPMS）进行监督微调，有效提升：
      • 文本与图像的语义对齐
      • 图像整体质量和美学表现
      • 减少”面部复制粘贴”的机械感问题

  3. 即插即用兼容性

    • 模块化设计可与其他现有技术（如不同 DiT 变体）无缝结合，方便社区扩展应用。

实验表现

  • 在多项测试中超越现有基线模型，达到当前最优水平（SOTA）。

行业价值

  • 为人物定制化图像生成（如虚拟偶像、个性化内容创作）提供了更高质量的解决方案，同时推动扩散变换器技术的实际应用发展。

ComfyUI 中使用

插件安装

插件地址：https://github.com/ZenAI-Vietnam/ComfyUI_InfiniteYou

步骤 1：克隆仓库

cd custom_nodes
git clone https://github.com/ZenAI-Comfy/ComfyUI_InfiniteYou

步骤 2：安装依赖

cd ComfyUI_InfiniteYou
pip install -r requirements.txt

步骤 3：下载 ControlNet 模型

cd ../../models/controlnet
wget https://huggingface.co/vuongminhkhoi4/ComfyUI_InfiniteYou/resolve/main/aes_stage2_control_net/aes_stage2_control.safetensors
wget https://huggingface.co/vuongminhkhoi4/ComfyUI_InfiniteYou/resolve/main/sim_stage1_control_net/sim_stage1_control_net.safetensors
cd ..

步骤 4：下载图像投影文件

在 models 目录下，创建 InfiniteYou 目录，具体操作如下：

mkdir InfiniteYou
cd InfiniteYou
wget https://huggingface.co/vuongminhkhoi4/ComfyUI_InfiniteYou/resolve/main/aes_stage2_control_net/aes_stage2_img_proj.bin
wget https://huggingface.co/vuongminhkhoi4/ComfyUI_InfiniteYou/resolve/main/sim_stage1_control_net/sim_stage1_img_proj.bin
cd ../..

步骤 5：下载 InsightFace 模型
所需模型为 antelopev2（非经典的 buffalo_l）。从此处或此处下载模型，解压后放置到 ComfyUI/models/insightface/models/antelopev2 目录。

或通过以下命令快速下载：

# 确保当前在ComfyUI目录下
cd custom_nodes/
git clone https://github.com/ZenAI-Vietnam/ComfyUI_InfiniteYou
python ComfyUI_InfiniteYou/downloadmodel.py
pip install -r ComfyUI_InfiniteYou/requirements.txt

工作流使用

工作流有两个方式，一种是 图+提示语模式

另一种是 图+图+提示语方式，结合两张图的脸，然后通过提示语，生成到不同场景中。

实测效果

先来个脸部融合，可以还挺好玩的，可以预测一下夫妻两人的孩子样貌？😂。

a boy, 10 years old, handsome in the classroom


a girl, 10 years old, pretty in the classroom

单图模式，继续用娘娘做测试。

 cinematic portrait of an  woman with long hair

Frame 34.png

换大幂幂试试，这里注意了，为了不让人物过于西化，可以在提示语加上亚洲人提示语。

Portrait of a asia girl, white skin, In the street,

Frame 35.png

总结一下，脸部特征可以很好地还原，可以一定程度上有效替代人物 LoRA 的功能了。 大家看看效果吧，可以玩一下。

想获取更多 AI 辅助设计和设计灵感趋势？ 欢迎关注我的公众号（设计小站）：sjxz 00。

标签