WithAI.Design

5 min read

一个基于FLUX的风格迁移方案

一个基于FLUX的风格迁移方案

前言

风格迁移,对于SDXL模型来说,已经是一个很普及的技术了,使用ComfyUI,利用IPAdapter节点和模型,可以轻松搭建风格迁移工作流。但是对于FLUX模型来说,还没有稳定的风格迁移方案。 目前可用的风格迁移方案,是来自XLabs开发的节点和模型,在x-flux-comfyui项目中,因为其还不稳定,所以我就没有进行测试了,还是让子弹在飞一会吧~😂。

Reference-only-for-Flux

而今天我要介绍的是Reference-only-for-Flux这个方案,也是基于ComfyUI的一套方案。

官方效果

先来看看作者的效果演示:

动画.gif

看起来不错!我决定跟着作者的文档,跑一下,验证其真假。

使用流程

作者的使用流程比较复杂。

设置

  1. 更新 comfy/ldm/flux 目录中的三个 .py 文件。 注意:在进行任何更改之前,请确保备份原始文件。
  2. variables.json文件放在存储库的根目录中。

用法

  1. 将模式设置variables.json为“write”并使用写入工作流程。
  2. 在工作流程中:
    • 将参考图像添加到“加载图像”节点。
    • 将与参考图大小相同的黑色图像添加到“加载图像(作为蒙版)”节点。
  3. 将工作流程排队。(这将创建一个“张量数据”文件夹,其中包含基于参考图像添加噪声的潜像)
  4. 将模式更改variables.json为“ref”并使用 ref 工作流程。
  5. 在“加载图像”节点中添加一张参考图。(不必是相同的参考图像,但大小应相同)
  6. 输入你的提示。(准确的提示至关重要。我个人使用 ChatGPT 用 150 个字描述参考图像)
  7. 运行工作流程。

测试效果

按照作者的流程,我运行了一下整个流程,真的好卡~🤦‍♂️。

标签