WithAI.Design

5 min read

没错！训练FLUX LoRA就这么简单！

没错！训练FLUX LoRA就这么简单！

前言

还记得我之前专门写了文章，记录如何快速训练SDXL模型的LoRA，感兴趣的朋友可以回顾一下：# 【AI辅助设计】记一次图标风格LoRA训练。最近也一直关注FLUX LoRA的训练技术和消息。毕竟FLUX是大势所趋了，SD的时代已经渐行渐远 🥱。

得益于开源社区的力量，在各位大佬的努力下，现在16G VRAM的家用电脑也可以训练FLUX的LoRA了 👏。 今天我使用fluxgym这个方法，训练LoRA，并记录过程。

fluxgym

由cocktail peanut 整合开发的一个易用的前端LoRA训练web应用，其背后也是使用Kohya Scripts。有两大优点：

  1. 显著降低显存占用。支持12GB、16GB、20GB显卡；
  2. 超级简单的用户界面和流程；

但目前仅支持NV的卡，项目地址：https://github.com/cocktailpeanut/fluxgym

得益于其优秀的易用性，X上越来越多的推友，都用这个应用来训练LoRA。

安装fluxgym

克隆项目

首先克隆 Fluxgym 和 kohya-ss/sd-scripts：

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

您的文件夹结构将如下所示：

/fluxgym
  app.py
  requirements.txt
  /sd-scripts

创建conda环境

官方使用的是venv虚拟环境，我这里就直接使用conda环境来安装了。

conda create -n fluxgym python=3.10

激活环境

conda activate fluxgym

进入sd-scripts，并安装依赖

cd sd-scripts
pip install -r requirements.txt

然后回到根目录，在安装依赖：

cd ..
pip install -r requirements.txt

最后，安装 pytorch Nightly：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

下载模型

其实跟fp16的FLUX模型组一样的，如果已经下载过，直接复制相关模型文件到相关目录即可。

首先，在foder下下载以下模型models/clip：

其次，下载文件夹下的以下模型models/vae：

最后下载models/unet文件夹下的以下模型：

结果文件结构如下：

/models
  /clip
    clip_l.safetensors
    t5xxl_fp16.safetensors
  /unet
    flux1-dev.sft
  /vae
    ae.sft
/sd-scripts
/outputs
/env
app.py
requirements.txt
...

运行

返回根fluxgym文件夹，激活 caonda环境，运行：

python app.py

训练过程

准备数据集

这次的目标是训练一个等距视角的室内模型icon。获取素材的过程，大家可以使用Midjourney，质量可控，方便快捷~😂

生成10到20张图就可以作为素材输入了。

将图片一一下载好，名字没关系，fluxgym后续可以处理。

尺寸就使用Midjourney生成的1024x1024吧，其实可以放大后再保存，这样训练出来的模型，质量更好。

训练信息

这里制作简单演示哈~。按照图片所示，输入基础的训练参数，其他先默认吧：

  1. LoRA名称
  2. 触发词
  3. 上传图片素材
  4. 使用Florence反推打标。这个真的好用，免去了打标的步骤

值得一提的是，Florence打标必须点赞，又方便又好~👍

使用打标时，需要另外下载模型，这里需要等待一段时间。

反推得还是很准确的。

开始训练

一切就绪后，就可以点击开始训练了。

耐心等待中 ☕️

显存去到了接近20GB

最终用时36分钟。

LoRA效果

训练好的LoRA模型就在根目录的output文件夹中。 时间关系，我就不做xy图了，直接用最后产出的LoRA看看效果。

加上LoRA后，元素和细节更加明显了。使用同样的提示语，右图为加上LoRA的效果。

3d isometric interiors, a living room with a blue background, featuring a sofa with cushions, a table with various objects on it, a chair, a monitor, keyboard, mouse, lamp, and other items on the table, houseplants, windows with curtains, and toys scattered on the floor.

更多输出如下：

写在最后

还是那句话，因为开源，所以生气蓬勃！ 可以说，这是我目前遇到的最易用的LoRA训练流程，大家赶紧用起来吧~。

最后，我的模型也会上传到哩布哩布上，感兴趣的设计师可以去下载哦。

更多 AI 辅助设计和设计灵感趋势，请关注公众号（设计小站）：sjxz00。

标签