【AI辅助设计】FLUX + LoRA 手模生成器

前言

手是女生的第二张脸；

手模对于电商而言，有着举重轻重的地位，想象一下，电商里面有许多需要手模的场景，如戒指、首饰、哪怕是手机这类 3C 产品，都需要手模。

然而，AI 对于手的生成是一个难题，即使 flux 模型已经改善很多了。但熟悉 AIGC 的朋友，都知道修手是一个很常用的流程。

为此，我想到一个办法，就是通过训练 LoRA 的方式，尝试去做手模。

实测来看，对于手部的生成是有很大提升的，但是需要加上 depth 控制，才能有稳定的输出。

先看效果

还是先看效果，以下图片是有基础图片输入的（一张很丑的手也可🥱），经过 depth 处理，然后结合我的 LoRA 进行两次采样生成的。

纤纤擢素手

素手把芙蓉

手指细长，皮肤细腻~😂 玉手纤纤抚琴弦

纤纤玉手，如春风拂脸 😎 素手轻挥云袖舞

纤手折花香满袖

玉指纤纤捏绣针

下面这种复杂动作，也可以做到基本正常。

红酥手，黄縢酒

可以放大细节看看，皮肤的质感也到位。手指甲上的纹理清晰可见。🕵️‍♀️

有了手模后，结合之前的 fill+redux，把产品迁移上去，那么电商出图，又到了一个新境界了~🤣。

依旧是 flux fp8 模型，加上我的 handmodle LoRA 模型。

注意，第一步的采样，lora 的强度降低一点到 0.8 到 0.9，目的是不让 lora 的数据，侵入到 flux 的大模型，防止手部结构变形。

为了保持稳定，需要输入一张图片，丑的、男的手都可以，只需要姿势即可！根据图片进行反推，告诉 llm，只需要描述手部姿势即可，不需要其他描述。加上 lora 触发语和补充一些背景描述。

用到了 depth 模型控制，为什么不用 FLUX 官方的 depth？因为硬件扛不住~🥱

标准 flux 采样流程。

Laten 尺寸，设置为 1024*768，因为这是 lora 的训练尺寸。

标准的重采样放大处理。

注意左上角 lora 串联，在重采样阶段，增加模型强度，这样可以比较好地还原 lora 的训练效果。

今天这是一个新的尝试。测试过程，还是需要抽一些卡。也可能有人问，如果不训练 lora 结果会怎么样？大家可以看看对比：

由于 flux 的数据以外国人为主，所以呢，偏欧美，且不够圆润🥱。

工作流会测试好再上传。后台回复【工作流】即可，上面有工作流全集。Lora 也会在晚点上传到哩布哩布和 C 站。