5 min read
FLUX1高质量工作流与微调信息

前言
相信大家都被FLUX.1模型的信息轰炸了~,各路大神纷纷测试,从目前的结果看,没有翻车,已经超越了SD3模型,可以与Midjourney匹敌。但是目前生态还不完善,不支持controlnet,甚至ceo都说从技术层面,FLUX.1不支持微调训练(LoRA)扎心了~🥱。
然后,毕竟是开源模型,权重开放了,大神们总是有办法的,这不,微调模型已经在路上了 🤣。
FLUX.1 微调
讨论地址:https://github.com/bghira/SimpleTuner/discussions/639
该项目作者已经微调出LoRA了,而且已经在24G显存的机器上训练出来,实在让人惊喜。
但同时作者也提到:
使用 Quanto 的 8 位量化在 24G 卡上运行,或在 Macbook 系统上运行 25.7G(速度很慢)! 如果您追求准确度,40G 卡就足够了,而 80G 卡对于更大规模的训练来说则是最佳选择。
效果如何,我们还不得而知。但不管怎么样,还是迈出了第一步,FLUX.1的开源生态,还是有希望完善起来的!🍻
FLUX.1高质量工作流
今天还是讲讲工作流吧,毕竟对于设计师来讲,还是讲如何好好使用FLUX模型。就目前的模型生态看,这个工作算是把FLUX的模型优势发挥出来了。
先看看效果
穿红衣服的女人
沙漠女人
经过处理的细节慢慢,当然首先得要FLUX的出图给力~😂。
小狗
水果盘
复古汽车
北欧客厅
中国女人
出图较慢,更多的效果就不不尝试了🥱。
工作原理
这个工作流最核心的思路,还是在于利用大模型优化提示词,我们知道FLUX对提示词(prompt)的遵从性非常好,所以一个合适、高质量的提示词,对出图质量影响至关重要。 我们甚至看到黑暗森林官方的网站,也给出了提示词优化的选项,其背后应该就是调用语言大模型的提示优化。
关于如何接入大模型,或者在这方面的ComfyUI工作流,设计小站很久以前已经有写过相关文章,今天会把他应用到FLUX模型上。
传送门,以下这些案例,都跟语言大模型有关:
- # 【AI辅助设计】小孩子才做选择,语言大模型我全都要!
- # 【AI辅助设计】出图更“傻瓜”了!controlnet作者新作:Omost
- # 【AI辅助设计】实现壁纸自由!ComfyUI一键壁纸工作流
- # 【AI辅助设计】一键贴纸工作流:创意与个性化的融合
基本工作原理:
- 使用一键提示词节点,初步生成提示词,会包含风格、主体,等可以直接选择的提示语;
- 使用gpt-4o进行提示词润色
- FLUX.1出图
- SD upscale放大处理
提示词模块
可以看到,经过提示词优化,一键提示词加gpt会把提示词写得非常细。
输入:
迷人的中国女人
输出:
In this photograph captured by a Canon 5D Mark IV, a charming Chinese woman is the central focus. She is adorned in a flowing 汉服, featuring a serene palette of raspberry, coral, and peach, complemented by matching pants. The material of her attire appears delicate and ethereal, catching the light softly. Her posture is one of elegant grace, with her palm gently facing the camera, as though inviting the viewer into her tranquil world. Her eyes are closed, her face serene, as she appears to be in deep contemplation, savoring the natural beauty around her.
The backdrop is a lush and vibrant green jungle, teeming with life. Vines hang effortlessly from towering trees, and leaves sway gently in the breeze, adding a sense of movement to the still image. There is an almost palpable sense of freshness and vitality, with the sweet aroma of blooming flowers infusing the air. Birds can be imagined singing harmoniously in the distance, enhancing the serene ambience.
The use of selective focus draws immediate attention to the woman, allowing the background to blur softly, creating a beautiful bokeh effect. This technique highlights her ethereal presence and the intricate details of her 汉服, while the natural, diffused lighting enhances the overall composition, adding depth and a dreamlike quality to the photograph.
虽然中间会夹杂了为处理的中文,但也不影响整体。
FLUX出图
这个就是flux标准流程,用了dev版本的模型。
SD upscale模块
SD upscale这个节点,中间运算那堆,其实就是把图片分拆成六个分开采样,以免爆内存。 可以对图片进行适当的锐化和hdr处理,以获得更好的效果。
对比出图
最后就是对比出图了。
写在最后
这个工作流还是非常简单的,容易获得质量不错的图,但就整个生态而言,确实controlnet控制,LoRA微调,title模型等,可控性还是比不上SDXL模型,期待FLUX生态尽快完善起来~😂。
今天的介绍就到这里,有什么疑问或者问题,可以留言交流哦~ 关注我公众号(设计小站):sjxz00,获取更多AI辅助设计和设计灵感趋势。