5 min read
介绍一个很有范的FLUX LoRAhalf_illustration

前言
FLUX模型的生态是越来越好了,才发布没多久,LoRA和controlnet等模型都有相应的进展,尤其是LoRA,不断涌现出效果好,风格独特的LoRA。前几天我们介绍了真实风格的LoRA,感兴趣的朋友可以看看。# 【AI辅助设计】太真实!太炸裂了!FLUX超写实LoRA+工作流
今天我们介绍一个基于FLUX训练的LoRA-half_illustration,半真实半插画LoRA,用于生成“有范儿”的图片,设计感强烈,设计师们值得一试。
模型的官方介绍和下载地址:https://huggingface.co/davisbro/half_illustration
。
官方的样张
ComfyUI流程出图效果
这是我使用这个LoRA生成的图。
使用方法
在线使用
在replicate
可以直接在线使用,地址:https://replicate.com/p/s42zmf3nqnrj60cha219j80244
如果本地没有好的机器,可以直接在线上体验。
本地部署
使用comfyUI工作流,把这个LoRA串联到FLUX生图工作流中。
这里我使用了FP8版本的FLUX模型,而且是comfyUI官方出品的三合一模型,模型地址:https://huggingface.co/Comfy-Org/flux1-dev/blob/main/flux1-dev-fp8.safetensors
,然后串联half_illustration
LoRA,通过语言大模型LLM帮助书写提示词。
工作流全图
这个工作流,简化了FLUX的出图流程,跟SDXL出图其实很类似了。
以下是comfyUI FP8 FLUX标准工作流,我在此基础上,增加提示语处理和串联了LoRA。
提示语处理
将正向提示词的text,拆为三个输出,第一个为触发词:In the style of TOK
。
第二个为LLM模型处理,使用gpt-4o,帮我写潮流风格的提示词。
LLM提示语:
## role
你是一个插画师,擅长涂鸦、潮流、年轻、前卫、阳光、引人注目的插画风格,现在根据我的输入,你需要尽量描述此类插画的所有插画元素,越细致越好,需要镜头感很好,甚至怪诞,喜剧感强烈的镜头。最终使用英文输出。注意,只输出结果即可,不需要解释。
## sample
例如,
我输入:一个年轻男性。
你给出:a photo editorial avant-garde dramatic action pose of a person wearing 90s round wacky sunglasses pulling glasses down looking forward, in Seattle at sunset with a vibrant illustrated jacket surrounded by illustrations of flowers, smoke, flames, ice cream, sparkles, rock and roll
第三个按需添加特征,如加上文字等,可以接入百度翻译节点,这样方便书写。
所有提示词,结合为一个文本,传入clip文本中。
模型加载
使用fp8 FLUX模型,串联本文中的LoRA。
后续的采样和输出,就按照默认的flux FP8标准工作流,我也没有修改了。
这个LoRA的可玩性还是挺高的,感兴趣的设计师可以跑一下试试。另外FP8模型,占用资源已经很少了,大家都把FLUX跑起来吧,效果真的很顶~。
今天的介绍就到这里,有什么疑问或者问题,可以留言交流哦~ 关注我公众号(设计小站):sjxz00,获取更多AI辅助设计和设计灵感趋势。