WithAI.Design

5 min read

就在刚刚!FLUX官方放出大招

就在刚刚!FLUX官方放出大招

前言

前不久,我还写文聊过flux模型的情况,感兴趣可以回顾:# 【AI辅助设计】聊聊最近的FLUX-模型还有生态等。我在文中聊到了当前flux模型适用的controlnet、inpaint、ipa等生态配套,当时觉得,相比sdxl还有点欠缺😂,结果就被flux的官方黑色森林打脸了🥱,因为就在昨天,官方发布了几个重磅工具,补全了生态的短板。 这下子官方直接下场了,一整就出个大活~

FLUX工具

这次开放的几个工具有四个:

  • **FLUX.1 Fill: 局部重绘和扩图填充:
  • **FLUX.1 Depth: 深度控制:
  • **FLUX.1 Canny:边缘控制
  • **FLUX.1 Redux:通过提示词进行画面元素和风格重绘,也可以实现类似IPA的效果。

对,常用的controlnet已经有几个了,其中还有Redux工具,可以直接通过提示词方式进行风格重绘、元素变化等。我们分别看看官方介绍。

填充工具

其实就是inpaint功能,可以直接进行扩图和局部重绘。

重绘

扩图

官方放出的数据,推理的有效率真高~👍

## Canny/Depth

作为controlnet最常用的两个控制方法,此工具真是个flux生态的大杀器。虽然前面已经有效果不错的模型,但是官方出品的明显效果更佳!

## Redux

通过提示词直接进行风格重绘和元素变化。

同样的,数据在一众生图模型之上!

如何使用?

官方开放了模型权重,地址:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev。也开放了API的调用。

ComfyUI社区也第一时间做了适配。

实在是开源之福!我为大家试试效果。

ComfyUI使用FLUX.1 Tools

需要先将ComfyUI更新到最新版。

Fill工具

下载模型

https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main,现在填充模型,放在ComfyUI/models/unet,模型比较大,可以为是基于flux dev专门训练的重绘模型。

工作流

效果

原图: 原图来自:https://civitai.com/images/25775189

局部重绘

图像不够清晰,是因为机器性能扛不住了,所以缩小尺寸重绘的🥱。4090也扛不住啊~

圣诞树

换装

换椅子

抱着猫

扩图

Redux工具

下载 Redux 模型到comfyui/models/style_models。地址:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev/tree/main

工作流

使用原图的风格,生成一个新的图像。

另一个风格迁移。

效果

Depth/Canny 工具

分别下载模型,工作流是一样的。

depth/canny的效果我就不跑了,显卡扛不住,有点慢~😂。大家都可以在这里找到工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/

写在最后

官方出品,必属精品!效果刚刚的。但是现在的canny和fill模型,体积都比较大,本地运行还是很吃力的,期望大量整出量化版本,造福开源社区~💪

更多 AI 辅助设计和设计灵感趋势,请关注公众号(设计小站):sjxz00。

标签