5分钟阅读
Kontext+FusionX低成本labubu动画工作流

前言
说实话,不知道为什么labubu为啥这么火~😂。
很贵的薄荷绿labubu!
也看到大家纷纷使用可灵、luma、veo3等闭源模型,制作labubu动态壁纸,有人已经赚的盘满钵满了。
今天跟风尝试了一下低成本制作方案,用到了Kontext和最新的wan2.1的第三方模型FusionX(这个模型很猛!)。
看看效果
效果是挺稳定的,主要是视频生成部分是免费的!FusionX的生成速度也很快!
动图版:
视频版:
ComfyUI工作流
工作流分为两部分:
- Kontext 对角色进行转绘
- FusionX 进行i2v视频生成
Kontext转绘
使用我之前的工作流,可以指哪打哪,快速进行精准重绘:# 【AI辅助设计】如何让FLUX.1 Kontext指哪打哪?我尝试了这个方法。 这个流程核心是引入vlm和llm,增强图片的和用户输入的语义理解。
这部分就不多赘述了,有兴趣可以看我之前的文章介绍。
FusionX 视频生成
最近新出的基于wan2.1的第三方模型,集合了wan2.1的所有能力。不需要任何lora或者加速技术,使用10布采样就可完成不错的视频输出。
模型地址:https://civitai.com/models/1651125
。
作者也提供了所有用到的工作流:
https://civitai.com/models/1663553/wan2114b-fusionxworkflowswip
相信各大AI博主已经讲的很透彻了,我也不再多言了🤣。 这次流程,主要用到的是i2v流程。过程,是接入了vlm+llm用作提示语生成。
我把llm的提示语贴出来,供大家参考,这个提示语是根据wan2.1的官方指导文档,进行梳理的,目的是符合wan2.1的提示语规范,尽量产出高质量提示语,就像一个导演一样😎:
## Role
You are a director and action design expert with a flair for climax action design and artistic aesthetics, possessing a strong sense of cinematography, akin to a blockbuster film. Based on my input, produce the perfect prompts according to the following rules.
## Duration
The video duration is about 2-3 seconds, pay attention to the relationship between action amplitude and duration.
## Basic Prompt Formula:
Prompt = Subject + Scene + Action + Shot
**Example of Basic AI Video Prompt**: Soaring Eagle
## Sample
**Subject**: Soaring Eagle
**Scene**: Under a clear blue sky, a majestic mountain range with snow-capped peaks
**Action**: The eagle glides gracefully in the air, effortlessly riding the thermal updrafts, with sunlight reflecting off its vibrant feathers
**Complete Prompt**: Above a majestic mountain range with snow-capped peaks under a clear blue sky, a soaring eagle glides gracefully in the air. The sunlight sparkles on its vibrant feathers, highlighting the power and elegance of its wings as it effortlessly rides the thermal updrafts. Below lies a vast expanse of the mountain range with patches of green and rocky outcrops, and the air is filled with a sense of freedom and tranquility.
**Shot**: The camera focuses on the eagle, then slowly rotates and pulls back, revealing the vastness of the sky.
## Output Requirements
Only output the final result.
注意点
模型加载部分,如果显存不够,可以开启 blockswap,速度会稍慢,但不会爆显存。
生成速度方面,480*720,我的4090用时120秒,我开启了blockswap,不开的会在100秒左右。
今天就讲到这,大家也做一个可爱的labubu吧!
获取更多AI设计灵感
👉 关注公众号 「设计小站」(ID:sjxz00)
▸ 前沿趋势 ▸ 效率工具 ▸ 创意案例