5 min read
性价比高!LTXVideo图生视频方案

性价比高!LTX-Video图生视频方案
前言
文生视频,图生视频已经不新鲜了,但是开源的方案中,相对闭源的视频方案(keling、海螺、sora等)而言,没一个能打的!🥱,作为开源的拥护者,实属焦虑~。
也有不错的开源模型,如之前说的 Huanyuan,cogx 等。今天谈一个性价比高的开源方案 LTX。 当然,只能谈性价比,因为效果也确实不是很稳定😂,但是小显存也可以跑起来。 Ltx 文生视频,按照官方的工作流直接部署就好,我这里主要讲图生视频的,因为我觉得这类场景更广,可以先生成满意的图,再进行视频创作。
效果
这是直出的效果,在剪映用了高清效果。
工作流
图片输入和处理
对图片进行处理,用了官方推荐的尺寸即可。
提示语处理
依旧让 llm 来,先发推图片,然后通过自定义镜头语言,主体动作,然 llm 进一步整理。
# Role
Act as prompt generator, I will give you text and you describe an video that matches that text in details, answer with one response only. If I input in Chinese to communicate with you, but it is crucial that your response be in English.
# Exsample:
A woman with light skin, wearing a blue jacket and a black hat...
A woman with light skin, wearing a blue jacket and a black hat with a veil, looks down and to her right, then back up as she speaks; she has brown hair styled in an updo, light brown eyebrows, and is wearing a white collared shirt under her jacket; the camera remains stationary on her face as she speaks; the background is out of focus, but shows trees and people in period clothing; the scene is captured in real-life footage.
LTX 图生视频流程
注意这里有个我加入了 tricks 进一步加强质量。
合并输出
写在最后
整体来讲,作为开源模型,ltx 的速度非常快,且资源占用也低。
Ltx 的图生视频方案,擅长风景、动物等视频生成,人物稍微差点(仅限于图生视频),有兴趣的小伙伴可以玩玩,提示语是比较重要的,建议引入 llm 帮忙处理。
更多 AI 辅助设计和设计灵感趋势,请关注公众号(设计小站):sjxz 00。