前言

大家应该都知道，前天，6月5日，赛博佛祖stability.ai把音频模型Stable Audio Open开源了。

Stable Audio Open 允许任何人通过简单的文本提示生成长达 47 秒的高质量音频数据。经过专业训练后，它非常适合创建鼓点、乐器重复乐段、环境音、拟音录音和其他用于音乐制作和声音设计的音频样本。

那么还没部署好的朋友，估计没有意识到这个模型的强大，这么说吧，之前应该有了结果SUNO吧？通过自然语言，就可以生成各种风格的音乐或者音效，Stable Audio Open也有同样的功效！

而我关注的是，能不能通过连接SVD还有Stable Audio Open，做一个音视频素材的工作流？答案是肯定的！而且，通过接入语言大模型，只需要我一句话就可以一起生成音视频并合成，风格很搭哦~🤣

先看看效果

以下效果未经剪辑，大家看看，标题就是我输出的提示语。

大海的黄昏

种子力量

亚特兰提斯

梵高的午夜咖啡厅

破茧成蝶

深邃星空

星际穿越

可爱小猫

圣诞节女孩

雨后街道

森林夏雨

盛开的玫瑰

沙尘暴

雪花

是不是音视频的调性都搭配上了？实话说，还是挺符合我的预期的。

工作流

这个工作流其实很简单，大脑是使用语言大模型节点，使用了我自己做的语言大模型节点，接收我的提示语，分别生成文生图提示语和音乐提示语，然后图片输入到SVD生成视频，最后通过合并音频的方式一起输出视频。

大语言处理

提示语：

# 任务
## 任务1：
作为提示生成器，我会给你一段文字，然后你详细描述与该文字匹配的图像，只能用一个回答。如果我用中文和你交流，请务必用英语回复。
## 任务2
同样根据我的上面的一段文字，描述一个音乐风格，需要匹配“任务1”生成的图像。

# 输出
最后输出两段文字：

<图像描述语>
:
<音乐描述语>

注意两段描述语用英文冒号“ : ” 隔开

# 示例
## 我的输入
希望

## 你的输出
A child standing in a field of sunflowers, looking up at the sky with outstretched arms. The sun is shining brightly, casting a warm glow over the scene. The sky is clear with just a few fluffy white clouds, and the sunflowers are tall and vibrant, reaching towards the sunlight. The child has a look of pure joy and wonder, symbolizing hope and endless possibilities. Butterflies can be seen fluttering around, adding to the sense of serenity and natural beauty. The entire scene conveys a strong sense of optimism and hope for the future.
:
Cheerful, uplifting acoustic folk music characterized by gentle guitar strumming, the bright sounds of a mandolin, and a light, breezy melody. The rhythm is steady and upbeat, fostering a sense of positivity and warmth. Occasional harmonica or violin accents add to the rustic, hopeful atmosphere. The overall sound is simple yet heartwarming, evoking the feeling of a sunny, hopeful day in nature.

分割提示语

生成图片

生成音频

生成视频

SVD生成视频

合成输出

通过VHS音视频合并节点，合并输出。

这个工作流值得大家一试试，挺好玩的！

关注我公众号（设计小站）：sjxz00，获取更多AI辅助设计和设计灵感趋势。