AIGC生成视频，一直都是热门的，明星公司Pika、Runway Gen等专注AI视频的公司，曾经也风光无量，但随着Sora一出，瞬间众星陨落，黯然失色（传送门：# 【AI辅助设计】聊一下Sora的设计应用场景以及争议点）。殊不知，Openai的Sora也一直存在于TikTok视频中，始终没有产品落地。背后原因，有人猜测是成本过于高昂，商业化受阻。 作为普通的AI爱好者，对Sora是望眼欲穿，触不可及，设计小站也曾经对视频领域做过探讨，感兴趣可以看看：# 【AI辅助设计】概念短片利器，deforum！案例教程。 就在昨天，来自柏林的POM发布了一个新的视频生成方法，大家可以理解为通过生成关键帧，然后AI对视频进行自动补帧率，相对以前的方法，这个方式更便于理解。

今天大家看看这个技术，以及会实际跑一下，看看效果如何。

技术介绍

总结自官方的Github项目介绍。

可操控运动，一款ComfyUI自定义节点，用于批量处理图像的视频转向

可操控运动是一款用于批量创意插值的ComfyUI节点。我们的目标是提供最优质的、最精确、最强大的图像转向视频模型方法。此节点通过Dough - 一个简化设置的创意工具 - 发挥最佳效果，并提供流畅的创意流程。

安装

1. 如果您尚未安装，请安装ComfyUI和Comfy Manager - 您可以在其页面上找到说明。
2. 下载此工作流并将其拖放到ComfyUI中。
3. 当工作流打开时，通过在Comfy Manager中按下“安装缺失的自定义节点”来下载依赖节点。也从Comfy Manager搜索并下载所需模型 - 确保您下载的模型与工作流中的模型名称相同 - 或者您确信它们是相同的。

用法

主要设置是：

1. 关键帧位置：在每个主要关键帧之间生成多少帧。
2. 影响力持续时间：将IP-Adapter（IPA）影响力应用于哪些帧的范围。
3. 影响力强度：每一帧的低点和高点应该是什么。
4. 图像附着力：我们应该多大程度迫使输入图像的附着力。
5. 除了在整个生成过程中设置的图像附着力之外，这些设置是线性的 - 对每一帧相同 - 或动态的 - 每帧变化 - 您可以在工作流上找到详细说明，了解如何调整这些设置。

调整设置可以极大地影响运动 - 例如，下面您可以看到相同图像的两个动画示例 - 但只有一个设置调整，即每帧影响力的持续时间：

充分利用此工具的理念

这不是像文字到视频那样开箱即用的工具，它更像是一支画笔 - 一种艺术工具，您需要弄清楚如何从中获得最佳效果。 通过反复试验，您需要建立对运动和设置如何工作、它的局限性是什么、哪些输入图像与它配合最好等的理解。 它不是万能的，但如果您能弄清楚如何使用它，这种方法可以提供足够的控制，让您创造出与您的想象力精确匹配的美丽作品。

想帮助探索使用此工具的新方法并扩展其能力吗？

我相信有无数的方法可以扩展和延伸这个节点中的想法。 在这个工作流中包含的示例中，您可以使用Ostris的构图IPA来为生成提供结构：

如何使用？

正如官方所说，已经有流程和案例了，我们探讨一下，如何结合现有的技术，结合这项新技术，输出稳定的可控的视频方案。

看看效果

官方的效果其实也足够让人眼前一亮，那么我在实际搭建工作流产出的效果如何？大家可以看看，评价一下。前后只需要输入两个引导图片（关键帧）。

人物

人物的视频

风景

风景的视频

动物

动物的视频

总得来说，这个新方案可控性还是不错的，比起AnimateDiff、Deforum方案进了一步。

我的工作流

工作流的思路是要生成几个一致性较高的关键帧，然后通过关键帧方式生成视频。 明天将为大家测试并呈上，敬请期待。

好了，关于的分享介绍就到这里，有什么疑问或者问题，可以留言交流哦~

关注我公众号（设计小站）：sjxz00，获取更多AI辅助设计和设计灵感趋势。