关于openai的Sora，前段时间在AI界掀起了热潮，为此openai也赚足了眼球，我们也专门聊过：# 【AI辅助设计】聊一下Sora的设计应用场景以及争议点 但是几个月过去了，Sora也一直只存在官方的tiktok视频中，未免让人等得没了耐性🤷‍♀️。 设计小站也一直关注AI辅助视频设计的领域，除了AnimateDiff # 【AI辅助设计】Sora难产，看看新的可控出视频方案！，还有Deforum，都是视频生成的好手。# 【AI辅助设计】概念短片利器，deforum！案例教程 而说到生产力这块，还得是Adobe这些大公司，昨天他们刚刚发布了Premiere利用AIGC生成视频的方案，跟工具深度融合，也许这才是目前最有效的AI辅助视频的方案了，感兴趣的朋友不妨看看我的视频介绍：

-视频号链接

好了，言归正传，这期我们继续看看AI生成视频的方法，这次带来opensora的初体验。

什么是Open-Sora

可以理解为跟openai Sora一样的架构，但是开源。https://github.com/hpcaitech/Open-Sora/

Open-Sora项目由国内团队北大和兔展合作开发的开源项目，是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。 通过采用开源原则，Open-Sora 不仅实现了先进视频生成技术的低成本普及，还提供了一个精简且用户友好的方案，简化了视频制作的复杂性。 通过 Open-Sora，我们希望更多开发者一起探索内容创作领域的创新、创造和包容。

Open-Sora效果

官方的效果是直逼openai的Sora的。

A serene night scene in a forested area. [...] The video is a time-lapse, capturing the transition from day to night, with the lake and forest serving as a constant backdrop.

A soaring drone footage captures the majestic beauty of a coastal cliff, [...] The water gently laps at the rock base and the greenery that clings to the top of the cliff.

The majestic beauty of a waterfall cascading down a cliff into a serene lake. [...] The camera angle provides a bird's eye view of the waterfall.

A bustling city street at night, filled with the glow of car headlights and the ambient light of streetlights. [...]

The vibrant beauty of a sunflower field. The sunflowers are arranged in neat rows, creating a sense of order and symmetry. [...]

A serene underwater scene featuring a sea turtle swimming through a coral reef. The turtle, with its greenish-brown shell [...]

什么是MagicTime？

同样是由Open-Sora团队研发的项目，可以理解为基于Open-Sora架构的一个AI生成视频的方案，在变形物体和状态方面有更好的理解和效果。

MagicTime 是一个基于文本提示的变形视频生成管道。其主要目标是通过我们提出的方法和数据集，增强视频生成模型准确描绘真实世界的能力。

MagicTime效果

官方演示的案例，对事物从一种状态到另外一种状态，形变的过程符合物理世界认知，效果很好。

"Bean sprouts grow and mature from seeds"

"[...] construction in a Minecraft virtual environment"

"Cupcakes baking in an oven [...]"

"[...] transitioning from a tightly closed bud to a fully bloomed state [...]"

初体验

这次体验通过ComfyUI部署一套本地的MagicTime视频生成工作流，用到的核心插件是：ComfyUI-MagicTimeWrapper，该项目地址：https://github.com/kijai/ComfyUI-MagicTimeWrapper

先看看效果

从含苞待放的粉红色玫瑰花蕾，逐渐变为完全盛开的鲜红色的玫瑰花，特写镜头

一只可爱的小猫，缓缓抬头

发芽的种子

一片树叶从新生到枯萎过程

一堆雪正在融化成水

风吹树木

流动的水花

可以看到对语言和真实世界的理解还是挺到位的，效果也正如官方所述。

流程介绍

加载模型

由于方案限制，这个工作流，只支持sd1.5的模型。推荐使用真实模型。

翻译

为更好地用中文，我用了翻译插件，直接可以用中文写提示语。当然这个节点非必要的。

MagicTime 采样

核心的节点，参数建议默认就好。

视频插帧

为了输出更丝滑的视频，这里用了视频插帧节点。

视频调色

这也是非必要步骤，但我个人习惯，对图像的对比度和HDR值做了初步的调色。

合成视频

最后合成视频就可以了。

好了，关于的分享介绍就到这里，有什么疑问或者问题，可以留言交流哦~

关注我公众号（设计小站）：sjxz00，获取更多AI辅助设计和设计灵感趋势。