【新智元导读】Runway 近日发布了最新版本的 Gen-3 Alpha,在保真度、一致性和精细程度上再次取得重磅升级,画面细节直接达到电影级画质,再次震惊网友。AI 视频领域俨然已进入神仙打架阶段,而 Gen-3 Alpha 的出现,无疑为这场竞争注入了新的活力。
时隔多月,Runway 终于推出了 Gen-3 Alpha,并直接向 OpenAI 的 Sora 发起挑战。
与前一代 Gen-2 相比,Gen-3 Alpha 在细节、一致性和运动表现方面均有显著提升,展现出史诗级的进步!
Gen-3 Alpha 发布后,网友们争相分享其演示,一时间风头盖过了不久前备受关注的 Luma。
「Luma 开始雪崩,Gen-3 Alpha 将在未来几天内到来!Runway 在保真度、一致性、动作和真实感人体方面取得了进步,模型擅长生成具有各种动作、手势和情感的富有表现力的人类角色。」
如今的 AI 视频社区,似乎又要迎来新王了。
Runway 认为,Gen-3 Alpha 的诞生,意味着我们离通用世界模型和新一代 AI 视频又近了一步。
Gen-3 Alpha:新基础设施系列的首个模型
Gen-3 Alpha 接受了视频和图像混合训练。
与 2023 年 11 月推出的前身一样,也支持文本到视频、图像到视频和文本到图像功能控制模式,如运动画笔、高级相机控制和导演模式。
而在未来,Runway 计划提供更多工具,让用户实现对结构、样式和运动更好的控制。
根据 Runway 的说法,Gen-3 Alpha 是基于大型多模态模型全新训练基础设施训出的第一个模型。
不过,Runway 并未透露研究者做了哪些具体改变。
这次上新也没有技术论文发布,博客文章中只显示了多个最长 10 秒的视频示例。
网友盛赞:令人印象深刻,光线、颜色、皮肤纹理、清晰度,一切都令人惊叹。
这就是即将撼动娱乐圈的 AI!
Hugging Face 创始人表示,泰裤辣,谁将会成为从开源视频模型收获百倍关注的幸运儿?
Pytorch 之父高度赞扬道,这简直就是 Sora 级别的模型。
人物更加真实,表现力更加细腻
从下面这些示例看出,新模型不仅对于不同动作、手势、情感的人类角色把握得更为细腻,在场景中元素和过渡的时间控制上,也有了更大的进步。
人物生成上,肖像的面部细节更真实,而且在生成 10 秒长的时间里,完全能够风格保持一致性。
坐在车中的女子,在经过霓虹灯的街道上,脸上的光影变化毫无违和感。

仰头大笑的男子,戴上了假发和眼镜。根本无法辨认出,这是 AI 生成的。

穿着宇航服的男子穿梭在石头建筑之间,好像在讲述着这座古城的历史。

一位老人在仓库中的特写镜头。

再来看日漫人物生成,也是非常地完美。

更懂物理世界
此外,Gen-3 Alpha 经过描述详尽、时间连续的训练数据,以此生成了富有想象力,以及画面过度的效果。
而且,它还能精准对场景中的元素进行关键帧动画制作。

Gen-3 Alpha 对物理世界理解,也更近一步,洪水涌入山庄,水流状态与真实世界别无二致。

走廊中,闪光灯打在飞舞的银色布料上。

不过这次,蚂蚁的腿还是没有对上。

一会儿多几条,一会儿少几条,堪称薛定谔的蚂蚁腿
Gen-3 Alpha 在由远拉近的镜头生成中,能够细致地呈现出想要的场景。

这个热气球同样如此,与拍视频中运镜的效果是一样的。

超梦幻的海底世界,一切仿佛置于梦境之中。

更值得一提的是,Gen-3 Alpha 在视频中生成字体变得更真实了。一面白墙上用黑色涂鸦,写着 Runway。

博物馆中一幅画的宽幅对称照片,镜头拉近到画作附近。

窗外看到一个巨大的奇怪生物在夜晚的破败城市中行走,一盏路灯照亮了这个昏暗的地方。

一缕缕活生生的火焰,在熙熙攘攘的幻想集市中飞驰的特写镜头。

此外,官方放出的炸裂演示还有:
