火星网校
Stable Video Diffusion问世！3D合成功能引关注，网友：进步太快
发布时间：2023-11-22 13:29:41 浏览量：122次
代码权重已上线
西风 发自 凹非寺
|
Stable Diffusion官方终于对视频下手了——
发布生成式视频模型Stable Video Diffusion（SVD）。
Stability AI官方博客显示，全新SVD支持文本到视频、图像到视频生成：
并且还支持物体从单一视角到多视角的转化，也就是3D合成：
根据外部评估，官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。
虽然目前只发布了基础模型，但官方透露“正计划继续扩展，建立类似于Stable Diffusion的生态系统”。
目前论文代码权重已上线。
最近视频生成领域不断出现新玩法，这次轮到Stable Diffusion下场，以至于网友们的第一反应就是“快”，进步太快！
但仅从Demo效果来说，更多网友们表示并没有感到很惊喜。
虽然我喜欢SD，而且这些Demo也很棒……但也存在一些缺陷，光影不对、而且整体不连贯（视频帧与帧之间闪烁）。
总归来说这是个开始，网友对SVD的3D合成功能还满是看好：
我敢打赌，很快就会有更好的东西出来，到时候只要描述一下，就会得到一个完整的3D场景。
SD视频官方版来袭
除了上面展示的，官方还发布了更多Demo，先来看一波：
太空漫步也安排上：
背景不动，只让两只鸟动也可以：
SVD的研究论文目前也已发布，据介绍SVD基于Stable Diffusion 2.1，用约6亿个样本的视频数据集预训练了基础模型。
可轻松适应各种下游任务，包括通过对多视图数据集进行微调从单个图像进行多视图合成。
微调后，官方公布的是两种图像到视频模型，可以以每秒3到30帧之间的自定义帧速率生成14（SVD）和25帧（SVD-XT）的视频：
之后又微调了多视角视频生成模型，叫做SVD-MV：
根据测试结果，在GSO数据集上，SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer：
值得一提的是，Stability AI表示SVD目前仅限于研究，不适用于实际或商业应用。SVD目前也不是所有人都可以使用，但已开放用户候补名单注册。
视频生成大爆发
最近视频生成领域呈现出一种“混战”的局面。
前有PikaLabs开发的文生视频AI：
后又有号称“史上最强大的视频生成AIMoonvalley推出：
最近Gen-2的“运动笔刷”功能也正式上线，指哪画哪：
这不现在SVD又出现了，又有要卷3D视频生成的可能。
但文本到3D生成方面好像还没有太多进展，网友对这一现象也很是困惑。
有人认为数据是阻碍发展的瓶颈：
还有网友表示原因在于强化学习还不够强：
家人们对这方面的最新进展有了解吗？欢迎评论区分享～
论文链接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
参考链接：
[1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model
[2]https://news.ycombinator.com/item?id=38368287
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
