2张图2秒钟3D重建!这个AI神器厉害到爆炸

发布时间:2024-08-26 11:06:22 浏览量:165次

大家都玩过Sora了吗?没玩过可以等一等哦。现在有一个AI工具,只需2张图片,无需测量任何额外数据,2秒内就能生成3D作品,是不是感觉很震撼?很想体验一下?

图片来源网络

这个名叫DUSt3R的新工具,一上线就火得一塌糊涂,热度直逼Sora,甚至登上GitHub热榜第二。

有网友实测,拍两张照片,真的就重建出了他家的厨房,整个过程耗时不到2秒钟!让网友不由惊呼,这比之前热门的Sora更加实用。据悉,这一工具在单目/多视图深度估计以及相对位姿估计任务上表现出色,被认为是目前最先进的技术之一。

作者团队对DUSt3R也很是自信,直言:我们就是要让天下没有难搞的3D视觉任务。那么,它是如何做到的呢?

根据介绍,作者团队采用了一种全新的方法,称为DUSt3R,它不需要任何相机校准或视点姿势的先验信息,就能完成任意图像的密集或无约束3D重建。这意味着用户只需提供图片,无需额外的测量数据,便能轻松获得完整的3D重建效果。具体网络架构方面,DUSt3R的网络架构基于标准Transformer编码器和解码器,受到CroCo的启发,并通过简单的回归损失训练完成。

图片来源网络

在实验中,DUSt3R在多项任务上取得了SOTA的成绩,包括绝对姿态估计、多视图姿态回归、单目深度估计和多视图深度估计。不仅如此,DUSt3R还能够处理两张没有任何重叠内容的图像,仍然准确地完成3D视图的重建,展现出其强大的功能和适用性。

此外,网友还针对不同相机拍摄的图像进行了测试,结果依然有效。可以说,DUSt3R的出现为3D重建任务提供了一种简单而高效的解决方案,让用户可以更轻松地完成相关工作。如果DUSt3R能够顺利落地,那么医疗、游戏、影视、建筑、产品设计和虚拟现实等领域将大大受益。

图片来源网络

DUSt3R这一新工具的出世,让我们进一步见识了多模态大模型的实力,继文本、代码、图片、视频之后,文生3D是重要的产业发展方向。未来,随着AI赋能3D建模的迅速发展,用户可以更快速地实现3D重建,无论是在室内还是室外场景,都能得到准确且完整的效果。这一AI工具的应用将极大方便用户开展相关任务,实现更多可能性和创新拓展。

想要了解更多关于数字艺术领域的知识和技能培训吗?快来点击点击咨询,火星时代教育为您提供游戏设计培训、动画培训、影视后期培训等多项课程,助您成为数字艺术领域的专家!

热门课程推荐

热门资讯

请绑定手机号

x
确定