太炸了!OpenAI深夜发布,文字直接生成视频!

发布时间:2024-04-01 14:28:27 浏览量:160次

2月16日凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

Runway Gen 2、Pika等AI视频工具,都还在突破几秒内的连贯性,而OpenAI,已经达到了史诗级的纪录。

对比AI视频里Runway、Pika、Google和Meta这些主流玩家, Sora的特别之处在于:

1、能够生成具有多个角色、特定类型动作和主题背景的复杂视频,时长可达到1分钟。


2、可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。


3、最重要的是,它不仅理解用户在提示中要求的内容,还能自己理解这些事物在现实世界中的存在方式。

例如一个Prompt(大语言模型中的提示词)的描述是:在东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。

在Sora生成的视频里,女士身着黑色皮衣、红色裙子在霓虹街头行走,不仅主体连贯稳定,还有多镜头,包括从大街景慢慢切入到对女士的脸部表情的特写,以及潮湿的街道地面反射霓虹灯的光影效果。

Sora生成的视频截图,图片来源:OpenAI官网

另一个Prompt则是,一只猫试图叫醒熟睡的主人,要求吃早餐,主人试图忽略这只猫,但猫尝试了新招,最终主人从枕头下拿出藏起来的零食,让猫自己再多待一会儿。在这个AI生成视频里,猫甚至都学会了踩奶,对主人鼻头的触碰甚至都是轻轻的,接近物理世界里猫的真实反应。

OpenAI表示,这项技术仍存在一些缺陷,包括一些空间问题。

该公司表示,它意识到Sora有可能制造错误信息和仇恨内容等。研究人员说,AI驱动的深度伪造已成为一种风险,可能会在2024年美国总统大选前给公众造成困惑。

OpenAI表示,被选来测试Sora可被滥用方式的专家组将就如何加强对该系统的保护提供反馈意见。

该公司表示:“我们也在开发有助于检测误导性内容的工具,比如检测分类器,它可以分辨视频是何时由Sora生成的。”


热门课程推荐

热门资讯

请绑定手机号

x
确定