火星网校
搜狗3D AI合成主播：“游戏级CG效果”的文本生成技术揭秘
发布时间：2023-12-09 17:38:34 浏览量：139次
出品 | 搜狐科技
作者 | 马文玥
两会召开之际，搜狗联合新华社推出的全球首个3D AI合成主播“新小微”正式亮相上岗，为观众播报最新两会新闻资讯。自2018年搜狗自身的“分身技术”推出全球首个AI合成主播后，这也是搜狗首次将2D虚拟人升级为3D形象。
一个很直观的感受是，较之前的2D AI合成主播，3D“新小微”更加立体，在呈现方式上可以支持多机位多景深以及360°任意角度，更接近我们平日在电视看新闻的演播室调度。
3D AI合成主播可以支持多机位拍摄
2D AI合成主播
搜狗3D AI合成主播背后展现了哪些技术提升？对于商用落地和搜狗自身的战略规划分别带来哪些价值？对此，搜狗AI合成主播研发团队首次向搜狐科技在内的媒体揭秘了其背后故事。
搜狗AI交互技术部总理陈伟介绍，3D AI合成主播“新小微”以新华社记者赵琬微为原型，首先通过扫描还原、面部肌肉驱动、表情肢体捕捉等技术，生产出高度还原真人发肤的逼真数字人模型；同时结合多模态建模技术，使用语音、图像、文本、3D肌肉运动数据等多模态信息完成联合建模训练生成现在我们看到的3D AI合成主播。
事实上，超写实拟人化的“3D数字人”并非搜狗首创，其中CG动画技术已有成熟应用于影视特效制作的案例，完全可以达到以假乱真的地步。在电影《速度与激情7》中，已逝主演保罗·沃克通过这种“虚拟重生”的方式，依然承担了片中较重的戏份，但与之对应的是超长的制作周期与高昂的花费，因此带来的后期渲染费用高达5000万美金。
“在游戏3D行业里面，制作一分钟写实度很高的CG视频，一个专业的美术师差不多要花一个月的时间；我们之前还了解到一个公司，做了一部电影，其中剪出来超写实的（CG）片段一分半，但是他们几百个人做了一年半，这已经算是做得非常快的了”，陈伟表示。
《速度与激情7》中虚拟合成的经典镜头
不过“新小微”的播报新闻并不需要如此高成本且繁复的操作步骤。因为此前制作2D AI合成主播的经验积累，以及AI带来的自动化和低成本优势，搜狗从立项到完工大约花费了半年时间，制作费用大约耗费了百万元人民币。
虽然逼真度来看仍与一流的影视特效存在差距，但3D AI合成主播一个非常重要的特点是文本驱动，即输入一段新闻文本就能输出一个视频或者视频流的能力，而且这种视频输出的能力是实时的。我们平常接触的无论是电影特效人物还是游戏里的NPC，往往都需要大量的人力和时间来打磨。可以搜狗3D AI合成主播是一项“高性价比” 的创新，体现了AI“降本增效”的价值所在。
文本驱动的背后原因，是相比较CG技术，搜狗实现了AI驱动。事实上，即便是看起来难度低于超写实“数字人”的卡通虚拟歌手“洛天依”，它所能最终呈现的效果，都是通过真人采集-后期制作-重复播放来实现。而“新小微”的制作仅花费了1个小时来采集原型人物新华社记者赵琬微的声音模型。在此之前，搜狗已经通过数十人、上千小时、涵盖新闻、小说、客服、散文等领域的数据训练出了一套基础模型，然后再通过原型赵琬微的少量数据进行迭代优化即可。
这样的方式也意味着可以迁移学习，从而诞生不止一个“新小微”。除了迁移能力，从交付来看，3D AI合成主播的的门槛也并不高，只需要给客户提供一个在线生成的服务网站。
目前，虚拟“数字人”的研发制作已经成为全球各大科技公司AI实力储备的一部分，国外如三星，国内如百度、科大讯飞、商汤等，除AI主播外，金融、司法、教育领域均有落地。
平安普惠和搜狗合力打造的 AI视频面审机器人
而当虚拟“数字人”从2D升级到3D后，随之增强的灵活性也会意味着其适用的场景越来越多，“现在我们可能看到（AI主播）开始走进来，站着给你播报，可能不久的将来，他们就可能去做外景了，去采访人了”，搜狗AI交互技术部总理陈伟表示。
在今年年初的CES上，三星的“人造人”项目Neon曾引发轩然大波，在宣传视频的展示中，三星对这些以假乱真的“数字人”未来应用场景预设更为广泛——他们或是你的老师，健康咨询师，也可能成为电影明星。
三星Neon“人造人”计划宣传片，虽然目前研发仍存在差距
搜狗也同样拥有更为宏大的愿景——“以语言为核心的AI技术战略布局，从语言能扩展出自然交互和知识计算，最后希望达到的是虚拟个人助理”，陈伟表示。
不过从“Siri之父”最终弃Siri而去，再到“小爱同学”在雷军在展示时多次“短路”，“AI个人助理”存在了很多年，也尴尬了很多年——其智能程度完全无法承担我们对“个人助理”这四个字背后预期的高度。
陈伟也坦诚，在超写实虚拟“数字人”这条赛道上，相比逼真度的提升，真正的难点是卡在了“语言理解”上。在感知层面，强于表达的虚拟“数字人”可以替代一部分主播的工作，却很难实现与人更进一步的互动——“通用的语言理解目前机器做得还是不够，我们看到的语音助手类无非就是问问天气怎么样，点个歌，插科打诨一下。所以我们也逐步看到，针对垂直场景定制它的对话能力，是目前比较可行的落地方案”。
不同的垂直场景定制也意味着更高的难度系数。“跳到教育领域，如果是一个线上的老师，他跟学生沟通的时候不可能像主播坐得那样笔直，学生表现很棒的时候，他可能需要时不时举个大拇指”，陈伟称。而在金融场景下，AI虚拟客服则需要通过一对一聊天，不断的观察、反问来拿到客户全部信息。
沿着场景驱动的思路，百度、科大讯飞、商汤等人工智能领头企业都在不同垂直领域进行探索。对于行业竞争，陈伟表示，“无论从识别到生成的，以及融合在一起的多模态能力，以及对话的能力、问答的能力，这里涉及的技术特别多，技术串联也特别多。我觉得一个公司想做好数字人相关的技术，需要一套完整体系和体系之间的协同，这是我认为比较大的壁垒。”
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
