火星网校
意念操纵机器人成真！李飞飞团队打造，做家务玩游戏样样能行
发布时间：2023-11-10 14:55:40 浏览量：96次
网友：阿凡达照进现实
西风 发自 凹非寺
|
斯坦福李飞飞、吴佳俊带队让《阿凡达》意念操控照进了现实！
现在，只需要动动脑子就能操纵机器人。
想吃寿喜锅不用自己动手，切菜备菜、倒入食材，机器人一气呵成：
做饭、烹茶样样都行：
忙完还能顺便把桌面清理了：
你以为这就完了？这个机器人玩起游戏来也是一把好手：
甚至还能帮你熨衣服：
关键是，旁边的操纵者只需要坐在那里“冥想”即可，无需手摇摇杆。
能做到这些，都要得益于研究团队最新开发脑机接口系统——NOIR。
这是一个通用的智能系统，使用者无需佩戴侵入性设备，机器人可以从脑电信号中解码人类意图。
并且它还配有一个“技能库”，可以随意组合各种技能完成人类指令，轻松应对高达20项日常任务。
要知道，常规脑机接口系统一般只专注于一项或几项任务。
目前这项研究已收录于机器人顶会CoRL 2023：
围观网友一口一个哦买噶：
哦买噶，游戏规则改变者！
清华叉院助理教授许华哲也来评论区捧场：
哦买噶，赛博朋克！
这个NOIR系统究竟是什么？机器人为何能完成这么多任务？
20项任务轻松拿下
正如上文所说，这个机器人能干的事儿多着呢。
干酪撒粉这种任务也能轻松完成：
拆包裹、整理桌面这种活就更不在话下：
而其背后的这个NOIR系统，简单来说可以分为两部分：模块化解码管线、有原始技能库的机器人系统。
主打一个让机器人自动学习预测人类意图。
具体来说，模块化管线将解码人类意图过程分为三个模块：
1）选择什么对象？
方法是在屏幕上显示任务场景，利用对象的闪烁刺激产生SSVEP信号；每个对象以不同频率闪烁，人类注视某对象时，脑电信号中该频率成分增强。
然后用Canonical Correlation Analysis(CCA)方法，分析不同频率的相关性，确定人类注视的对象。
2）如何交互？
这部分是通过提示人类想象执行某些技能(左手、右手等)产生运动意象信号，然后使用滤波和Common Spatial Pattern (CSP)算法预处理信号。
最后利用Quadratic Discriminant Analysis (QDA)进行4类识别，确定技能选择。
3）在哪交互？
人类想象控制光标的左右运动来选择技能执行的具体参数。同样通过CSP和QDA处理并解码脑电信号，判断人类是左还是右。
研究人员还设置了安全机制，采用肌肉紧张信号来确认或拒绝脑电信号解码结果，避免解码错误导致的风险。
之后，机器人配备了一系列参数化的基本技能，例如Pick（x，y，z）、Place（x，y，z）、Push（x，y，z，d）。
可以组合使用这些技能来完成人类指定的各种任务。
在这个过程中，解码人类意图既费时又费钱。所以研究团队选择让机器人用基于检索的少样本学习，来学习人类的对象、技能和参数选择。
这样一来，在给定一个新的任务时，机器人会在记忆中找到最相关的经验，并选择相应的技能和对象。
举个例子，假设人类在执行抓取杯子的任务，选择了在杯子的某个特定位置抓取（比如杯子的把手）。机器人会记录下当时的图像，以及人类选择的抓取点。
在之后的任务中，当机器人看到新的杯子图像时，它会首先根据预训练模型来分析这个新图像，提取图像的语义特征。
然后计算新图像的特征和之前记录的训练图像特征之间的相似度，找出最相似的一个点，作为它预测的抓取位置。
通过这种匹配图像特征的方式，机器人只需要人类示范一次参数选择，就可以在未来自己预测参数，而不需要人类每次都完全重新选择一遍。
使用NOIR系统，3名人类参与者完成了上面我们所介绍的20项日常活动任务，其中包括16个桌面操作任务和4个移动操作任务。
在测试中，每个任务平均需要尝试1.8次就能成功，平均完成时间为20.3分钟，这其中主要是人类决策和解码耗时，占总耗时的80%。
实验各阶段的解码准确率和其它脑机接口研究差不多，但使用这种方法可以将对象和技能选择时间降低60%，从45.7秒缩减到18.1秒。
作者简介
除了李飞飞教授、吴佳俊教授带队，论文共同一作有四位，分别是：
Ruohan Zhang
Ruohan Zhang是斯坦福视觉与学习实验室（SVL）博士后研究员，同时也是Wu Tsai Human Performance Alliance研究员。
主要研究方向为机器人技术、人机交互、脑机接口、认知科学和神经科学。
Sharon Lee
Sharon Lee是斯坦福大学视觉与学习实验室（SVL）研究生研究员。
Minjune Hwang
Minjune Hwang是斯坦福大学计算机科学研究生，于加州大学伯克利分校获得计算机科学和统计学本科学位，曾在亚马逊、微软和苹果进行研究。
Ayano Hiranaka
斯坦福大学研究生，本科毕业于伊利诺伊大学香槟分校。
论文链接：https://arxiv.org/abs/2311.0145
参考链接：
[1]https://twitter.com/drjimfan/status/1722674119794434187
[2]https://twitter.com/ruohanzhang76/status/1720525179028406492
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
