火星网校
用视觉来做Prompt！沈向洋展示IDEA研究院新模型，无需训练或微调，开箱即用
发布时间：2023-11-27 12:04:58 浏览量：123次
整场大会干货满满
白交 发自 凹非寺
|
用视觉来做Prompt，是种什么体验？
只需在图里随便框一下，结果秒秒钟圈出同一类别！
即便是那种GPT-4V都难搞定的数米粒的环节。只需要你手动拉一下框，就能找出所有米粒来。
新的目标检测范式，有了！
刚刚结束的IDEA年度大会上，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋展示了最新研究成果——
基于视觉提示（Visual Prompt）模型T-Rex。
整个流程交互，开箱即用，只需几步就可以完成。
此前，Meta开源的SAM分割一切模型，直接让CV领域迎来了GPT-3时刻，但仍是基于文本prompt的范式，在应对一些复杂、罕见场景就会比较难办。
现在以图换图的方式，就能轻松迎刃而解。
除此之外，整场大会也是干货满满，比如Think-on-Graph知识驱动大模型、开发者平台MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU机密计算协处理器、可控人像视频生成平台HiveNet等等。
最后，沈向洋还分享了过去几年时间花时间最多的一个项目：低空经济。
我相信当低空经济发展到相对成熟时，同一个时间点，在深圳的天空中每天有10万架无人机，每天飞起来的有百万架无人机。
用视觉来做Prompt
除了基础的单轮提示功能，T-Rex还支持三种进阶模式。
- 多轮正例模式
有点像多轮对话，以得出更为精确的结果，不至于出现漏检的情况。
- 正例+负例模式
适用于视觉提示带有二义性造成误检的场景。
* 跨图模式。
用单张参考图提示，来检测其他的图。
据介绍，T-Rex不会受到预定义类别限制，能够利用视觉示例指定检测目标，这样一来就克服有些物体难以用文字充分表达的问题，以提高提示效率。尤其像一些工业场景中的复杂组件等。
除此之外，通过与用户交互的方式，也可以随时快速地评估检测结果，并进行纠错等。
T-Rex主要由三个组件组成：图像编码器、提示编码器以及框解码器。
这项工作来自IDEA研究院计算机视觉与机器人研究中心。
该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型；在Github上大火（至今狂揽11K星）的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM。更多技术细节可戳文末链接。
整场大会干货满满
除此之外，IDEA大会上还重点分享了几个研究成果。
比如Think-on-Graph知识驱动大模型，简单来说就是将大模型与知识图谱结合。
大模型擅长意图理解和自主学习，而知识图谱因其结构化的知识存储方式，更擅长逻辑链条推理。
Think-on-Graph通过驱动大模型agent在知识图谱上“思考”，逐步搜索推理出最优答案（在知识图谱的关联实体上一步一步搜索推理）。每一步推理中，大模型都亲自参与，与知识图谱相互取长补短。
MoonBit月兔，这是由Wasm驱动，专为云计算与边缘计算设计的开发者平台。
它不仅提供通用程序语言设计，还整合了编译器、构建系统、集成开发环境（IDE）、部署工具等版块，来提升开发体验与效率。
此前发布的科研神器ReadPaper也更新至2.0，发布会现场演示了阅读copilot、润色copilot等新功能。
发布会最后，沈向洋发布《低空经济发展白皮书——深圳方案》，在其智能融合低空系统（Smart Integrated Lower Airspace System，SILAS）中，提出时空进程（Temporal Spatial Process）新概念。
T-Rex链接：
https://trex-counting.github.io/
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
