发布时间:2023-11-29 15:08:30 浏览量:106次
一探百度如何打造大模型时代的开发者平台
转载自 51CTO技术栈,作者:云昭,嘉宾:张瑞星
大模型时代的开发者平台,不仅要提供 AI 原生能力,还要具备生态打造和商业化闭环能力。
提及“灵境”,人们在脑海中往往会呈现出自己旅行过的风景名胜。然而,当身处在通用大模型“智力涌现”的语境下,对准备在这里探索AI世界的开发者而言,能够提供机遇的“灵境”平台,又会是什么样?
这个问题不好回答,毕竟运营一个开发者平台,涉及产品打磨、规则建立、持续运营等多个维度。而一个新时代的开启,势必有着更多不可预测的变量。
但在此时,我们同样也看到有些先行者正试图给出自己的答卷。比如,在国内率先推出“文心一言”的百度,在今年9月也快速上线了自己的“灵境矩阵”开发者平台(以下简称“灵境”)。
我们了解到,灵境矩阵自9月份发布公测上线以来,整体收到的申请是2.7万左右。其中个人开发者的比例一直呈现上涨的趋势,现在在30%左右。
而且灵境矩阵的不同之处还在于,它不仅是一个重在提供开发能力的平台,也为开发者设计了一套流量变现通路,希望让开发者能切切实实地通过平台获得收益。
这是一套颇为前沿的探索机制,让人好奇,灵境矩阵的推出和设计,都经历了怎样的思忖和探索?
11月15日下午,在第二届“百度搜索创新大赛”期间,我们怀揣着种种有关“灵境”的问题来到百度科技园中,与百度灵境矩阵平台负责人张瑞星进行了2个小时的访问。
“是做一个低成本能开发AI应用的平台去赋能开发者,还是去帮开发者直接接入大模型,通过大模型再赋能到各家企业中?到底选哪个方向?我们经历了较长时间的思考。”面对灵境究竟为何诞生的疑问,张瑞星坦诚回应。
今年年初,在全新的大模型战场上,大多数人都选择做应用,典型如国内的妙鸭相机、国外的Midjourney等。但百度在全线重构自有产品之外,也在思考如何帮助开发者降低成本。
这是一个非常重要的研判。大模型是一个强大的大脑,但是它需要更多手和脚。所以,在今年年初大家的眼光都集中在大模型时,百度已经开始思考如何对大模型进行更多的能力支持。
开发者平台成为了一个选择。如果做类似Midjourney这样的应用,成就的是个体。而做开发者平台,成就的是大模型和生态。如果有愈发多的开发者来到这里,开发出更多的能力,那么大模型也会因此获益。百度的文心大模型,也会进一步赢得新时代的AI战役。
这个判断,也是和众多使用大模型的客户“聊”出来的。
“我们当时也和很多开发者、企业沟通,发现他们在使用大模型的过程中还是有一些具体场景下的痛点,需要插件这类产品去帮助解决。”张瑞星说。
所以,灵境的定位,就是要助力文心大模型这个大脑有更多的手和脚,让文心的服务能力更强。
大模型这个行业,迭代非常快速,市面上一时产生了很多概念:如Bot、插件、Agent等等。但是,纠结这些概念,在日新月异的大模型时代意义不大。
“我们需要有一种机制,能让开发者以足够低成本的方式,接入到大模型的底座上来。这种机制,到底是叫插件,还是叫Agent,还是叫某种API,或是叫其他什么,都只是概念的一种。随着技术的演进,市场的发展,它们最终会逐步规范化、统一化到一类范式上。”张瑞星认为。
但另一个问题是,既然现在看来,Agent更像是未来的范式,插件是不是不重要了?跟Agent的关系又是怎样的呢?
在张瑞星的眼中,Agent可能是未来主流的接入方式,其本身要涉及到几大能力。“Agent首先是对于描述需求的自然语言有理解。第二就是基于理解,对用户的动作和任务,做出有效的规划。同时,针对用户交互的信息,它要长期记忆。”张瑞星进一步解释,在这个过程中,要想满足用户需求,其实Agent需要调用各种各样的tools工具。
所以,插件可能就是Agent的基础,是Agent所需调用的大量工具的基础。
比如一款旅游行程规划的Agent,可以让用户快速地制定一个基于个人习惯的私人助理,从而制定旅游行程规划。
但是,这个Agent本身需要调用大量的工具。也就是当它需要查询天气类,调用飞机或火车的时刻表、班次信息,以及是否喜欢靠窗等一些个人偏好,同时还需要去查询目的地城市的好玩景点,是否带娃出行等个性化属性的时候,Agent就会调用很多插件工具,组合型地满足用户的个人需求。
从这个角度上看,各种各样的插件,是支撑起Agent的基座。
“现在插件做的事情就是大量的tools。比如旅游智能行程规划Agent,可能你和它交互完之后,它直接能帮你订票。为了完成这个动作,它需要调一个订票的tools,也就是插件现在在做的事情。插件未来会成为Agent的一个重要支撑。”张瑞星说。
他还打了一个有趣的比喻来形容未来大模型、Agent和插件的关系:“Agent或许是一个小脑,大模型是个大脑,未来可能各家的大小脑容量都差不多。但如果我手上有10样工具,你手上只有一样工具,那我满足客户需求的能力肯定更强。”
虽然目前不少大模型公司都在推出开发者平台,但要做大模型时代的开发者平台,不仅需要技术支持,还需要了解用户需求,也要具备生态打造和商业化闭环能力。
而灵境的诞生,始于百度对于大模型格局的前瞻研判,也离不开过去整个技术、产品、生态、商业化体系的积累。
灵境矩阵平台的真正立项时间是7月。从立项到上线测试,再到9月对外发布,灵境只有2个月左右的时间。
张瑞星回忆起当时团队的紧张节奏,简直是分秒必争:“不到30天,8月中下旬内测(邀测)版本已经发布,在9月初,我们在联盟峰会上正式发布了公测版本。”
而光速上线“灵境”开发者平台,除了团队的全力以赴,也与百度过去的长期积累有着莫大的关系。这也是国内不少做大模型的企业所不具备的。
首先,百度原本就积累了很强的开发者生态——不管是原来的站长,还是后来的小程序,这百万站长和三四十万的小型开发者,是百度的天然优势。
市面上不少公司都想做开发者生态,但是原本在这个层面上没有积累。如果在本身没有开发者或者B端生态的情况下硬造一个平台,除非企业有着很强的布局能力,否则即便做成平台,收益也会很低。
再者,对比有开发生态的大模型玩家,百度同样拥有着丰富的“流量场景”。
这也让灵境在市面上的定位更具差异化——它不止是一个纯开发平台,而是一个覆盖“开发+运营+商业化”的一体化赋能平台。
对比之下,国内外许多插件开发者都面临着“既没有生态,有没有流量场景”的困境。比如在OpenAI的生态中,有一个金融领域的插件开发者表示插件做完了,在ChatGPT上却很少有人去问金融问题,会导致他的插件调用很少,收益也很小。而没有流量分发的开发者平台,很可能是无效的。
张瑞星解释:“为什么我们在定位上没有只写‘开发’两个字?因为灵境包含了开发、运营以及商业化的部分,只不过初期,开发肯定是最重要的。”
他向我们透露,百度此前已经部分打通了分发场景,并预计在第四季度彻底打通百度搜索和文心一言这两大分发场景,“像地图、文库等百度的其他主要分发场景,灵境都在接入。所以,很快就能看到开发者不只可以在灵境上开发,还会有比较适配场景的流量涌入。预计在今年Q4或者明年Q1,灵境会布局商业化的能力,允许一些插件开发者在对应的场景上进行流量变现。”
那么,假如对手也有着这两方面的优势,灵境的支撑又是什么?
答案是大模型自身的能力。而在国内,百度对于大模型的投入是非常长期且巨大的,效果层面也直追国际水平。
功能的完善程度和易用性,往往在初期就能决定一个产品的成败。
那么,在最初搭建的开发模式层面,灵境相较ChatGPT插件又有哪些不同?通过张瑞星的讲述,我们感受到,魔鬼往往藏在细节之中。
第一,灵境采用了最新的可视化开发编排模式,通过拖拽的方式,可以在一定程度上淘汰Langchain这种中间平台,降低大模型应用的开发成本。据了解,百度灵境矩阵其实在7、8月份的时候就采用这种比较领先的方式,甚至比OpenAI要早。
第二,在接入层面上,灵境支持了多种方式。像ChatGPT,本身更多支持API的接入,但灵境支持的数据接入类型更多,比如本地上传,数据库、API等,能力型的接入都覆盖。此外,应用类的接入也是灵境的一大特点。一些能力较强的开发者,如携程,愿意来灵境做一个类似于智能应用,未来这个智能应用也可以接入到大模型里。“这三种模式我们都支持接入,所以从接入的方式上比Plugin更丰富。”张瑞星表示。
第三,灵境在顶层设计上,把插件的分发设计成了一体多端的模式。并且,这一模式Q4就能完整落地。
“所谓一体多端,就是基于百度的流量场景的特性,设计兼容移动端的各类APP和PC浏览器在内网页搜索的模式。”张瑞星说,有了一体多端的分发能力的设计,未来灵境上的插件就能原生地植入到原本的App中,甚至包括自己的小程序里,这是一个良好的基础,也是ChatGPT-Plugin不能达到的。
具备众多差异化特点,目前灵境所覆盖的领域也比较齐全,除却法律、情感、办公创作、商品评测等,还有很多插件都在开发和上线中。现在灵境中使用较多的是办公创作类插件,因为这仍是眼下大模型应用的最主要场景。
我们还注意到,之前法律Bot、旅游Bot两款灵境的应用很早就得到了开发者的好评。
从这两类Bot的打造方式中,我们也可以看出灵境矩阵的运作细节。
首先,针对这两个行业,百度成立了专项小组。
比如法律Bot。百度的法律部门在百忙中提供了很多专业的律师来为Bot校正,逐字评估回答的准确性。“看似我们在产品上投入不大,但整个团队加起来,每个小方向的投入基本都在几十人左右,这里面包括了策略、评估的团队、包括了相关专业的团队。”张瑞星介绍。
而旅游Bot则不止是灵境团队的付出,更是携程团队和百度大力协同的结果,“相当于我们有一个很紧密的兄弟团队也做了大量投入,和我们联动做这件事情。”张瑞星补充。
此外,领域对齐也是一个大模型火热话题。
张瑞星分享了在做法律Bot训练过程中的经验,“在大模型训预处理、预训练的过程中要经过反复的策略调整。比如同样一个问题,你回答成这样或者回答成那样,哪个到底是对的、哪个是好的,它需要有一个正反馈。在这个过程中,灵境有大量的评估团队、样本生成的团队,去辅助大模型的训练。”
这里有两个点,首先是整个团队从不懂到懂的过程中,其实需要和内外部专业人士频繁沟通。“所有市面上能聊的我们都聊了,而且律师团队还会给产品团队做培训。团队还引入了专业人士,数据标注这一环都招的是有法律背景的人。”他告诉我们。
再一个,和专业机构的合作也能让产品效果得到飞跃式提升。我们了解到,灵境平台上法律方向的内容,也得到了中国司法大数据研究院的支持。
“当你进入到深水区的时候,进入到这个垂直领域的时候,你的策略和模型的效果,对整个‘法言法语’的理解,就会上一个很大的台阶。”张瑞星如此总结深扎垂直领域的感受。
“人人可AI”是灵境秉持的理念。这是一个长期的目标,需要持续耕耘才能实现。
我们了解到,未来一年内,灵境将会持续发力三个重点方向。
首先,灵境平台会持续地降本,这是灵境的内核,也是行业的趋势。AI时代的开发者,不会仅是传统意义上只具备专业研发能力的从业者,还有越来越多的普通人,也对此跃跃欲试。而要让这件事真正落地,降低开发者的成本,会是重中之重。
Agent开发范式的出现,给了这件事转机。
在Agent的开发模式下,通过代码、开发API、Prompt的方式创建功能,会带来极大的成本降低空间。
“成本降低到什么程度?有可能未来整个灵境平台就是一个Agent,使用者进来只需要敲字:‘我想创建一个什么东西’,或者‘我想再外挂一个数据库’,只需要通过自然语言交互的方式就完成了,这是我们的一个明确路径。”张瑞星表示。
而这同样是一个新的飞轮。这个模式,会让开发门槛降下来,笼络更多的开发者,同时让有开发实力的人开发出更好的东西。
张瑞星也详述了灵境持续降本的一些计划。
最直接的方式是把开发者的开发过程压缩,让大模型直接帮开发者把过程转化成Prompt,做好对应的Agent。
此外,灵境还会提供开发者不少资源。“灵境去赋能大家更多的算力、赋能更多的免费Token。此外,灵境还会有一些经济上的赋能或者支持。比如,在服务器层面、软硬件条件层面,如云的服务器等,我们对很多个人开发者或者企业开发者都可以免费开通。”张瑞星补充。
第二个重点攻坚方向涉及商业闭环。也就是说,灵境接下来还要赋能开发者足够的经营能力。“这条线我们认为依然是百度差异化的核心优势。我们真正能给开发者带来收益,而不是讲空话。”张瑞星强调,“开发者做出了好的东西,灵境还希望帮他推出去。”
在这其中,灵境一方面会帮助开发者真正能获取流量和用户,同时也会提供各种各样的商业化赋能。另一方面,对于缺乏C端诉求的开发者,灵境也会打造出“D2C”、“D2D”的模式,“其他开发者可以把你开发的东西买走或者直接调用。”张瑞星表示甚至还可能会推出“D2P”的商业模式,即开发者可以为平台有偿做一些精品化的东西。
当然,为了保证用户体验,灵境对于插件的上线审核有着严格的要求。某个插件上线,就意味着要通过文心一言、百度搜索等产品,和用户发生交互。在这种状况下,灵境对于它的准确率、触发准确率和回答的质量,都要求较高。为此,灵境团队有着严格的上线评测标准,以免给用户造成不好的使用体验。”
当然,灵境的持续打磨之路,同样有着各种各样的挑战。最直接地,是模型和Query,再和最后执行动作的调优。
对Agent的开发范式来说,原来的网页分发那套逻辑不再适用了——任何一个网页、任何一个网站未来都可能会被定义为一个小的Agent,未来的搜索会变成调用各种各样Agent的模式。
比如网站Agent、App Agent、数据Agent,都是不同类型的Agent。那么,如何将这个过程智能化、自动化,达成精准识别调用Agent并分发的效果,不仅要优化产品,还要在这个过程中形成B、C一体的策略飞轮、数据飞轮。
这需要让大模型有很强的判断能力和识别能力,以及与Agent之间的交互能力,才有可能做到。这同样是灵境后续的一个核心方向:打造一个搜索的AGI+一个通用的Agent。
这显然不是一件易事,但对灵境矩阵来说,更大的愿景还在路上。
在百度的设想里,灵境未来也会构建一个类似于GPTs这样的store,“但和移动时代的App Store不同,灵境能构建真正适合开发者的构建范式,从而创作出类似领域下的新东西。”在张瑞星看来,构建这样一个平台,是让创作者激发更多想象力,让整个Agent生态更加繁荣的必经路途。
热门资讯
想将照片变成漫画效果?这篇文章分享了4个方法,包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图,简单操作就能实现,快来尝试一下吧!
2. AI视频制作神器Viggle:让静态人物动起来,创意无限!
Viggle AI是一款免费制作视频的AI工具,能让静态人物图片动起来,快来了解Viggle AI的功能和优势吧!
3. 华为手机神奇“AI修图”功能,一键消除衣服!原图变身大V领深V!
最近华为手机Pura70推出的“AI修图”功能引发热议,通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗?点击查看!
4. AI显卡绘画排行榜:4090无悬念,最具性价比出人意料
在AI绘图领域,Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现,以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
7. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
8. 10个建筑AI工具,从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
1. 打开微信扫一扫,扫描左侧二维码
2. 添加老师微信,马上领取免费课程资源
同学您好!