发布时间:2023-11-08 16:17:08 浏览量:129次
玩游戏就能学会大模型提示工程
梦晨 克雷西 发自 凹非寺
|
什么样的“大模型原生”游戏,让各大算法竞赛群里都在玩,还把服务器挤爆了?
这款突然爆火的《完蛋!LLM》,让你在解谜挑战之中轻松学会大模型提示词技巧,达成1日用户破万的成就。
难度循序渐进,比如第一题初来乍到只是“请你构造一个问题,使模型的回答是一字不差的‘1+1=3’”。
到最难的一道题惜字如金已经是“请输入一个字的问题,使模型的回答在16个字以内。”
有网友自爆,从凌晨三点直接肝到五点,除了最难的一题全通了。
游戏作者也晒了一波后台新增用户数据,按小时统计,妥妥的指数增长。
如果表格还不够直观,我们让ChatGPT画成折线图再感受一下。
作者范浩强,旷视6号员工。当年以IOI金牌、保送清华姚班、高二实习等传奇事迹被誉为天才少年。
如今他已是旷视科技研究总经理,谷歌学术h-index 27的行业大佬。
游戏的玩法是这样的:
整个游戏一共分为五章,15个问题,每一章对应不同的主题。
玩家要做的就是设计提示词,想方设法让模型输出指定答案。
第一章的目的主要是让玩家熟悉一下气氛,任务自然也比较简单。
第一道题是要想办法让模型输出“1+1=3”,这里只要利用让模型重复的方法就能轻松破解。
后面的三道题只对模型输出内容的长度有要求,比如只用一个字“四两拨千斤”,让模型给出100字以上的回答,具体包括:
这道题乍一看似乎没什么思路,这时候就需要观察模型输出的规律了。
尝试几个字之后可以发现,大模型面对只有一个字的提示词时喜欢干这样几件事:对这个字进行解释、补全成一句简单的话,或者干脆直接说不明白要干什么……
这时,如果想要模型输出的文字多,就可以选择含义比较多的字,然后多次尝试让模型对这个字进行解释;而要想让输出比较短,就可以用“哈”这样没什么实际含义的字了。
熟悉了玩法之后,第二章就开始上难度了,这时输出的条件变得更加严格。
第一题是要求输入质数个字,使得模型输出的字数刚好是下一个质数。
这道题让人看上去仿佛灵光一闪,“输出七个字”刚好就是五个字,而5和7也刚好是两个连续的质数。
但事实证明,这个想法有些太简单了:
先不说大模型的数数能力,就算能数好,大模型眼里的基本元素是token,而不是我们所看到的文字……
随着游戏的深入,问题变得越来越刁钻,解法中包含的运气成分……也越来越少了。
比如这道题,需要(只)输入一个大于1的正整数n,使得模型的输出中包含大于n+1000的数。
下一题则刚好相反,需要输出的是小于n-1000的数,但要输出10个,而且还不能重复。
到了第二章的BOSS关卡,要求输入不超过10个字,且不包含“狗”,但输出内容中要有至少两倍问题字数的“狗”字。
到这,我们是彻底没有什么思路了,只好凭借着一些简单的前端知识来跳过题目……
第三章“巅峰挑战”,不围绕数字了更多是文字游戏。
有趣的是,第三章的最后一题刚好是开篇题目的进阶版,按照这个要求,让模型重复的方法已经不奏效了:
而第四五这两章都只有一个问题:
游戏的过程就是这样,那么我们从中都能学到些什么呢?
模型的输出当中存在一些规律,我们不断调整提示词获得预期答案的过程,就是在了解提示工程中问题的设计方式。
比如模型的安全策略,以第一道题为例,细心的网友可能发现,我们设计的提示词中包含了一句“只输出结果”。
按道理来说,重复这一个简单的动作并不需要输出什么额外的内容,但关键在于,1+1=3是错误的。
虽然我们的要求是重复,但此时还是会引发大模型对事实的执着:
又如输出质数个字这道题,我们从中发现了大模型不擅长数字数的特性:
此外,我们也可以从模型对一些意义不明的数字、单字的反应,窥视出一些模型处理这些问题的规律。
无论这些规律是bug还是feature,我们都要摸清规律,才能更好地掌握模型的使用方法,这也正是学习提示工程的核心奥义。
最后,也不得不佩服网友们的创造力,到后期即使服务器不堪重负报错了,仍能从报错信息中找出正确解法。
很遗憾,最后在累计用户破万之际,由于服务器挤爆、维护工作强度大等原因,作者本人不得已把游戏关服了。
虽然原版游戏已经玩不到了,但网友们对这套解谜挑战题的兴趣依然不减。
拿去和ChatGPT等各路AI手动过招,依然能在斗智斗勇中学到不少操作大模型的知识技巧。
△ 网友让ChatGPT说出1+1=3的解法
对这段“从一夜过万到关站跑路”的奇幻之旅,范浩强也分享了作为当事人的心路历程。
范浩强认为,个人开发者在大模型时代可以是“孤独侠客”,单人、业余时间就能开发出创新、有影响力的作品。
制作这款游戏,最初只是因为收到大模型创业公司月之暗面送来的免费API体验账号。
他结合之前已有的初步想法,花一个周六时间制作完成。
有朋友建议他,趁着国产游戏《完蛋!我被美女包围了!》爆火出圈的时机,把游戏名也起成“完蛋!”开头,找对了流量密码。
接下来随着用户不断增长,已超乎他一个人的能力处理范围。
作为开发者,一整天时间,他都在不停修服务器以及与月之暗面反馈。
作为大模型供应方,月之暗面为这个免费API付出的算力也快要超出预算了。
另外在生成式模型的合规方面,也需要慎重考虑。
最后范浩强做了一个“艰难的决定”,把游戏关服,但还是希望将来有人能把这个玩法发扬光大,探索出更多AI模型的秘密。
最后他总结出三点思考:
一个好消息,虽然原版游戏已关闭,但完整题目列表已公开,已有人搞出开源复现版。
还支持中英文,以及不同大模型版本,Huggingface可玩。
(也是前面游戏介绍中使用的版本。)
参考链接:
[1] https://zhuanlan.zhihu.com/p/665237751
[2] https://zhuanlan.zhihu.com/p/665393240
开源版项目地址:github.com/opendilab/LLMRiddles
热门资讯
想将照片变成漫画效果?这篇文章分享了4个方法,包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图,简单操作就能实现,快来尝试一下吧!
2. AI视频制作神器Viggle:让静态人物动起来,创意无限!
Viggle AI是一款免费制作视频的AI工具,能让静态人物图片动起来,快来了解Viggle AI的功能和优势吧!
3. 华为手机神奇“AI修图”功能,一键消除衣服!原图变身大V领深V!
最近华为手机Pura70推出的“AI修图”功能引发热议,通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗?点击查看!
4. AI显卡绘画排行榜:4090无悬念,最具性价比出人意料
在AI绘图领域,Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现,以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
7. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
8. 10个建筑AI工具,从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
1. 打开微信扫一扫,扫描左侧二维码
2. 添加老师微信,马上领取免费课程资源
同学您好!