火星网校
别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻
发布时间：2023-11-09 14:57:09 浏览量：102次
来自人民大学等最新研究
明敏 发自 凹非寺
|
“别让大模型被基准评估给坑了”。
这是一项最新研究的题目，来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校。
研究发现，基准测试中相关数据意外被用于模型训练的现象，变得越来越常见了。
因为预训练语料中包含很多公开文本资料，而评估基准也建立在这些信息之上，本来这种情况就在所难免。
现在随着大模型试图搜集更多公开数据，问题正在加重。
要知道，这种数据重叠带来的危害非常大。
不仅会导致模型部分测试分数虚高，还会使模型泛化能力下降、不相关任务表现骤降。甚至可能让大模型在实际应用中产生“危害”。
所以这项研究正式发出警告，并通过多项模拟测试验证了可能诱发的实际危害，具体来看。
大模型“被漏题”很危险
研究主要通过模拟极端泄露数据的情况，来测试观察大模型会产生的影响。
极端泄露数据的方式有四种：
- 使用MMLU的训练集
- 使用MMLU以外所有测试基准的训练集
- 使用所有训练集+测试prompt
- 使用所有训练集、测试集和测试prompt（这是最极端情况，仅为实验模拟，正常情况下不会发生）
然后研究人员给4个大模型进行“投毒”，然后再观察它们在不同benchmark中的表现，主要评估了在问答、推理、阅读理解等任务中的表现。
使用的模型分别是：
- GPT-Neo（1.3B）
- phi-1.5（1.3B）
- OpenLLaMA（3B）
- LLaMA-2（7B）
同时使用LLaMA（13B/30B/65B）作为对照组。
结果发现，当大模型的预训练数据中包含了某一个评测基准的数据，它会在这一评测基准中表现更好，但在其他不相关任务中的表现会下降。
比如使用MMLU数据集训练后，多个大模型在MMLU测试中分数提高的同时，在常识基准HSwag、数学基准GSM8K中分数下降。
这表明大模型的泛化能力受到影响。
另一方面，还可能造成不相关测试分数虚高。
如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据，但是大模型被“投毒”后，在C3（中文基准测试）中的分数却都变高了。
这种升高是不合理的。
这种训练数据泄露的情况，甚至会导致模型测试分数，异常超越更大模型的表现。
比如phi-1.5（1.3B）在RACE-M和RACE-H上的表现优于LLaMA65B，后者是前者规模的50倍。
但这种分数升高没有意义，只是作弊罢了。
更严重的是，哪怕是没有被泄露数据的任务，也会受到影响，表现下降。
下表中可以看到，在代码任务HEval中，两个大模型都出现了分数大幅下降的情况。
同时被泄露数据后，大模型的微调提升远不如未被泄露情况。
对于发生数据重叠/泄露的情况，本项研究分析了各种可能。
比如大模型预训练语料和基准测试数据都会选用公开文本（网页、论文等），所以发生重叠在所难免。
而且当前大模型评估都是在本地进行，或者是通过API调用来获得结果。这种方式无法严格检查一些不正常的数值提升。
以及当下大模型的预训练语料都被各方视为核心机密，外界无法评估。
所以导致了大模型被意外“投毒”的情况发生。
那该如何规避这一问题呢？研究团队也出了一些建议。
如何规避？
研究团队给出了三点建议：
第一，实际情况中很难完全避免数据重叠，所以大模型应该采用多个基准测试进行更全面的评估。
第二，对于大模型开发者，应该要对数据进行脱敏，公开训练语料的详细构成。
第三，对于基准测试维护人员，应该提供基准测试数据来源，分析数据被污染的风险，使用更多样化的提示进行多次评估。
不过团队也表示本次研究中还存在一定局限。比如没有对不同程度数据泄露进行系统性测试，以及没能在预训练中直接引入数据泄露进行模拟等。
本次研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学香槟分校的多位学者共同带来。
在研究团队中我们发现了两位数据挖掘领域大佬：文继荣和韩家炜。
文继荣教授现任中国人民大学高瓴人工智能学院院长、中国人民大学信息学院院长。主要研究方向为信息检索、数据挖掘、机器学习、大规模神经网络模型的训练与应用。
韩家炜教授领衔是数据挖掘领域专家，现为伊利诺伊大学香槟分校计算机系教授，美国计算机协会院士和IEEE院士。
论文地址：
https://arxiv.org/abs/2311.01964
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
