发布时间:2023-11-28 14:55:03 浏览量:103次
使用多种优化方式
克雷西 发自 凹非寺
|
来自“欧洲OpenAI”的“最强7B开源模型”Mistral最近可谓是圈粉无数。
它各方面的测试指标全面超越了13B的Llama2,甚至让一众网友觉得羊驼不香了。
最新消息是,Mistral AI团队已经发布了相关论文,透露背后的技术细节。
Mistral不仅全面战胜了13B Llama2,在数学、代码和推理方面,34B的Llama1也不是Mistral的对手。
在推理任务上,Mistral的表现更是直逼10倍参数量的Llama2-70B。
但Mistral消耗的资源却很少,只需要6GB显存,MacBook就能流畅运行。
为了用更少消耗达到更好的效果,Mistral可谓是使出了浑身解数。
那么关于Mistral的这篇论文都透露了哪些技术信息呢?
基础结构上,Mistral基于Transformer架构设计,一共有32个n_layer,上下文长度达到了8192 token。
具体的参数如下表所示:
而Mistral能做到高性能低消耗,则要归功于所用到的多种优化策略。
首先是最核心的注意力机制,其直接作用是减少计算量,具体包括了两个方面。
第一种是滑动窗口(Sliding Window)注意力机制。
推理阶段中,会设定出一个窗口长度,并在划分出的注意力层范围之内进行注意力运算,而不是针对全文。
通过滑动方式,各注意力层之间会有所重叠,从而实现长文本序列的处理。
4096的长度,理论上可以处理13.1万token。
这种注意力机制和标准注意力相比,可以将速度提升到两倍。
另一种则是分组查询(Grouped-query)注意力机制。
这种机制将查询(query)拆分成多个组,每个组只与key的一个子集进行注意力运算,然后拼接出结果。
这样不仅能降低运算量,也能让组间通信次数减少,并提高查询吞吐。
除了在注意力机制上下功夫,开发者还引入了滚动缓冲区缓存(Rolling Buffer Cache)。
这种存储方式固定了缓冲区的大小,从而限定了内存消耗的最大值。
如果把缓冲区比作一座仓库,每存进一个新东西,都会占据相应的位置。
而仓库的总容量是固定的,当仓库被装满时,就会把最先放入的东西移除,让新的物品继续进仓。
但入仓时间更接近的物品则会留在仓库中,就能在节约资源的同时保留一定长度的序列。
利用这种缓存机制,只要缓冲区大小设置得合理,就能实现预算效率与记忆力的平衡。
此外还有一种预填充和分块机制,它的直接作用是减少重复运算。
假如需要处理一个很长的句子,那么这个句子将被分割成小块。
训练完前面的小块之后,再加入后面的块,以此类推……
这样存储空间中就有了前面的块信息,用来建立长序列。
这种方式避免了从头开始的重复运算,从而使效率得到了提升。
以上就是开发者在Mistral中使用的优化策略,而为了评估模型的泛化能力,开发者使用了HF上的公开数据集进行了指导性微调。
结果Mistral的表现全面超过了13B参数的Llama 2,其中推理技能更是与70B版本十分接近。
Mistral的火爆程度,直接让第三方工作室也推出了微调教程。
据介绍,用这种方法微调之后,可以进一步提升Mistral的性能并降低消耗。
而这个微调的过程,用一块3090就能完成。
首先是根据使用目的准备数据集,转化为prompt形式并划分出训练和验证集。
然后是对模型进行初始化,加载Mistral并设置4-bit量化和Lora等参数。
接着是构建Trainer,输入数据、模型等信息正式开始训练,然后测试并保存。
具体的细节可以到教程原文中去了解。
论文地址:
https://arxiv.org/abs/2310.06825
微调教程:
https://wandb.ai/byyoung3/ml-news/reports/Fine-Tuning-Mistral7B-on-Python-Code-With-A-Single-GPU—Vmlldzo1NTg0NzY5
热门资讯
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
2. 10个建筑AI工具,从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
Upscayl,正是一款开源的基于AI技术的无损图片放大工具,带来了翻天覆地的变革! 一、Upscayl介绍 Upscayl,一款免费开源软件,依托AI神经网络和深度学习...
作品中脱颖而出并非易事。那么,是否存在办法提升我们的文字创作魅力呢?答案是AI润色!第一点:了解ai润色的原理AI润色是一门利用人工智能技术为文本润...
一、AI绘画的商用现状触站AI触站AI是原创画师平台触站旗下的AI绘画系统。该系统通过采用深度学习和图像处理技术,可以根据用户的输入绘制出一幅完整的...
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
7. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
8. 轻松打造虚拟数字人:几款强大的AI数字人制作软件推荐!
在当今数字化时代,虚拟偶像和数字人已经成为一种备受关注和喜爱的创作形式。这些虚拟形象能够以逼真的方式展现人物外貌、表情和声音,并在各种领域中...
9. 免费AI生成神器Krea:实时创造Logo、图片、视频
图像生成。介绍一个现在还能够免费注册的人工智能生成工具,它就是Krea。这... 一边编辑一边生成图片,它能够加强和升级。Apps能够简单地生成APP的画布,...
10个高质量AI绘画网站+6个宝藏AI工具导航网站个个都很厉害,你想要的资源全都有!很多人找AI网站还在问度娘,但大部分内容都是自己不满意的。今天贴仔就...
最新文章
1. 打开微信扫一扫,扫描左侧二维码
2. 添加老师微信,马上领取免费课程资源
同学您好!