发布时间:2023-11-09 13:18:44 浏览量:96次
手机实时生成虚拟分身
明敏 发自 凹非寺
|
最强生成式AI终端芯片,现已易主!
天玑9300一举支持运行最大330亿参数大模型,短短几周时间内刷新业界纪录。
它是业界首款搭载硬件生成式AI引擎,首次实现端侧LoRA融合,让大模型技能可在本地扩展,基于个人照片生成专属表情包。
打开摄像头,即可实时生成一个虚拟数字分身。
同样支持1秒内文生图、20 Tokens/秒生成文本(70亿参数)。
并且拿下“业内第一移动AI性能”,设备AI 跑分达到恐怖的3173(目前业内公开最好成绩为2000+).
没想到,联发科首颗生成式AI移动芯片,性能就如此强悍。
加上首次采用的全大核CPU架构,天玑9300属实是把牙膏踩爆了,峰值性能较上一代提升40%,功耗节省33%。
网友们看了都直呼:发哥,稳了!
搭载天玑9300的旗舰智能机vivo X100系列,马上就会和大家见面。
如果你想尝鲜,确实值得期待一把。
因为这是一张从底层开始、完全为生成式AI而来的旗舰级移动芯片。
透过它,不仅能先人一步体验在端侧玩大模型有多丝滑;更能提前窥见与感受,AI浪潮和移动终端将会碰撞出哪些激烈火花,。
作为一张生成式AI移动芯片,能带来哪些创新体验?
天玑9300先来打个样,带来如下几方面能力:
最基本的,生成式AI芯片要具备端侧支持大模型的能力。
天玑9300支持终端运行10亿、70亿、130亿、最高330亿参数AI大模型。
通过和vivo的深度合作,基于天玑9300率先实现了在vivo旗舰手机上端侧落地70亿参数大语言模型,系行业首家。
同时也突破行业上限,和vivo一起将端侧运行大模型规模提高到130亿参数。
在可以运行的基础上,更进一步,需要做到快速处理。
天玑9300具备快速文字、图片生成能力。
70亿参数模型下可实现每秒20 Tokens输出,支持文本创作、摘要生成等文本任务。
每张图片生成时间控制在1秒以内。
这意味着几乎无需等待,就能马上从手机上获得最新AI生成结果。
这也是为什么天玑9300能拿下业界移动AI性能第一名号,ETHZ AI Benchmark v5.1 Mobile SoC >2000 分。
更创新的体验来自端侧技能扩展,它支持在本地生成多样个性化内容。
这也是移动芯片首次实现端侧LoRA。
基于此,拍下一张照片,在手机本地即可进行各种风格处理,生成个人专属表情包。
要知道,基座大模型的知识与能力相对有限,想要让大模型有更强生产力,往往需要对大模型进行SFT、LoRA等方式微调。今年AI绘画能凭借不同画风、多次掀起热潮,很多程度上正是得益于LoRA方法。
天玑9300的端侧支持,可以让LoRA变得更加便捷,可以推动大模型在手机上实现更多丰富玩法。
除此之外,生成式AI的应用还能导入到视频中,实时生成个人虚拟化分身,进行视频通话。
一些已有的AI应用,也基于生成式AI实现了更多创新。
比如用在提升游戏画质、图像方面的超分算法,使用生成式能力后可以带来更好画质提升;
夜景拍摄可以防眩光产生;
以及生成式AI语意搜索,能不联网智能检索相册图片,在端侧完成计算更好保护隐私。
总之,透过天玑9300的能力可以感受到,联发科认为一张合格的生成式AI移动芯片,应该能把大模型能力尽可能带到端侧。
不只是要装下更大模型,还要让大模型能在端侧拓展能力,以此带来更丰富的应用。
那么,联发科是如何做到?
作为一张为生成式AI而来的移动芯片,天玑9300的能力提升逻辑简单粗暴:
AI性能拉满,底层能力夯实。
具体可以从APU和整体架构两个方面来看。
APU主要负责实现大模型的端侧快速运行。
天玑9300集成MedieTek第七代AI处理器APU 790,整数运算和浮点运算性能均是上一代的2倍,同时功耗降低45%。
为了能让端侧支持更大规模大模型,它带来了特有的内存硬件压缩技术(NeuroPilot Compression)。
要知道,大模型的海量数据在带来极致性能同时,也带来了巨大内存占用。所以这也是为什么大模型进端侧难。
联发科先采用INT4量化,将130亿参数大模型压缩至13GB。
然后基于内存硬件压缩,进一步把13GB内存压缩到只有5GB,内存占用直降61%。
这样一来,内存为16GB的内存即可运行130亿参数大模型,24GB内存手机可运行330亿参数大模型。
但装下大模型还不够,联发科认为还要让大模型具备更丰富能力。
由此提出了生成式AI端侧“技能扩充”技术(NeuroPilot Fusion)。
它直接解决了终端无法装下过多大模型的问题,实现一个大模型为底座,N个技能作为扩展。
这样既解决了大模型的内存瓶颈,还尽可能拓展手机上生成式AI的应用边界。
而为了能让大模型更丝滑地在终端运行,天玑9300在更底层还做了进一步优化。
一方面,天玑9300是业界首款硬件生成式AI引擎。
它深度适配Transformer模型,特别在Softmax+LayerNorm算子上,处理速度较上一代提升8倍。
Softmax+LayerNorm算子正是当下大语言模型(Transformer网络)的核心部分。
另一方面,天玑9300开创性采用了全大核CPU架构,从底层大幅提升芯片算力。
它包含4 个 Cortex-X4超大核,最高频率可达 3.25GHz,以及4个主频为2.0GHz的Cortex-A720大核,其峰值性能相较上一代提升40%,功耗节省33%。
其单个E大核的能效比完全超越传统架构B核和L核。
全大核架构全面使用乱序执行(out-of-order)内核。
和传统小核必须顺序执行的逻辑不同,大核运算允许只要任务进来且可以处理,它就会开始执行。
这样能大幅减少任务的总消耗时间,提升应用执行效率、减少卡顿。同时也能降低功耗,对比如下两图,大核运算“做得快、休息快”,运行曲线的积分更小,即功耗更低。
这些能力都能为芯片执行生成式AI任务,提供扎实的基础计算底座。
最后,生成式AI在端侧运行,还有很多细节需要考量。
比如在交互方面,目前大模型更多以智能助手形象出现,语音是重要的交互方式之一,所以天玑9300专门提升了音频降噪能力,支持对3个麦克风动态录音降噪,可以有效过滤风噪等环境音,不仅能让视频拍摄、录音效果更好,也能辅助提升大模型语音识别的正确率。
另外在用户格外关注的数据安全方面,天玑9300集成双安全芯片,从开机源头保护个人隐私,同时具有物理隔离计算环境,进一步保障个人数据加密、解密的安全。以及内存标记扩展(MTE)技术,可以打造更安全的开发环境。
如上诸多方面的优化、革新与考量,都让天玑9300成为一块名副其实为生成式AI而来的移动芯片。
而除了对自身硬件性能提升,联发科还进一步打通大模型生态。
支持Meta LLaMA 2、百度文心一言大模型、百川大模型等前沿主流AI大模型,以及多模态大模型。
应用方面和抖音、快手、虎牙、爱奇艺、美图秀秀等展开合作,提供相关SDK和model hub。
开发者生态方面,天玑开发者中心将提供端侧生成式AI落地的一站式资源,提供端侧部署案例分享。目前已有20+生成式AI合作伙伴。
一言以蔽之,联发科要用天玑9300这块旗舰芯,正式叩开生成式AI大门。
由此带来的影响,将从联发科由内至外,给全行业带来新气息,更进一步影响到每一位智能手机用户。
在近几年里,手机行业始终在思考一个大命题,下一代旗舰机该怎么做?
这个命题需要芯片、手机、应用等厂商共同思考,如折叠屏、旗舰影像等都是摸索出来的方向。
而生成式AI浪潮的到来,让这个大命题回归本源,即下一代智能手机,就是要更智能、更强大。
大模型是实现这一切的根本。
所以过去一段时间里,手机厂商们纷纷开始推出端侧大模型、发布接入大模型的OS系统,掀起大模型浪潮的OpenAI被曝要做新一代智能手机。
但落地到实际,怎么让手机用户能更好用上大模型。这个核心问题,还是要抛给芯片厂商。
因为大模型落地,必须要解决计算瓶颈、功耗瓶颈,而且只依靠云端运行不能长久,也不能从根本上打开大模型的手机场景。
从当下来看,联发科等头部手机芯片厂商已经迈出了关键性的第一步——将大模型实现端侧运行。
那么接下来该怎么走?如何思考生成式AI芯片的未来?以及大模型在手机端的应用?
现在似乎很难有非常明确的答案。
毕竟业内都非常清楚,大模型浪潮如今才只是最早期阶段,无论是技术层面还是应用落地,都仍需长期探索。
但联发科用天玑9300给出了一个关键参考:
面向生成式AI的移动芯片,要从底层为大模型做准备,“天生”更适合大模型,同时硬件层面要做到能力溢出。
为什么?
用联发科的话来说,就是“生成式AI旗舰芯片未来一定会有更多应用模式产生、完成更复杂的任务。”
作为一个硬件级的底座,要足够强大,上层系统、应用才能有更多创新空间,更多生成式AI端侧应用才能诞生。
在强大的同时,还要动作够快。
天玑9300不仅和vivo一同实现业内首个70亿大模型端侧落地,还实现了130亿参数大模型端侧运行。
搭载天玑9300的vivo X100系列也将马上上市。届时就能真正上手实测大模型跑在端侧是什么感觉了。
对于大模型上手机,你有哪些期待?对于今年生成式AI给手机行业带来的新气息,你又有哪些感受?
欢迎评论区留言讨论~
热门资讯
想将照片变成漫画效果?这篇文章分享了4个方法,包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图,简单操作就能实现,快来尝试一下吧!
2. AI视频制作神器Viggle:让静态人物动起来,创意无限!
Viggle AI是一款免费制作视频的AI工具,能让静态人物图片动起来,快来了解Viggle AI的功能和优势吧!
3. 华为手机神奇“AI修图”功能,一键消除衣服!原图变身大V领深V!
最近华为手机Pura70推出的“AI修图”功能引发热议,通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗?点击查看!
4. AI显卡绘画排行榜:4090无悬念,最具性价比出人意料
在AI绘图领域,Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现,以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
7. 零基础10分钟生成漫画,教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
8. 10个建筑AI工具,从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
1. 打开微信扫一扫,扫描左侧二维码
2. 添加老师微信,马上领取免费课程资源
同学您好!