天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

发布时间:2023-11-09 13:18:44 浏览量:96次

手机实时生成虚拟分身

明敏 发自 凹非寺

|  

最强生成式AI终端芯片,现已易主!

天玑9300一举支持运行最大330亿参数大模型,短短几周时间内刷新业界纪录。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

它是业界首款搭载硬件生成式AI引擎,首次实现端侧LoRA融合,让大模型技能可在本地扩展,基于个人照片生成专属表情包。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

打开摄像头,即可实时生成一个虚拟数字分身

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

同样支持1秒内文生图20 Tokens/秒生成文本(70亿参数)。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

并且拿下“业内第一移动AI性能”,设备AI 跑分达到恐怖的3173(目前业内公开最好成绩为2000+).

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

没想到,联发科首颗生成式AI移动芯片,性能就如此强悍。

加上首次采用的全大核CPU架构,天玑9300属实是把牙膏踩爆了,峰值性能较上一代提升40%,功耗节省33%。

网友们看了都直呼:发哥,稳了!

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

搭载天玑9300的旗舰智能机vivo X100系列,马上就会和大家见面

如果你想尝鲜,确实值得期待一把。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

因为这是一张从底层开始、完全为生成式AI而来的旗舰级移动芯片。

透过它,不仅能先人一步体验在端侧玩大模型有多丝滑;更能提前窥见与感受,AI浪潮和移动终端将会碰撞出哪些激烈火花,。

手机实时生成虚拟分身

作为一张生成式AI移动芯片,能带来哪些创新体验?

天玑9300先来打个样,带来如下几方面能力:

  • 支持运行大模型
  • 快速文本、图像生成
  • 端侧能力扩展、个人专属GIF表情包
  • 视频实时个人分身
  • 生成式超分、夜景防眩光
  • 语意搜索
天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

最基本的,生成式AI芯片要具备端侧支持大模型的能力。

天玑9300支持终端运行10亿、70亿、130亿、最高330亿参数AI大模型。

通过和vivo的深度合作,基于天玑9300率先实现了在vivo旗舰手机上端侧落地70亿参数大语言模型,系行业首家

同时也突破行业上限,和vivo一起将端侧运行大模型规模提高到130亿参数

在可以运行的基础上,更进一步,需要做到快速处理。

天玑9300具备快速文字、图片生成能力。

70亿参数模型下可实现每秒20 Tokens输出,支持文本创作、摘要生成等文本任务。

每张图片生成时间控制在1秒以内。

这意味着几乎无需等待,就能马上从手机上获得最新AI生成结果。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

这也是为什么天玑9300能拿下业界移动AI性能第一名号,ETHZ AI Benchmark v5.1 Mobile SoC >2000 分。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

更创新的体验来自端侧技能扩展,它支持在本地生成多样个性化内容。

这也是移动芯片首次实现端侧LoRA

基于此,拍下一张照片,在手机本地即可进行各种风格处理,生成个人专属表情包。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

要知道,基座大模型的知识与能力相对有限,想要让大模型有更强生产力,往往需要对大模型进行SFT、LoRA等方式微调。今年AI绘画能凭借不同画风、多次掀起热潮,很多程度上正是得益于LoRA方法。

天玑9300的端侧支持,可以让LoRA变得更加便捷,可以推动大模型在手机上实现更多丰富玩法

除此之外,生成式AI的应用还能导入到视频中,实时生成个人虚拟化分身,进行视频通话。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

一些已有的AI应用,也基于生成式AI实现了更多创新。

比如用在提升游戏画质、图像方面的超分算法,使用生成式能力后可以带来更好画质提升;

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

夜景拍摄可以防眩光产生;

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

以及生成式AI语意搜索,能不联网智能检索相册图片,在端侧完成计算更好保护隐私。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

总之,透过天玑9300的能力可以感受到,联发科认为一张合格的生成式AI移动芯片,应该能把大模型能力尽可能带到端侧。

不只是要装下更大模型,还要让大模型能在端侧拓展能力,以此带来更丰富的应用。

那么,联发科是如何做到?

第七代APU+全大核打底

作为一张为生成式AI而来的移动芯片,天玑9300的能力提升逻辑简单粗暴:

AI性能拉满,底层能力夯实。

具体可以从APU整体架构两个方面来看。

APU主要负责实现大模型的端侧快速运行。

天玑9300集成MedieTek第七代AI处理器APU 790,整数运算和浮点运算性能均是上一代的2倍,同时功耗降低45%

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

为了能让端侧支持更大规模大模型,它带来了特有的内存硬件压缩技术(NeuroPilot Compression)。

要知道,大模型的海量数据在带来极致性能同时,也带来了巨大内存占用。所以这也是为什么大模型进端侧难。

联发科先采用INT4量化,将130亿参数大模型压缩至13GB。

然后基于内存硬件压缩,进一步把13GB内存压缩到只有5GB,内存占用直降61%。

这样一来,内存为16GB的内存即可运行130亿参数大模型,24GB内存手机可运行330亿参数大模型。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

但装下大模型还不够,联发科认为还要让大模型具备更丰富能力。

由此提出了生成式AI端侧“技能扩充”技术(NeuroPilot Fusion)。

它直接解决了终端无法装下过多大模型的问题,实现一个大模型为底座,N个技能作为扩展。

这样既解决了大模型的内存瓶颈,还尽可能拓展手机上生成式AI的应用边界。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

而为了能让大模型更丝滑地在终端运行,天玑9300在更底层还做了进一步优化。

一方面,天玑9300是业界首款硬件生成式AI引擎

它深度适配Transformer模型,特别在Softmax+LayerNorm算子上,处理速度较上一代提升8倍。

Softmax+LayerNorm算子正是当下大语言模型(Transformer网络)的核心部分。

另一方面,天玑9300开创性采用了全大核CPU架构,从底层大幅提升芯片算力。

它包含4 个 Cortex-X4超大核,最高频率可达 3.25GHz,以及4个主频为2.0GHz的Cortex-A720大核,其峰值性能相较上一代提升40%,功耗节省33%

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

其单个E大核的能效比完全超越传统架构B核和L核。

全大核架构全面使用乱序执行(out-of-order)内核

和传统小核必须顺序执行的逻辑不同,大核运算允许只要任务进来且可以处理,它就会开始执行。

这样能大幅减少任务的总消耗时间,提升应用执行效率、减少卡顿。同时也能降低功耗,对比如下两图,大核运算“做得快、休息快”,运行曲线的积分更小,即功耗更低

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座
天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

这些能力都能为芯片执行生成式AI任务,提供扎实的基础计算底座。

最后,生成式AI在端侧运行,还有很多细节需要考量。

比如在交互方面,目前大模型更多以智能助手形象出现,语音是重要的交互方式之一,所以天玑9300专门提升了音频降噪能力,支持对3个麦克风动态录音降噪,可以有效过滤风噪等环境音,不仅能让视频拍摄、录音效果更好,也能辅助提升大模型语音识别的正确率。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

另外在用户格外关注的数据安全方面,天玑9300集成双安全芯片,从开机源头保护个人隐私,同时具有物理隔离计算环境,进一步保障个人数据加密、解密的安全。以及内存标记扩展(MTE)技术,可以打造更安全的开发环境。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

如上诸多方面的优化、革新与考量,都让天玑9300成为一块名副其实为生成式AI而来的移动芯片。

而除了对自身硬件性能提升,联发科还进一步打通大模型生态

支持Meta LLaMA 2百度文心一言大模型百川大模型等前沿主流AI大模型,以及多模态大模型。

应用方面和抖音、快手、虎牙、爱奇艺、美图秀秀等展开合作,提供相关SDK和model hub。

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

开发者生态方面,天玑开发者中心将提供端侧生成式AI落地的一站式资源,提供端侧部署案例分享。目前已有20+生成式AI合作伙伴。

一言以蔽之,联发科要用天玑9300这块旗舰芯,正式叩开生成式AI大门。

由此带来的影响,将从联发科由内至外,给全行业带来新气息,更进一步影响到每一位智能手机用户。

生成式AI打开移动芯片新象限

在近几年里,手机行业始终在思考一个大命题,下一代旗舰机该怎么做?

这个命题需要芯片、手机、应用等厂商共同思考,如折叠屏、旗舰影像等都是摸索出来的方向。

而生成式AI浪潮的到来,让这个大命题回归本源,即下一代智能手机,就是要更智能、更强大。

大模型是实现这一切的根本。

所以过去一段时间里,手机厂商们纷纷开始推出端侧大模型、发布接入大模型的OS系统,掀起大模型浪潮的OpenAI被曝要做新一代智能手机。

但落地到实际,怎么让手机用户能更好用上大模型。这个核心问题,还是要抛给芯片厂商

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

因为大模型落地,必须要解决计算瓶颈、功耗瓶颈,而且只依靠云端运行不能长久,也不能从根本上打开大模型的手机场景。

从当下来看,联发科等头部手机芯片厂商已经迈出了关键性的第一步——将大模型实现端侧运行

那么接下来该怎么走?如何思考生成式AI芯片的未来?以及大模型在手机端的应用?

现在似乎很难有非常明确的答案。

毕竟业内都非常清楚,大模型浪潮如今才只是最早期阶段,无论是技术层面还是应用落地,都仍需长期探索。

但联发科用天玑9300给出了一个关键参考:

面向生成式AI的移动芯片,要从底层为大模型做准备,“天生”更适合大模型,同时硬件层面要做到能力溢出

为什么?

用联发科的话来说,就是“生成式AI旗舰芯片未来一定会有更多应用模式产生、完成更复杂的任务。”

天玑9300拿下生成式AI最强移动芯,端侧支持330亿大模型,1秒内AI画图,全新全大核架构做底座

作为一个硬件级的底座,要足够强大,上层系统、应用才能有更多创新空间,更多生成式AI端侧应用才能诞生。

在强大的同时,还要动作够快。

天玑9300不仅和vivo一同实现业内首个70亿大模型端侧落地,还实现了130亿参数大模型端侧运行。

搭载天玑9300的vivo X100系列也将马上上市。届时就能真正上手实测大模型跑在端侧是什么感觉了。

对于大模型上手机,你有哪些期待?对于今年生成式AI给手机行业带来的新气息,你又有哪些感受?

欢迎评论区留言讨论~

热门课程推荐

热门资讯

请绑定手机号

x

微信扫码在线答疑

扫码领福利1V1在线答疑

点击咨询
添加老师微信,马上领取免费课程资源

1. 打开微信扫一扫,扫描左侧二维码

2. 添加老师微信,马上领取免费课程资源

同学您好!

您已成功报名0元试学活动,老师会在第一时间与您取得联系,请保持电话畅通!
确定