王炸级3nm AI芯片:离线视频生成,外卖酒店一键搞定

安卓首款采用3nm制程、搭载PC级Arm V9架构和第八代NPU的芯片——天玑9400,代表着移动AI芯片领域的最新突破和最强成果!

与上一代生成式AI芯片天玑9300相比,天玑9400的AI性能实现了显著提升,在苏黎世ETHZ移动SoC AI性能榜单上荣登榜首。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

天玑9400首次实现了端侧DiT架构支持,这意味着用户无需联网,便可在手机上体验类似Sora架构的视频生成功能。这一突破性进展,标志着端侧AI在视频生成领域的重大飞跃。

此外,天玑9400还业界首发端侧LoRA训练功能,允许用户高效地离线训练专属的LoRA图像生成模型,有效保障用户隐私安全。这项功能极大地扩展了端侧AI的应用场景,并为用户提供了个性化定制的AI体验。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

在大模型方面,天玑9400能够处理的上下文窗口文本长度提升至32K,是天玑9300的8倍,显著增强了大模型的理解和生成能力。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

同时,天玑9400还支持端侧运行多模态大模型,其50 Tokens/秒的超高运行速度超越了之前的SOTA水平,实现了多模态信息的高效处理。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

在综合AI性能方面,天玑9400在苏黎世ETHZ移动SoC榜单上取得了6773分的成绩,是天玑9300的1.4倍,充分展现了其强大的AI处理能力。这意味着天玑9400在各个AI任务上的表现都更为出色。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

从整体架构上看,天玑9400采用台积电第二代3nm制程工艺,相比上一代,单核性能提升35%,多核性能提升28%,同时功耗降低了40%。这种显著的性能功耗比提升,是天玑9400实现强大AI能力的关键因素之一。

值得一提的是,联发科不仅将端侧AI能力应用于模型运行,还集成了天玑AI智能体化引擎(Dimensity Agentic AI Engine)。该引擎能够根据用户需求实现跨应用操作,并通过学习用户的习惯,提供更智能、更便捷的手机使用体验。这代表着联发科在AI应用层面上的创新尝试。

天玑9400,让AI手机越用越聪明。

让我们进一步了解联发科通过天玑9400带来的一系列端侧AI新功能。

首先,联发科与小红书合作,首发了端侧SDXL图像生成功能。该功能不仅支持各种风格的图像生成,而且速度比云端生成快两倍,极大地提升了用户的创作效率和体验。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

更令人瞩目的是,联发科在Diffusion模型端侧化方面取得了重大突破,将视频生成模型也成功移植到端侧。这是业界首创,实现了从静态图像生成到视频生成的跨越,极大地扩展了端侧AI的应用边界。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

实际体验表明,端侧视频生成仅需不到一分半钟即可完成,而云端生成则需要等待更长时间,甚至可能无法完成。这主要得益于端侧算力避免了与大量用户争抢资源的局限性。

此外,端侧处理也保证了数据在本地存储和处理,有效提升了用户数据的隐私和安全保障。

接下来,我们重点介绍天玑9400首发的端侧LoRA训练功能。该功能允许用户仅需照片即可训练出专属的本地LoRA模型。利用该模型,用户可以生成各种姿态、各种背景的个人写真,足不出户便能体验环球旅行的乐趣。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

联发科还与虹软合作推出了端侧AI智能修图功能,该功能利用端侧学习的用户人脸信息,对模糊照片进行智能修复,不仅提升了图像清晰度,更能保留面部细节,使修复后的照片更自然。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

除了一系列重磅功能的首发,天玑9400的端侧多模态模型运算速度也达到了50 Tokens/秒,打破了多项业界纪录。借助面壁智能的小钢炮模型,天玑9400能够快速识别并解答二元一次方程组图像,并理解图片中文字的对应关系,甚至能够识别外文菜单,推荐菜品并计算价格。

在权威的苏黎世ETHZ AI Benchmark 6.0榜单中,天玑9400以6773分的总成绩排名第一,再次印证了其强大的AI处理能力。该榜单涵盖了34款不同类型的模型,并采用了int8、int16、fp16等多种精度,从速度和准确性等多方面对AI能力进行全面评估。

在兼容性方面,联发科已与国内外9家大模型厂商达成合作,支持了一系列主流大模型。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

得益于强大的端侧AI算力,联发科提出了“智能体AI手机”的新概念,旨在让移动终端更加智能化。

天玑9400内置的AI智能体化引擎(Dimensity Agentic AI Engine)能够将AI模型和应用转化为一个个智能体,让手机成为一个强大的“后援军团”。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

例如,在点外卖场景中,智能体化引擎可以实现全程语音交互,从选择菜品到完成支付,整个过程都无需手动操作。这相比于只能打开外卖软件的普通AI助手,体验上有了质的飞跃。

基于通义千问大模型驱动的智能体,目前已经支持多种智能体化应用,并随着使用时间的推移,能够学习用户的偏好,变得越来越“聪明”。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

例如,它可以根据用户的喜好推荐电影,并根据之前的购票习惯自动选择座位。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

要实现如此出色的效果,除了联发科提供的强大算力外,也离不开生态的支持。从芯片到终端设备,从AI模型到应用软件,都需要共同努力。

为此,联发科联合vivo、OPPO等多家厂商共同发起了AI智能体化引擎先锋计划,旨在构建更完整、更丰富的智能体应用生态。

同时,联发科也积极与开发者合作,为AI智能体、第三方应用程序和大模型提供统一的标准接口,实现AI跨应用的互联互通。

这不仅能够缩短AI产品的开发周期,更能加速构建功能更丰富、体验更出色的AI生态。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

随着对算力专属、隐私保障和离线运行需求的日益增长,发展端侧AI已成为行业共识。而AI手机作为端侧AI的终极载体,拥有比PC更高的设备保有量和使用时长。

在手机AI技术领域,联发科无疑是领先者。天玑9400将加速手机的智能体化进程,并借助先进的AI技术和完善的生态系统,为用户日常生活带来更多便利和乐趣。

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

所有这些成就都离不开强大的技术支撑。

软硬件技术协同发力

联发科在软硬件两方面同步研发,实现了端侧AI的突破性进展。例如,为了解决AI模型端侧化的内存占用瓶颈,联发科采用了低位宽KV缓存技术和分组查询注意力(GQA)机制,将内存需求降低了50%。

天玑9400搭载了联发科第八代AI处理器——NPU 890,并将模型运算工作全部转移到NPU中,充分利用NPU的特性来加速运算。具体措施包括:

将专家路由等模块全部转移至NPU,实现了端侧混合专家(MoE)模型的纯NPU运算;

针对DiT(类Sora)模型的4D、5D张量,利用NPU硬件独特的时域神经元硬件指令进行加速;

对于端侧LoRA训练,采用了新的反向传播算子指令集,将过去在CPU/GPU上的指令融入NPU的加速指令中……

王炸级3nm AI芯片!不联网生成视频、帮你点外卖订酒店

联发科技,作为前沿科技的推动者

总而言之,联发科的天玑9400及其相关技术带来了哪些改变呢?

首先,对于终端用户而言,这意味着更低门槛的AI普惠。越来越多的AI能力下沉到端侧,用户无需依赖云服务,即可在本地体验丰富的AI应用。

其次,联发科主导的智能体化应用方式将进一步降低AI应用的使用门槛,让更多人群,例如老年人,都能便捷地享受AI带来的便利。

对于大模型开发者而言,天玑9400通过终端保有量优势和便捷的模型使用方式,为大模型提供了更广泛的应用场景,并有助于降低开发成本。

对于终端厂商和联发科自身而言,新的功能也为收集用户对于端侧AI的反馈提供了重要的途径,有助于改进产品。

最终,这将有望构建更完整、更庞大的端侧生成式AI生态,让芯片厂商、终端厂商、应用开发者和用户共同受益,促进产业共同繁荣。

回顾过去,联发科于去年发布了首款端侧生成式AI芯片天玑9300,使其触手可及。半年后,天玑9300+的推出进一步推动了端侧AI的发展。在最近的天玑开发者大会上,联发科与合作伙伴共同探索端侧技术路线,进一步夯实了端侧生态基建。

如今,天玑9400作为新的王者级5G智能体AI芯片,将端侧AI推向了一个新的高度——智能体化,在“智能”与“智慧”之间划出了一道新的分水岭。

PS:首批搭载天玑9400芯片的智能手机即将上市,敬请期待更强大的端侧AI体验。

AI终端,终端AI,AI即将触手可及,无处不在。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行审核删除。
(0)
Rain科技Rain科技
上一篇 2024年 10月 18日 上午12:04
下一篇 2024年 10月 18日 上午2:38

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

欢迎来到AI快讯网,开启AI资讯新时代!