清华团队用软件榨干国产算力,产出千亿Token

Rain科技7月18日消息,2026世界人工智能大会(WAIC)上,是石科技创始人兼董事长闫博文正式发布国产Token优化工厂拓元(Vectron)。

需要指出的是,中国已建设50多个智算中心,智能算力总规模超1000 EFLOPS,但平均利用效率远未跑满。AI基础设施的竞争正从算力规模竞赛转向算力效率竞赛。从技术角度看,算力利用率低下的核心原因之一在于国产芯片生态碎片化——不同厂商的芯片指令集、算子库和内存架构差异显著,传统推理框架难以实现统一高效的适配,导致大量算力在调度和通信环节空转。

拓元的定位是把每一份算力转化为稳定高效的Token,同等算力下产出更多有效Token,同等显存下长上下文运行更稳。其核心逻辑是一套系统完成AI推理全链路优化。具体而言,该系统通过动态任务切分和显存复用策略,使长序列推理中的显存瓶颈得以缓解,从而支撑更大规模的上下文窗口而不增加硬件成本。

别再堆芯片了!清华系团队用软件把国产算力榨出千亿Token

目前已兼容昇腾、昆仑芯、天数智芯、太初、瀚博半导体、摩尔线程、沐曦、燧原等10余款国产算力芯片,适配20余个主流模型,每日Token吞吐量达千亿级。从行业视角来看,这种广泛的芯片兼容性意味着拓元能够帮助下游客户规避单一芯片供应链风险,同时降低模型迁移的工程成本——企业无需为每款芯片单独编写推理优化代码,即可在异构集群中灵活分配任务。

拓元通过任务自适应优化、硬件专属算子融合编译、异构集群调度等核心技术,实现国产异构算力池的统一调度与推理加速。其中,硬件专属算子融合编译是关键:系统会在运行时根据目标芯片的微架构特征,自动将多个连续矩阵运算合并为单一内核,减少片外显存读写次数,从而显著提升有效算力占比。根据第三方测试数据,在同等硬件条件下,拓元可将推理吞吐量提升30%至80%,具体效果因模型和芯片组合而异。

该公司创始团队源自清华大学计算机系,具备国家级计算中心工程化经验。已服务超200家重点客户,覆盖头部互联网、大模型公司、航空航天、生物制药、新能源等行业。值得注意的是,这一客户结构反映出大模型应用正从纯互联网场景向垂直行业渗透,而国产算力芯片在航空航天、生物制药等领域的安全合规优势,恰好与拓元的多芯片调度能力形成互补。未来,随着智能算力规模持续扩大,类似拓元这样的“软件定义算力”方案或许将成为提升基础设施效率的标配。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行审核删除。
(0)
Rain科技Rain科技
浙大攻克纳米管30年难题登《科学》
上一篇 12小时前
国产Kimi K3被指不利英伟达,老外反驳
下一篇 8小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注