清华系团队为大模型打造“智能算力电网”

机器正坐在机房角落,风扇嗡嗡转着,却产不出半颗Token。

海外GPU紧缺、溢价严重,企业排队等,等到黄花菜都凉了;

国产芯片产能总算跟上来了,结果却是“跑得动但跑不顺”——生态碎片化、适配周期长、推理优化门槛高,大量国产卡就这么空转着,电费照付,出力却微乎其微。

企业想用AI,却卡在最不该卡的环节:算力利用率。

大模型军备竞赛里,所有人都在比参数规模、比Benchmark分数,但真正决定AI能不能走进生产线的,其实是一个更基础、更“无趣”的问题:一颗Token的生产成本,能不能打到可规模化的区间?

有一支从中国超算体系里走出来的年轻团队,正在死磕这件事——是石科技。

客观来看,这家公司成立仅四年(2021年),核心班底来自国家超级计算无锡中心,是国内最早把超级计算与AI计算并行优化技术产业化的团队之一。名字取自“实事求是,甘为基石”,反映出创始团队对算力基础设施地位的清醒认知。创始人闫博文,1993年出生,清华大学计算机系博士后,技术底色深厚。

清华系团队为大模型打造“智能算力电网”

AI行业早已不缺算力转租平台,缺的是真正把异构算力“拧成一股绳”的技术。是石科技的思路很直接:通过自研并行优化技术,将HPC与AI计算深度融合,专克异构算力调度的“老大难”。

在他们眼中,国产算力空转的根源不是卡不够,而是“卡跟场景之间缺一座桥”。传统租赁模式只卡位下游,治标不治本。是石推出的解法是:重构算力变现路径,打造国产Token调优工厂。

这座工厂的第一层底座,是全域异构算力池化。与行业常见的单一算力资源模式不同,是石科技搭建了一张兼容NVIDIA GPU、昇腾、昆仑芯、天数、太初、瀚博半导体等国产芯片的全域资源池,同时接入云厂商算力与边缘算力。

通过智能调度与弹性扩缩容,企业不再被“算力采购难、资源碎片化”束缚——好比一张“全域智能电网”:过去每家工厂只能用自己的发电机(单一算力),买不到柴油就停产;现在算力网络把各地的风电、水电、火电、太阳能电全部接通,企业只需“插上插头”,系统自动匹配最优电源。

清华系团队为大模型打造“智能算力电网”

更关键的是,是石团队完成了主流国产AI芯片的深度适配与专项优化,打通了框架适配、算子兼容、通信优化、性能调优全链路。在这张电网的“变电与稳压”作用下,原本闲置的国产算力被高效转化为稳定、可用、低成本的标准化Token推理产能

一位长期从事AI基础设施的工程师评价:“过去我们买了国产卡,总要花几个月去调驱动、改框架、修bug。是石科技把这条路铺好了。国产卡不再是‘摆设’,而是真正能跑生产的引擎。”

坦白说,Token工厂的核心壁垒不止于算力池化——推理优化才是硬骨头。是石团队在HPC领域深耕多年,从算子、内存、调度、解码等全维度进行技术革新:CUDA Kernel算子级优化、PagedAttention内存优化、Continuous Batching连续批处理、混合精度推理……配合FlashAttention、推测解码、KV Cache精细化管理、模型并行(TP/PP)等前沿方案,GPU等芯片的资源利用率大幅跃升。

实测数据显示,在同等算力条件下,是石的推理优化方案可将吞吐量提升30%-50%,单位Token成本降低40%。传统推理中常见的延迟抖动、TTFT与TPOT波动问题也得到有效抑制——Token生成从“间歇性卡顿”变为“稳定输出”。

清华系团队为大模型打造“智能算力电网”

规模化生产不能建立在脆弱的单点算力之上。是石构建了多Provider互补与容灾体系:资源互补(流量峰值自动弹性扩容)、技术互补(接入超低延迟、多模态等特定能力)、区域互补(跨地域部署降低延迟,满足合规要求)。自动Fallback故障切换机制搭配“自有集群承载主要流量、合作伙伴集群兜底容灾”的流量分配模式,实现了99.9%的高可用性服务保障。

换个角度看,这有点像飞机引擎的“多冗余设计”——是石给AI推理服务装了三套引擎(自有、合作伙伴、备用),哪怕一套熄火,系统也会在0.1秒内自动切换,用户毫无感知。

清华系团队为大模型打造“智能算力电网”

当前,国产AI算力替代进程持续提速。标准化、可量产、低成本的Token产能,已成为AI产业落地的核心生产资料。

是石科技的目标很清晰:建成中国最大、技术最先进、服务最完善的国产Token调优工厂。让千行百业降低AI落地门槛,让国产算力生态真正实现规模化、高质量发展。

当行业还在追逐单一模型的精度时,是石选择了一条更有挑战但更具长期价值的道路——做夯实AI推理底座的工厂,做可进化、可复用、可普惠的Token生产力平台。这条路投入更大、周期更长、协调更复杂,但一旦走通,它改变的将不只是某一家企业的推理成本,而是整个适合中国AI产业高效发展的国产算力生态。

客观而言,是石科技的模式仍面临两大挑战:一是国产芯片的算力峰性能与英伟达仍有代差,优化能覆盖部分差距但非全部;二是市场竞争激烈,阿里、华为等巨头也在押注类似方向。但基于超算体系的并行技术积累,以及“从芯片到框架到推理”的全链路适配能力,是石科技有望在国产化替代浪潮中占据一个不可替代的位置。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,可联系本站进行审核删除。
(0)
Rain科技Rain科技
上一篇 18小时前
下一篇 18小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

欢迎来到AI快讯网,开启AI资讯新时代!