小米MiMo首次公开模型推理系统全链路优化技术细节

AI快讯网5月30日消息,小米正式公开MiMo-V2.5系列模型的推理系统全链路优化方案。团队围绕 Hybrid SWA + MoE + 多模态的复合架构,系统性重构了从KVCache管理、分级缓存、前缀缓存到调度策略与Prefill/Decode链路的完整推理栈,KVCache存储压缩至同级方案的约1/7,在长序列场景下推理成本大幅下降——这是本次降价的核心技术基础。5月27日,MiMo-V2.5 系列API完成永久降价,最高降幅达99%,不区分输入长度。(广角观察)

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

欢迎来到AI快讯网,开启AI资讯新时代!