Rain科技7月13日消息，近日一位独立开发者打造了名为Colibri的纯C语言推理引擎，成功在仅25GB内存的消费级笔记本上运行拥有7440亿参数的开源模型GLM-5.2，被誉为“极客精神的极致展现”。
Colibri核心仅约2400行C语言代码，完全零依赖，不需要Python、不需要GPU、不需要BLAS数学函数库。开发者表示速度不是重点，达成目标才是，只是想让它跑起来，即使很慢也没关系。这一思路实际上揭示了现代深度学习推理的另一个可能性：在资源受限的环境下，通过极致的软件优化和硬件利用，依然可以运行超大规模模型。
GLM-5.2由智谱开发，拥有7440亿参数，训练数据量达28.5万亿tokens，是目前能力最强的开源模型，若采用传统密集模型架构，光是将模型载入内存就需要超过1.5TB。但GLM-5.2采用MoE混合专家架构，虽然总参数量达7440亿，每次处理一个token时只会启动约400亿个参数（约5%），其余参数以专家形式存在，被选中时才会调用。这种稀疏激活机制正是Colibri能够成功的关键——它使得实际运行时需要的内存和计算量远小于总参数量所暗示的规模。
Colibri的开发者正是抓住了这个特性，每次token处理时实际改变的权重只有约11GB，其余密集层（注意力机制、共享专家、嵌入层等约170亿参数）可以常驻内存。这意味着即使总模型数据量巨大，但通过int4量化将密集部分压缩，加上磁盘上存放其余专家，就能在普通笔记本电脑上实现模型推理。从技术角度看，这种策略本质上是用磁盘I/O换取内存压力，同时利用C语言的高效内存管理和零依赖特性，尽可能减少软件栈带来的开销。
实际性能方面，开发者在WSL2环境（12核心、25GB内存、NVMe通过VHDX）测得模型载入约30秒，常驻内存9.9GB，聊天时峰值RSS约20GB。冷启动时每次token需读取约11GB磁盘数据，推理速度约每秒0.05至0.1个token。快取预热后配合MTP投机解码，有用户反馈在更快NVMe和更多内存的配置下可达每秒1个token以上。作为对比，传统密集模型即便在高端服务器上，推理同样参数量也需要数十张GPU和远超25GB内存，而Colibri仅凭一台笔记本就实现了“跑起来”，虽然速度感人，但证明了极简路径的可行性。
具体实现上，密集部分以int4量化后常驻内存，其余21504个路由专家存放在硬盘上，总计约370GB，每个专家约19MB，按需求载入。这些专家来自75个MoE层每层256个专家，加上MTP预测头。为提升效率，Colibri还进行了多项优化，每层LRU缓存让常用专家留在内存中，异步专家预读让磁盘读取与矩阵运算重叠进行，路由前瞻预取利用相邻层之间71.6%的路由可预测性提前载入下一层可能需要的专家。这些优化策略本质上是在有限的硬件资源下，通过预测和缓存来掩盖磁盘I/O的高延迟，从而尽可能提高吞吐量。
此外还实现了GLM-5.2原生的MTP多token预测投机解码，int8量化下草稿接受率达39%至59%，每次前向传播可产生2.2至2.8个token。MLA注意力机制将KV缓存压缩57倍，每个token只需576个浮点数而非32768个。这些技术的组合使得Colibri在每秒0.05至0.1 token的极慢基础上，依然能通过投机解码将有效输出速度提升数倍。值得一提的是，这类优化并非为了实用化，而是为了验证在极端资源限制下，纯C语言和底层优化能达到的极限——这正是极客精神的体现。
