随着人工智能，特别是大模型技术的日益成熟，各行各业对高效落地大模型应用的需求日益增长。大模型一体机，作为集硬件资源、软件平台和大模型能力于一体的解决方案，能够有效降低部署门槛，提供便捷的使用体验，正成为企业拥抱AI大模型的关键选择。中国信息通信研究院（以下简称“中国信通院”）为此牵头制定可信AI大模型一体机行业标准，旨在推动产业健康有序发展。
近日，在中国信通院组织的“可信AI大模型一体机评估体系1.0”评估活动中，一家位于上海市黄浦区并获得重点扶持的创新企业——问道以芯，凭借其自主研发的“异构存力推理机”，成功通过了推理性能专项评估，成为国内首批通过该体系评估的企业之一。这一认证不仅是对问道以芯技术实力的认可，也标志着国产AI基础设施在性能和可靠性方面迈出了坚实的一步。
问道以芯成立于2021年，专注于构建国产自主的AI及高性能计算开放集群，致力于攻克核心技术难题。该公司于2024年荣获第四届“海聚英才”全球创新创业大赛银聚奖，并随后落户黄浦区，足见其创新潜力与发展前景。今年3月，问道以芯与黄浦科创集团、江苏未来网络集团合作，发布了基于全自主知识产权新存力运力架构的AI大模型云边端协同一体机原理机。经过数月的努力，该公司在6月正式推出了工程化产品——“异构存力推理机V1”，这无疑为上海中央科创区的“硬科技”产业生态注入了新的活力，也展现了上海在AI技术创新方面的领先地位。
中国信通院推出的“可信AI大模型一体机评估体系1.0”涵盖了广泛的评估类别，包括通用大模型一体机、专用大模型一体机和场景大模型一体机。其中，通用大模型一体机评估包括训推一体机、推理一体机、MoE模型专项和推理性能专项等，旨在全面评估一体机在不同应用场景下的性能表现。专用大模型一体机评估则针对基础模型一体机、智能体一体机、代码大模型一体机、金融一体机、政务一体机、教育一体机、工业一体机等，反映了行业对垂直领域大模型一体机的迫切需求。而场景大模型一体机评估则聚焦于智能客服一体机、智能风控一体机、智能决策一体机、BI一体机、智能编码工具一体机等，体现了对特定应用场景下大模型一体机解决方案的关注。
问道以芯的“异构存力推理机”独具特色，其核心创新在于采用了CXL硬件设备与消费级GPU、CPU配置相结合的方案。通过优化CXL无序IO和BIOS，该推理机有效地解决了大模型推理场景中常见的内存墙和数据墙问题，显著提升了硬件性能。具体而言，该产品支持DeepSeek、Qwen等通用大模型以及定制化大模型，并在llama.cpp框架下表现出卓越的效率，从而降低了推理侧对GPU性能的过度依赖，进而降低了硬件成本。这对于算力资源有限，但又希望充分利用大模型能力的中小企业来说，无疑是一个极具吸引力的选择。
“异构存力推理机”还具备灵活的IO配置能力，支持异步IO和分散-聚集IO，并实现了IO优先级调度。该方案能够有效缓解因资源竞争导致的传统IO阻塞问题，从而使算力设备能够始终运行在更高效的区间内。在实际应用中，该推理机能够根据不同规模的模型进行智能资源分配。例如，当运行DeepSeek-R1 70B模型时，系统会将大部分内存资源和IO资源倾斜向GPU，以确保其高效运行；而当运行更大规模的DeepSeek-R1 671B模型时，由于GPU显存和带宽可能不足，推理机会通过CXL IO支持GPU计算，同时利用主内存IO支持CPU计算，将推理任务卸载至多设备，从而保证更好的输出结果。
“问道以芯异构存力推理机”产品实物图
展望未来，问道以芯将继续坚持“先进芯片技术国产化、IP自主化、产品本地化”的发展理念，充分利用黄浦区的人才、产业和资本优势，以全自主知识产权重塑AI基础设施。在“一带一区硬科技”的战略布局下，问道以芯将持续创新，并与合作伙伴携手合作，共同构建AI服务器异构计算互联的强大生态体系，为中国人工智能产业的蓬勃发展贡献力量。
