Rain科技1月29日消息，随着代理式AI应用的快速扩张，AI系统对内存的需求正经历一场深刻的结构性转变。
据行业消息，AMD和高通两大芯片巨头正在积极评估在下一代AI产品和机架架构中引入SOCAMM（System on Chip Application-specific Memory Module）内存模块。这一举措预示着，曾经被视为NVIDIA独有技术生态的SOCAMM，正逐渐走向开放和普及。
SOCAMM最初被设计为一种专为NVIDIA产品打造的内存标准。与传统直接焊接在主板上的LPDDR内存不同，SOCAMM采用了模块化设计。这种设计赋予了其可更换和可升级的特性，并在内存容量、功耗效率以及系统整体弹性之间取得了精妙的平衡。
在当前蓬勃发展的代理式AI架构中，AI模型需要长时间维护大量的上下文信息、内部状态以及任务记忆。这意味着系统对短期但容量巨大的内存需求呈爆炸式增长。单纯依赖高带宽内存（HBM）已不足以完全满足所有场景的需求，因此，业界逐渐认识到需要引入另一层在成本、功耗和容量之间寻求平衡的内存解决方案。正是在这样的背景下，SOCAMM以其独特的优势受到了广泛关注。
业内人士指出，SOCAMM的引入有望让单一CPU或加速器平台实现TB级别的内存容量配置。这将极大地赋能AI代理（AI agent），使其能够同时维持高达数百万个token的活跃状态，从而显著提升AI代理在复杂任务处理中的能力和效率。
诚然，SOCAMM在带宽和吞吐量方面可能不及HBM，但其在功耗效率和系统扩展性方面却展现出显著优势。这使得SOCAMM成为一种理想的内存层级，可以与HBM协同工作，形成分工明确、优势互补的内存解决方案。
值得关注的是，市场消息表明，AMD和高通在SOCAMM的模块设计上可能采取与NVIDIA略有不同的策略。这两家公司正在评估采用方形模块形式配置DRAM，并且更进一步地将PMIC（电源管理IC）直接集成到内存模块本体之中。这样的设计使得电源调节功能可以在模块层面完成，有望简化系统设计，并可能带来更高的电源效率和更小的体积。
在产品进展方面，NVIDIA已计划在其下一代产品 Vera Rubin 中引入新一代SOCAMM 2标准。随着未来出货规模的不断扩大，SOCAMM无疑将成为AI系统中一种重要的内存配置方案。
此前已有消息披露，NVIDIA已向主要的DRAM制造商提出了SOCAMM的年度需求规划。其中，三星是主要的供应来源，SK海力士紧随其后，而美光则占据第三位。随着AMD和高通的加入，未来SOCAMM的市场竞争和供应格局将更加多元化。
