推理效率
-
加速国产大模型：AMD推出vLLM-ATOM插件，显著提升推理效率
AMD这次出手，瞄准的是大模型推理的“最后一公里”。近日，AMD悄然在GitHub上发布了vLLM-ATOM插件。这名字听起来有点硬核，但背后的逻辑很直接：让DeepSeek-R1…
-
推理效率提升超200%，易用性对齐vLLM，国产加速框架来头不小
运营成本最高降低 64% 2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规…
