今年7月底，第二届中国计算机学会（CCF）芯片大会在上海隆重举行。来自国内外计算机和微电子等学科领域的近两千名专家学者、研究人员和企业代表齐聚一堂，围绕芯片设计与EDA、新型体系架构、容错计算、新兴计算机工程与工艺等方面的理论创新、技术研发、应用示范与产业发展等议题展开深入探讨。
在本届芯片大会体系结构专委组织的“CCFTCarch定制计算挑战赛”（消费级显卡的LLM部署加速）中，西南交通大学冯力教授带领的研究团队凭借在大模型边缘推理优化方面的突出优势，在众多参赛队伍中脱颖而出，荣获全国第二名的好成绩。
为了应对大模型边缘推理所面临的挑战，冯力团队在本次比赛中采用了一系列创新技术，其中算子融合技术成为亮点。该技术通过将多个独立的运算操作合并，减少了显存的频繁读写，显著提升了计算效率。
冯力教授介绍，通过算子融合，团队成功地将计算时间缩短了80%以上，极大地提升了计算资源的利用效率。此外，团队还实施了精度量化技术，将部分计算从浮点运算转换为定点运算，虽然在一定程度上带来了精度上的损失，但整体上仍实现了计算速度的大幅提升和能耗的降低。这体现了团队在权衡精度和效率方面，做出的精妙平衡。
冯力教授强调，此次竞赛的成功离不开团队成员之间的紧密合作。参赛的学生们虽然在大模型领域缺乏经验，但却展现出强烈的学习能力和探索精神。通过与国际顶尖学者的合作，特别是与英国布里斯托大学的跨国交流，学生们不仅开阔了视野，也积累了宝贵的实战经验。冯力教授表示：“我们的学生非常年轻，但他们充满热情，勇于迎接挑战。通过大量的文献阅读和技术研讨，他们迅速掌握了相关领域的最新进展，并将理论知识转化为实践成果。”
谈及未来的发展方向，冯力教授表示，随着大模型技术的进步，特别是对于隐私保护和私有化部署的需求日益增加，团队的研究成果将拥有更为广阔的应用前景。例如，在金融、交通和航空等领域，许多敏感数据不适合传输到云端进行处理，而需要在本地进行分析，这就需要高效的大模型边缘推理技术。冯力教授透露，目前团队正在积极与多家企业和研究机构合作，致力于将研究成果应用于网络安全漏洞分析和交通大数据处理等方面，推动科研成果的商业化转化，为社会发展贡献力量。
