Rain科技3月14日消息，值得关注的是，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。这一突破性技术被认为将为国产AI芯片的规模化应用和人工智能生态系统的自主建设带来新的机遇。
据介绍，“赤兔Chitu”首次实现在非英伟达Hopper架构GPU，以及包括众多国产芯片在内的多种硬件平台上原生运行FP8精度模型。这意味着它打破了以往FP8精度模型对英伟达Hopper架构（例如H100/H200）的硬件依赖，为国产芯片在AI推理领域提供了有力的支持。
据悉，在A800集群的测试中，赤兔引擎表现出色。在GPU使用量减少50%的情况下，推理速度提升了3.15倍。这一提升幅度相当显著，意味着企业在部署大模型推理服务时，可以有效降低硬件成本，同时获得更高的性能输出。
根据官方信息，赤兔引擎具备智能优化技术，能够快速适配不同的芯片架构。这使得国产芯片厂商无需投入大量资源重复开发软件，可以更加专注于硬件本身的研发和升级。目前，清程极智已经与沐曦、燧原等国产芯片厂商展开合作，推出了“开箱即用”的推理一体机，这些产品正在金融、医疗等对AI算力需求较高的行业中进行应用。
清程极智CEO汤雄超表示，当前国内在推理引擎这一核心技术环节仍然缺乏生产级别的开源产品。开源“赤兔”引擎是推动国内AI生态建设的关键一步，旨在为行业提供更高效、更灵活的技术支持，并加速国产AI芯片的落地应用。从行业角度来看，开源举措有助于构建开放共享的AI技术生态，促进技术创新和产业协同发展。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，可联系本站进行审核删除。
