蚂蚁开源万亿参数强化学习高性能权重交换框架Awex

AI快讯网 11月20日消息,蚂蚁集团宣布开源万亿参数强化学习高性能权重交换框架Awex。据介绍,今年10月,蚂蚁集团开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。(广角观察)

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

欢迎来到AI快讯网,开启AI资讯新时代!