AI快讯网2月19日消息，昨日（18日），DeepSeek发布了一篇新论文，提出了一种改进版的注意力机制NSA，有创始人兼CEO梁文锋亲自参与。同一天，月之暗面发布了一篇主题类似的论文，月之暗面创始人兼CEO杨植麟也是该论文的署名作者之一。这篇论文提出了一种名为MoBA的注意力机制，据介绍，MoBA是“一种将混合专家（MoE）原理应用于注意力机制的创新方法”。该方法遵循“更少结构”原则，并不会引入预定义的偏见，而是让模型自主决定关注哪些位置。
AI快讯网2月19日消息，昨日（18日），DeepSeek发布了一篇新论文，提出了一种改进版的注意力机制NSA，有创始人兼CEO梁文锋亲自参与。同一天，月之暗面发布了一篇主题类似的论文，月之暗面创始人兼CEO杨植麟也是该论文的署名作者之一。这篇论文提出了一种名为MoBA的注意力机制，据介绍，MoBA是“一种将混合专家（MoE）原理应用于注意力机制的创新方法”。该方法遵循“更少结构”原则，并不会引入预定义的偏见，而是让模型自主决定关注哪些位置。