3月31日消息，近日，Databricks发布了一款全新的通用大语言模型DBRX，被誉为“当前最强开源AI”。据悉，在各种严格的基准测试中，该模型的表现均超越了“市面上所有的开源模型”。
DBRX是一款基于Transformer架构的大语言模型，它采用了先进的MoE(Mixture of Experts)技术，并配备了惊人的1320亿个参数。更该模型在庞大的12T Token源数据上进行了深入的预训练。
研究人员对DBRX进行了全面的测试。与LLaMA2-70B、Mixtral、Grok-1等市场上主流的开源模型相比，DBRX在语言理解(MMLU)、程式设计(Humaneval)以及数学逻辑(GSM8K)等多个关键基准测试上均展现出了卓越的性能。DBRX在上述三项基准测试中的表现甚至超越了行业巨头OpenAI的GPT-3.5。
Databricks AI部门副总裁Naveen Rao向知名科技媒体TechCrunch透露，DBRX的研发过程历时两个月，并投入了高达1000万美元的成本。虽然DBRX在各项测试中取得了令人瞩目的成绩，但目前该模型仍需要使用四块英伟达H100 GPU才能运行，这意味着在未来仍有进一步的优化空间。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，可联系本站进行审核删除。
