# LLM
-
MatX One芯片发布,挑战大模型吞吐量极限
当前,大模型(LLM)的算力竞争正以前所未有的深度,触及更根本、更专业的芯片领域。这不仅仅是性能的迭代,更是对AI计算效率“地板价”的极致追求。在此背景下,一家由谷歌TPU团队资深…
-
整合扩散模型、ViT与LLM构建全模态推理流水线
在生成式AI浪潮愈演愈烈,多模态能力成为兵家必争之地的当下,AI推理框架的演进速度,正以前所未有的姿态刷新着技术边界。近期,vLLM团队推出了一款名为vLLM-Omni的推理框架,…
-
Thinking Machines 推出的新策略蒸馏技术,让 LLM 后训练效率大幅提升,开启高效学习新时代
在这个AI进化日新月异的时代,模型训练的效率和性能始终是大家关注的焦点。近日,一个名为THINKING MACHINES的研究团队推出了一项让业界眼前一亮的新技术——“在线策略蒸馏…
-
DeepSeek新突破:探索视觉-文本压缩边界,高效解决LLM长上下文难题
在当今大模型飞速发展的浪潮中,如何让它们“看懂”和“记住”海量信息,成为了横亘在我们面前的一道巨大挑战。尤其是在需要处理长文档、高清图片甚至视频等复杂数据时,内存和计算资源的消耗呈…
-
开发者福音!Thinking Machines推出Tinker API,轻松解决LLM后训练难题
开发者福音!Thinking Machines 推 Tinker API,助你轻松搞定 LLM 后训练难题 大型语言模型(LLM)的时代浪潮汹涌而至,其强大的能力令人惊叹。然而,在…
-
LLM推理性能受输出格式影响,JSON最严重
格式限制越严,推理越差 输出格式不同,竟然还能影响大模型发挥?! 两种提示下让大语言模型(LLMs)解同一道数学题,问题如下: Eliza每周工作的前40小时,每小时的工资是10美…
-
OpenAI正训练GPT-4的继任者,GPT-5或将带来三个重大升级
2024-05-30 01:33:49,AI快讯网-人工智能最新资讯, 站长之家5月29日 消息:虽然 OpenAI 最近推出的模型 GPT-4o 在大型语言模型(LLM)领域有了…
-
港大字节提出多模态大模型新范式,模拟人类先感知后认知
2024-05-28 18:55:20,AI快讯网-人工智能最新资讯, 当前,多模态大模型(MLLM)在多项视觉任务上展现出了强大的认知理解能力。 然而大部分多模态大模型局限于单向…
-
开源模型还是商业模型?阿里云智能张翅提出金融企业选择大模型的6大挑战
2024-05-28 18:45:21,AI快讯网-人工智能最新资讯, 大模型发展背景与趋势 大模型是DT时代标志性产物 大模型是数字转型(DT)时代的产物,标志着人工智能技术的一…
-
AI大模型的十大前景与挑战——解码斯坦福《2024年人工智能指数报告》
2024-05-24 20:20:53,AI快讯网-人工智能最新资讯, 人工智能在某些任务上胜过人类,但并非在所有任务上;产业界持续主导人工智能前沿研究;前沿大模型变得更加昂贵;A…