2024 年被誉为大模型产业落地元年，从年初至今，客户对于大模型的期待不断攀升，期望其解决更多业务场景问题。在这个过程中，**智能体（Agent）正蓬勃发展——越来越多的客户渴望将自身应用演进为下一代智能体。**
简单来说，如果将大模型比作大脑，智能体就像是它的手脚和四肢。它能够拆解客户复杂的需求，调用工作流和工具，化身真正的业务小助手。**智能体门槛相对较低，**使得更多人能够参与其中。**现今大多数 AI 原生应用几乎都能通过智能体搭建。**
目前，业内所有大模型公司和生态企业都在积极布局智能体，这也意味着大模型落地已进入“必卷智能体”的阶段。在 7 月 30 日于上海举办的 2024 京东云峰会上，京东正式发布了言犀智能体平台，这是一个一站式智能体开发平台。京东云认为，**智能体、数字人、具身智能将成为未来大模型与终端用户交互的核心媒介。**其中，智能体更多偏向云端，是企业 AI 原生应用的重要推手。
实际上，京东云此次发布了包含言犀智能体平台在内的、支持大模型落地的全栈产品，旨在加速大模型全场景落地。
**“通用大模型靠算力堆出来，企业大模型则靠业务跑出来。”** 京东技术委员会主席、京东云事业部总裁曹鹏在云峰会上如是说。通过不断完善的产品和工具平台体系，大模型才能与产业深度融合，发挥出最大潜力。
据数智前线了解，京东云大模型全栈产品是在京东供应链这一超级孵化器中孕育而生。目前，在京东内部已有超过 100 个大模型的应用案例，为超过 60 万名员工和 20 万商户提供了有力支持。
01 “一线对智能体的热情令我惊讶”
京东相关负责人表示，在实践中他们深刻体会到，**智能体是今年大模型落地应用效果最显著的工具平台之一。**
京东发布的言犀智能体平台实际上是一个“内生外化”的产品。它从去年 10 月开始研发，今年春季在京东和一些生态链企业开放使用。仅仅几个月时间，**员工就搭建了 3300 多个智能体，**“这让我们惊讶。”该负责人说。同时，平台上也形成了上千个工作流、知识库，受欢迎程度超出预期。
“这可能与京东业务人员众多且链条足够长有关。”一个有趣的现象是，过去几年，京东在核心零售供应链投入了大量的 AI 算法团队。而这次**大模型的变革却为那些过去未被 AI 影响到的群体带来了颠覆性的改变。**一线业务人员、职能部门、产品经理等都结合自身工作创建智能体。
例如，有人开发了**长视频剪辑智能体。**由于京东内部有大量培训视频需要剪辑，过去需要手动找到相应部分，然后使用剪辑软件进行剪辑，一周只能剪辑几个视频。现在，这个视频剪辑助手只要上传视频和需求，就能利用大模型的多模态能力找到对应的帧，员工只需进行剪辑，一周就能完成上百个视频。
**另一个智能小哥助手**为快递小哥提供路径规划和智能提示，解放他们的双手。在京东的智能体市场上，还有大量活跃的智能体。**比如电话营销质检智能体**，已产生百万级访问量，替代人工进行营销电话审核和校验…… 此外，京东拥有超过 60 万名员工，还有大量的通用场景智能体，如报销类、学习类等。
为适应大量一线员工的使用需求，言犀智能体平台**支持零代码开发，**即使没有算法背景的员工也能通过可视化、拖拽方式搭建智能体。**“智能体平台就是为了让每一个 AI 灵感都能快速落地。”**京东相关负责人对此深有感触。
智能体也为组织协作带来了改变。过去，不同业务部门之间协作需要通过拉会的方式，开发流程也需要制定排期。现在，大家自发将各自的工具和 API 注册到智能体平台上，实现了底层能力的链接，其他部门员工可以直接调用，协作效率大大提升。
经过内部磨炼后，言犀智能体平台向外界开放。在商业模式上，**平台提供公有云和私有化部署两种模式。**
市面上已推出的智能体平台，不少侧重于个人开发者，但**言犀智能体平台更侧重于行业。**它在京东内部孵化过程中，得到了京东零售、健康、物流等各个板块的广泛应用，并沉淀了相应的行业解决方案。此次发布中，言犀智能体平台预置了相关的配置模版和插件，以及**100 多种行业解决方案，**客户只需 1 分钟即可构建专属智能体。
**针对企业如何更好地利用智能体，**京东相关负责人建议，尤其要注意以下两方面：**一是要持续挖掘爆款，打造标杆。**例如，京东每周会根据数据，筛选优秀的智能体在官方市场上架，吸引更多人使用。“黑客马拉松则会将其进一步提升到更高的层次，层层递进。”
**另一个方面与平台运营相关。**如何支持成千上万员工的应用？一方面要建立具有企业特色的类目体系，将成千上万的智能体进行分类，方便大家查找; 另一方面要及时沉淀成熟的解决方案，用户可以直接使用。
智能体构建的 AI 原生应用也为企业软件市场带来了变化。一些智能体直接取代了原有的企业 SaaS 软件，另一些则嵌入到 SaaS 系统中。言犀智能体平台还提供了简单的应用发布环节，企业可以将搭建的智能体通过 Web、API 等方式发布到内部 IM，如企业微信和协同办公渠道。
业界观察到，Agent 目前仍处于非常初级的阶段，未来将会产生更多意想不到的 Agent 能力，这离不开成千上万的企业应用者。他们使用的过程将是 AI Agent 进化迭代的过程。
02 智能体背后，大模型的锻造流水线
言犀智能体平台目前已接入数十个大模型。这些模型由言犀 AI 开发计算平台输送而来。在上海云峰会期间，**言犀 AI 开发计算平台全面升级至 2.0，**并根据大模型落地关键点，突出了其中的关键能力。
**第一个能力是模型压缩 + 模型拉升。**从去年年底开始，各家企业的主要精力都集中在根据客户的使用场景，在基础大模型上**裁剪、拉升出各种小模型。**曹鹏介绍，这是因为即使经历了军备竞赛式的投入，通用大模型在实际场景中**“仍然缺少薄薄的一层纸，需要专门调优”。**而且不少场景要求模型反应速度要快，推理成本要低，小模型的市场反而更大。
目前，企业一般采用一个模型群组来实现不同场景的应用。**这些模型群组需要对通用大模型进行萃取压缩，以及灌注企业知识进行放大。**在言犀 AI 开发计算平台上，用户可以通过零代码方式，通过这样的“推和拉”，快速获取一个企业专业模型。同时，推理成本降低 100%，速度提升 1.5 倍。
“目前业界通常分两步走——压缩和垂域模型微调。”京东人工智能业务部相关负责人说，“但**言犀 AI 开发计算平台可以在压缩的过程中将垂域知识灌注进去。**” 这也是京东广泛采纳的一个方案。
**第二个能力是数据准备。**每个行业都有大量的数据，包括多模态数据，这需要工具链具备极强的处理能力。
**同时，过程数据的缺失**是业界落地大模型时遇到的最大障碍。“例如，我们看到一个症状，以及专家的处置建议，但并不知道专家的推理逻辑是什么。”京东健康相关负责人告诉数智前线，“如果没有推理逻辑，就无法解决幻觉问题。”
“我们现在投入了很大精力，通过专家和大模型来补充。” **一种是通过 RAG 的方式，**这是当下业界必不可少的技术，为模型提供文献资料，使其能够自动化地捕捉推理链路; **另一种是通过专家来补充。**工具平台是否能够帮助专家团队提高效率，也是业界技术竞争的关键。
此外，大模型合成数据非常火爆。“如何在垂域合成数据，使其与种子数据更加接近，团队也做了深入研究。”京东人工智能业务部相关负责人说。
**第三个能力是模型评估。**它包括通用能力评估和垂域能力评估。针对通用大模型评测，市场上已经出现了一些不错的榜单，公开了代码和评测数据集，可以进行自动评测，直接给出分数。“要先保证通用能力。如果没有通用能力，就没有垂域。”
至于垂域评测，京东在健康、零售等领域拥有评测数据集，用户在调整完模型后，也可以进行垂域评测。这也是自动化的。当然，也有一些人工评测，比如在健康场景中，人更懂业务，平台也提供类似众包的方式，让大家参与评测。
在产业中，构建一个评测系统至关重要。“与其说如何训练好一个垂域模型，不如说**拥有一个评测体系能告诉你，模型应该往哪个方向改进，这件事尤为重要。**” 除了工具平台之外，京东还组建了评测团队，“他们是我们的幕后英雄”。
03 AI 大底座，加速大模型全场景落地
随着大模型和智能体应用到产业一线，业界发现，计算、网络、存储等底层基础设施也需要适应新局面，解决新挑战。
最典型的一点是，当下产业端的大模型应用实践需要打造更开放的基础设施平台，例如支持**多云、多芯、多活，能够承接多种模型，**从而满足复杂的应用场景和业务需求。
目前，多模态大模型的打造需要比之前多 10 倍甚至 100 倍的算力。全球企业都有一个共同的特点，就是基于异构算力来完成模型的训练、调用和推理，解决普遍面临的算力短缺问题，并提高性价比。
除了计算，在存储方面，模型训练高峰时段可能在数十秒内就要处理 TB 级别的存储数据，而传统应用中，这些海量小文件的处理任务可以分散在几个月的时间跨度里完成。这使得存储产品必须向着更高吞吐量、更高 IOPS、更高带宽和更低延迟的方向进化。“同样的 GPU 算力规模下，存储性能的高低可能带来模型训练周期 3 倍的差异。”曹鹏在演讲中提到。
在 Scaling law 之下，超大规模集群对硬件之间的网络效率提出了新的挑战。不久前，马斯克高调披露已建成 10 万卡 H100 超级算力中心，业界对背后的网络架构——英伟达 Spectrum-X 也格外关注。毕竟，稳定、低延迟的网络关系到集群中的计算资源能否被充分利用。
这些动向都表明，基础设施关系到大模型的落地进程。而在这场系统战面前，厂商们需要构建更强大的 AI 底座，才能加速大模型在全场景落地。
京东云峰会上，披露了京东云 AI 底座的最新演进。例如，在高性能的存储方面，作为京东云自主研发的新一代存储产品云海，历经了 10 余年京东自身复杂场景的磨练，能够提供大模型超大量数据传输所需的极致性能。
峰会上，全面升级至 3.0 版本的京东云云海在吞吐量、带宽、延迟等性能上进一步提升，为大模型全面落地提供了更坚实的支撑。云海也与所有主流国产化平台兼容互认。
据悉，**目前京东云云海在建设银行等重量级金融机构的大模型训练中，提供了底层数据存储的支持。**同时，在上层应用方面，也通过数据要素的合作，帮助这些企业进行线上数字化转型。
在算力方面，京东打造了云舰 AI 算力云平台。它具备对多元异构算力资源的统一管理和调度能力，包括各类 CPU、GPU 和国产化 AI 加速芯片，支持多地域分布式算力的统一调度，提供高性价比的算力供给。
另外，**vGPU 池化方案通过 GPU 异构资源池化，能够将 AI 算力利用率提升 70%，**可有效降低算力成本。行业普遍存在算力焦虑，这也是京东云提供的一种解决方案。
此外，京东云大模型安全可信平台，涵盖超过 200 种特有的红蓝对抗攻击手法，覆盖监管合规要求的全部 31 类风险类型，风险分析准确率高达 95% 以上。
针对大模型企业今年以来的价格战，曹鹏提到，去年京东云峰会就提过要通过技术升级来降低成本，**要全网比价，对标主流云厂商的最低成交价再低 10%。**目前，京东云有超过 100 个产品规格通过比价售卖，并设立了 10 亿比价金，将技术带来的红利回馈给开发者群体。
总而言之，在 2024 京东云峰会上，京东通过发布从基础设施、模型服务到智能体应用的全栈产品，正加速与产业的融合，从而让更多企业的大模型落地，通过业务跑出来。
