近日，字节跳动旗下豆包大模型团队发布了其最新思考模型Seed-Thinking-v1.5的技术细节，并宣布该模型将于4月17日通过火山引擎开放接口供用户体验。此举标志着字节跳动在大语言模型领域的技术实力进一步提升，也为开发者提供了更强大的工具。
Seed-Thinking-v1.5模型在多个基准测试中展现出了卓越的性能，体现了字节跳动在该领域的技术积累。具体表现如下：
- 数学推理：在AIME 2024竞赛中，Seed-Thinking-v1.5取得了86.7的高分，性能与OpenAI的o3-mini-high模型相当，展现了其强大的数学解题能力。
- 编程竞赛：在Codeforces平台上，该模型的通过率达到了55.0%，接近Gemini 2.5 Pro的水平，表明其在代码生成和理解方面具有较强的竞争力。
- 科学推理：在科学推理任务上，Seed-Thinking-v1.5的成绩为77.3%，同样接近业界领先模型，证明了其在处理复杂科学问题时的有效性。
- 通用任务：人类评估显示，该模型表现超过了DeepSeek R1达8%，能够更好地满足用户在各种不同场景下的需求，通用性更强。
Seed-Thinking-v1.5模型采用MoE（Mixture of Experts）架构，总参数量达到2000亿，但激活参数仅为200亿。这种设计方案使其在保持高性能的同时，大幅降低了推理成本。通过只激活部分参数，MoE架构能够更高效地利用计算资源。与DeepSeek R1相比，Seed-Thinking-v1.5模型的单位推理成本降低了50%，实现了性能与效率的平衡。这一进步对于大规模部署大模型应用至关重要，降低了运营成本，提高了商业化可行性。
为了提升模型的表现力，豆包大模型团队在数据处理策略上进行了创新。针对不同类型的数据，采取了不同的优化方法：
- 可验证数据（如数学和代码题目）：团队构建了百万级别的数据集，并实施了三重清洗流程，筛选出10万道高难度题目。并通过答案整数化改造和离线沙箱验证等机制，确保模型能够输出准确且可信的推理过程。这种方法能够有效地提高模型在精确推理方面的能力。
- 非可验证数据（如创意写作）：团队基于豆包1.5 Pro训练集，剔除低价值样本，并采用两两对比奖励法，优化生成质量。这种方法能使模型生成的内容更加贴合人类审美，更具有创造性。
此外，为了更准确地评估模型的性能，团队还构建了全新的评测基准，其中包括超难数学数据集BeyondAIME。该数据集包含100道无答案题干的题目，旨在解决现有测试区分度不足的问题。这种更具挑战性的评估方式不仅能够提升模型的评测准确性，也为后续的优化提供了更明确的方向。
在奖励模型方面，团队提出了双轨奖励机制，以兼顾“对错分明”与“见仁见智”的任务。对于可验证任务，团队开发了两代验证器，从字符匹配升级为推理步骤逐行对比，确保了模型输出的准确性。对于非可验证任务，团队则引入pairwise对比训练，通过大量“AB测试”捕捉人类对创意、情感等的隐性偏好，从而避免了“众口难调”的问题。这种双轨奖励机制有效地提升了模型的训练效率，使其在不同场景下都能产生更好的结果。
在训练方法上，Seed-Thinking-v1.5采用了“监督精调+强化学习”的双阶段优化策略。在监督精调阶段，团队基于40万高质量实例构建了长思考链数据集，并结合人工与模型协同筛选，确保模型能够“像人类一样思考”。在强化学习阶段，团队通过三重数据引擎、算法创新以及在线数据适配技术，解决了训练不稳定、长链推理断层等问题，使模型能够在动态调整数据分布的过程中保持最佳训练状态。这种训练方式能够有效地提高模型的推理能力和泛化能力。
最后，为了应对20B MoE（总参数200B）的复杂训练需求，团队对底层架构进行了优化。HybridFlow编程模型支持算法快速探索与分布式并行运行，流式推理系统（SRS）则通过“流式推理”技术解耦模型演进与异步推理，将训练速度提升了3倍。三层并行架构结合张量/专家/序列并行，动态均衡负载，基于KARP算法优化GPU算力利用率，为模型的高效训练提供了有力保障。这些优化不仅提高了训练效率，也为未来更大规模模型的研发奠定了基础。
