由香港中文大学团队撰写的语音语言模型综述论文《Recent Advances in Speech Language Models: A Survey》已成功被 ACL 2025 主会议接收！这是该领域首个全面系统的综述，对语音 AI 的未来发展具有重要指导意义。
ArXiv链接：https://arxiv.org/abs/2410.03751
GitHub链接：https://github.com/dreamtheater123/Awesome-SpeechLM-Survey
为什么语音大模型是 AI 的下一个风口？
如果 AI 能够像人类一样自然地进行语音对话，不再依赖传统的「语音转文字（ASR）- 文本大模型处理（LLM）- 文字转语音（TTS）」的繁琐流程，而是直接理解和生成语音，这将彻底改变用户体验。这种模型被称为语音大模型（语音语言模型，SpeechLM），其核心目标是实现端到端的语音处理。
传统的语音交互系统存在三大痛点：信息丢失、延迟严重、错误累积。当语音转换为文字时，音调、语气、情感等副语言信息被完全丢弃；多个模块的串联导致响应延迟明显；每个环节的错误会层层累积，最终影响整体效果。
SpeechLM 的出现彻底改变了这一局面。它能够直接处理语音信号，既保留了语音中的丰富信息，又大幅降低了延迟，为实现自然的人机语音交互提供了可能。
技术架构：三大核心组件构建语音智能
该论文详细剖析了 SpeechLM 的技术架构，揭示了其由三个关键组件构成：语音分词器、语言模型和声码器。
- 语音分词器（Speech Tokenizer）负责将连续的音频信号转换为离散或连续的 token 表示。根据不同的建模目标，它可以分为语义理解型、声学生成型和混合型三类。语义理解型侧重于提取语音的语义内容，声学生成型则重点保留音频的声学特征，混合型则试图兼顾两者的优点。
- 语言模型（Language Model）是整个系统的核心，主要采用基于 Transformer 的自回归架构。通过扩展词汇表，模型可以同时处理文本和语音 token，实现真正的多模态建模能力。
- 声码器（Token-to-wav Synthesizer，Vocoder）将语言模型生成的 token 转换回可听的音频波形，完成从抽象表示到具体语音的最终转换。
训练策略：从预训练到指令微调的完整流程
训练一个高质量的 SpeechLM 需要精心设计的训练策略。论文详细梳理了当前主流的训练方法，包括三个关键阶段：预训练、指令微调和后对齐。
预训练阶段是基础，可以选择冷启动或继续预训练两种方式。冷启动从零开始训练，而继续预训练则基于已有的文本语言模型进行适配，通常能获得更好的效果。关键是有效对齐文本和语音的表示空间，使模型能够充分利用两种模态的共同信息与互补信息。
指令微调阶段使模型能够遵循各种指令执行不同任务。研究者通过构建大规模的指令跟随数据集，使 SpeechLM 能够处理多样化的语音任务，增强了其实际应用能力。
后对齐阶段则通过人类反馈强化学习等技术，进一步优化模型的输出质量和安全性，确保生成的语音既自然又符合人类偏好。
交互范式：实现真正自然的语音对话
语音交互的未来不仅在于理解和生成，更在于如何实现真正自然的对话体验。传统语音交互采用「你说完我再说」的模式，但真实对话中人们经常打断对方或同时说话。为使 AI 具备这种自然对话能力，研究者正在开发具有实时交互能力的 SpeechLM。
全双工建模技术是实现这一目标的关键。它包括两个核心特性：用户中断能力和同时响应能力。通过流式处理和全双工架构，SpeechLM 能够支持双向同时通信，使对话更加自然流畅。
应用场景：重新定义人机交互的边界
SpeechLM 的应用潜力巨大。在语义相关应用方面，它能够进行自然的语音对话、语音翻译、自动语音识别、关键词检测等多种任务。更重要的是，这些任务可以在统一的框架下完成，无需为每个任务单独训练模型，大大提高了效率。
在说话人相关应用中，SpeechLM 展现了强大的说话人识别、验证和分离能力，甚至可以根据指令生成特定音色的语音。这为个性化语音助手和多人对话系统的发展提供了新的可能性。
最令人兴奋的是副语言学应用，SpeechLM 能够理解和生成带有特定情感、语调和风格的语音。它不仅能识别说话者的情绪状态，还能根据指令生成相应情感色彩的语音回应，使对话更加生动自然。
评估体系：多维度衡量模型性能
科学评估 SpeechLM 的性能是确保其可靠性和有效性的重要步骤。论文系统梳理了当前的评估方法，分为自动评估和人工评估两大类。
自动评估涵盖了多个维度，如表示质量、语言学能力、副语言学特征、生成质量和多样性、实时交互能力以及下游任务性能。每个维度都有相应的指标和基准测试，为模型比较提供了客观标准。
人工评估则主要通过平均意见分数（MOS）等主观指标，从人类感知的角度评估语音的自然度、韵律质量和音色相似度等特征。
挑战与未来：通往通用语音智能的道路
尽管 SpeechLM 取得了显著进展，但仍面临诸多挑战。其中包括组件选择的最优化、端到端训练、实时语音生成、安全风险防控以及稀有语言支持等问题，这些都需要进一步研究和解决。
特别值得关注的是安全性问题。SpeechLM 可能生成有害内容或泄露隐私信息，建立有效的安全防护机制是当前的迫切任务。同时，如何让 SpeechLM 更好地服务于资源稀缺的语言和方言，也是推动技术普惠的重要方向。
结语：开启语音 AI 的新纪元
这篇即将在 ACL 2025 主会议上发表的综述论文，不仅是对 SpeechLM 领域的全面梳理，更是对未来发展方向的深入思考。我们相信，随着技术的不断进步，SpeechLM 将彻底改变人机交互的方式，开启语音 AI 的新纪元。
让我们共同期待这个激动人心的未来，届时 AI 将不仅能够听懂我们说什么，更能理解我们怎么说，并以同样自然的方式与我们对话。这不仅是技术的突破，更是人类与 AI 关系的根本性变革。
