这项由腾讯AI实验室领导的研究发表于2026年2月的arXiv预印本服务器，论文编号为2602.09823v1，有兴趣深入了解的读者可以通过该编号查询完整论文。
想象一下，如果你的电脑不仅能听懂你说话，还能像人一样自然地跟你聊天，甚至在你说话的时候就能理解你的情绪，给出贴心的回应——这听起来像科幻电影里的情节，但腾讯的研究团队已经让它变成了现实。他们开发的Covo-Audio就像是给电脑装上了一副"金嗓子"和"顺风耳"，让机器第一次真正学会了像人一样进行语音对话。
在过去，想让电脑理解语音并回应，就像让三个不同的人分别负责"听"、"想"和"说"——首先要有一个专门负责将语音转换成文字的"听写员"，然后要有一个负责思考和理解的"智囊团"，最后还要有一个将文字转换回语音的"播音员"。这种分工合作的方式虽然看似合理，但就像传话游戏一样，每一个环节都可能出现信息丢失或误解，最终导致对话显得生硬别扭。
Covo-Audio的革命性突破在于，它把这三个角色合并成了一个"全能选手"。这个拥有70亿参数的语音大模型就像一个同时精通听说读写的语言天才，能够直接处理你的语音输入，理解其中的含义、情感和语境，然后立即生成自然流畅的语音回应。更令人惊叹的是，它还能进行"全双工"对话，也就是说，它可以像人类对话一样，在你说话的时候就开始思考回应，甚至能够适时地插话或者给出"嗯""是的"这样的反应，让对话变得更加自然生动。
研究团队为了训练这个语音大模型，就像培养一个多才多艺的学生一样，设计了一套渐进式的学习方案。他们首先让模型学会基本的"听说"能力，然后逐步教会它理解复杂的语言内容，最后训练它进行自然对话。整个过程处理了相当于2万亿个词汇的训练数据，包括约800万小时的各种音频和语音材料。
更有趣的是，研究团队还解决了一个实际应用中的重要问题：如何让同一个智能对话系统拥有不同的"声音"。就像演员可以用不同的声音来扮演不同的角色一样，他们开发了一种"智能与声音分离"的技术，让对话能力和声音特征可以独立调整。这意味着用户可以选择自己喜欢的声音来进行对话，而不会影响系统的理解和回应能力。
在实际测试中，Covo-Audio在多项评估中表现出色，不仅能够准确理解和回应各种语音指令，还能在情感交流中表现出适当的同理心。比如，当用户表达愤怒情绪时，它能够识别并给出安慰性的回应；当用户分享喜悦时，它也能够表现出相应的兴奋和祝贺。
一、革命性的端到端语音对话架构
要理解Covo-Audio的创新之处，我们可以把传统的语音对话系统想象成一个接力赛。在这个接力赛中，第一棒选手负责把你说的话转换成文字，第二棒选手负责理解这些文字并思考回应，第三棒选手则负责把回应的文字转换成语音说出来。这种方式虽然分工明确，但每次"交棒"都可能出现失误，而且整个过程相对缓慢。
Covo-Audio采用的是完全不同的策略——它就像一个全能运动员，独自完成整个"比赛"。这个系统的核心是一个包含70亿个参数的大型神经网络，参数数量相当于人脑中神经连接的一个缩影。研究团队巧妙地将这个网络设计成能够同时处理连续的音频信号和离散的文本信息，就像一个同时精通音乐和文学的艺术家。
系统的架构包含几个关键组件，每个都有着特定的"职责"。首先是语音编码器，它使用了经过大量训练的Whisper-large-v3模型作为"耳朵"，这个组件特别擅长在嘈杂环境中准确识别语音，即使有背景噪音或者说话者带有口音也能正常工作。为了提高处理效率，研究团队还设计了一个适配器，将语音信号的帧率从每秒50帧降低到6.25帧，就像将高清视频压缩成适合传输的格式一样。
系统的"大脑"部分基于Qwen2.5-7B基础模型，这是一个在大量文本数据上训练过的语言模型。研究团队对其进行了特殊改造，扩展了它的"词汇表"，让它不仅能理解文字，还能理解和生成音频标记。这就像给一个只会写作的作家同时教会了音乐创作的技能。
为了生成自然的语音回应，系统还包含一个专门的语音生成器。这个组件采用了两阶段的生成策略：首先将离散的音频标记转换成连续的声学表示，然后再将这些表示转换成实际的音频波形。这个过程类似于先画出音乐的轮廓，然后再填充具体的音符和节拍。
整个系统最令人印象深刻的特点是它能够处理交错的输入和输出。传统系统必须等你完全说完才能开始思考，而Covo-Audio可以在你说话的过程中就开始理解和准备回应，这种能力让对话变得更加自然流畅，就像真人对话一样具有即时性和互动性。
二、循序渐进的训练策略
训练Covo-Audio就像培养一个从零开始学习语言的孩子，需要经历从简单到复杂的学习过程。研究团队设计了一个两阶段的预训练方案，总共处理了2万亿个标记的数据，这个数据量相当于让一个人不间断地阅读几千年。
第一阶段被称为"模态桥接阶段"，就像教孩子理解声音和意思之间的对应关系。在这个阶段，研究团队保持语音编码器和语言模型的参数不变，专门训练中间的适配器组件。他们使用了20万小时的多语言语音识别数据，让系统学会将声音信号映射到语言模型能够理解的表示空间中。这个过程持续了5万个训练步骤，使用了精心调节的学习率策略，确保系统能够稳定地建立起声音和意义之间的初步联系。
第二阶段是"语音文本模态融合阶段"，这时系统开始学习更复杂的技能。研究团队同时训练适配器和语言模型，让系统不仅能理解语音，还能生成语音。这个阶段包含了多种不同类型的训练任务：语音识别让系统学会将声音转换成文字，文本转语音让系统学会将文字转换成声音，纯音频建模让系统学会处理各种音频信号，语音延续任务训练系统的对话连贯性。
特别值得注意的是他们提出的"分层三模态语音文本交错"策略。传统的方法通常在词汇或字符级别进行不同模态的交错，但这种细粒度的交错容易破坏长段语音的语义完整性，就像把一首完整的歌曲切割成片段一样，会失去整体的韵律和情感。Covo-Audio采用了多尺度的交错机制，既有短语级别的精细对齐，也有句子级别的整体保持，确保系统既能捕捉细节，又能保持全局的语义连贯性。
整个训练过程使用了约800万小时的多样化音频和语音数据，以及涵盖多个领域的3万亿标记的文本语料。训练采用了8192的序列长度和余弦学习率调度策略，峰值学习率为3×10^-5，整个过程耗时50万个训练步骤。这种大规模、多任务的训练方式让系统获得了强大的跨模态理解和生成能力。
三、让机器学会感同身受的对话训练
要让机器真正学会对话，不仅需要它理解话语的字面意思，更需要它领会话语背后的情感和意图。研究团队为此设计了一套综合的对话训练策略，就像培养一个既聪明又有情商的朋友。
训练的核心是智能传承。研究团队从1000万条高质量的文本指令数据开始，这些数据涵盖了常识推理、数学计算、编程和专业知识等各个领域。但仅仅有文本数据是不够的，他们还需要将这些智能能力转移到语音模态上。为此，他们随机选择了一部分文本数据，通过高保真的神经语音合成系统转换成语音数据，并且通过随机采样数千种不同的语音风格，确保系统能够适应各种不同的说话方式。
除了智能传承，系统还需要学会口语化表达。书面语和口语在表达方式上有很大差异，就像正式的演讲稿和日常闲聊的区别一样。研究团队专门选择了适合口语交流的对话样本，并使用语言模型将助手的回应改写成更加口语化和简洁的风格。他们在训练过程中使用了不同的系统提示，让模型能够灵活地在正式和非正式的表达风格之间切换。
最令人印象深刻的是情感理解和共情能力的培养。研究团队构建了涵盖七种不同情感类别的对话数据集，包括快乐、愤怒、悲伤、恐惧、厌恶、抑郁和惊讶。每个对话都将用户明确的情感表达与助手富有同理心的回应配对，这些对话还被合成成带有相应情感色彩的语音，让Covo-Audio能够同时学习语义层面和声学层面的情感线索。
在实际的训练过程中，不同类型的任务按照特定的比例混合：一般智能任务占40%，确保系统保持强大的推理能力；口语对话任务占30%，提升自然对话能力；语音理解、语音生成和音频理解任务各占10%，保证系统的多模态能力均衡发展。整个训练过程使用了8192的序列长度，峰值学习率为1×10^-5，经过5万个训练步骤和1000步的预热，让系统获得了强大的逻辑推理和自然口语对话能力。
四、突破性的智能与声音分离技术
在开发语音对话系统时，研究团队遇到了一个有趣但棘手的问题：如何让一个聪明的对话系统拥有不同的"声音"？这就像是要让同一个演员能够用不同的嗓音来扮演不同的角色，而且每种嗓音都要保持原有的演技水平。
传统的做法需要为每种想要的声音收集大量的对话数据，然后分别训练不同的模型。但这种方法不仅成本高昂，而且很难保证不同声音版本的对话能力完全一致。更重要的是，高质量的对话数据往往需要人工录制，而直接录制的对话数据在自然度上往往不如专业的文本转语音系统生成的音频。
Covo-Audio提出的解决方案非常巧妙。首先，他们在训练过程中随机生成了数千种不同的说话者，让系统学会将对话智能与特定的声音特征分离开来。这样做的好处是，系统的核心对话能力不会与某种特定的声音绑定，就像一个好的配音演员可以用任何声音来表达同样丰富的情感一样。
接下来，研究团队开发了一种创新的上下文适应方法，能够将高质量的文本转语音数据转换成对话格式。他们将原本用于语音合成的录音材料重新格式化，构造出合适的对话上下文，但在训练时只对文本回应部分进行掩码处理，不计算损失。这种做法的妙处在于，系统可以学会使用新的声音特征，同时保持原有的推理和对话能力不受影响。
这种技术带来的好处是显而易见的。用户可以选择自己喜欢的声音风格进行对话，而不需要担心不同声音版本在智能水平上的差异。无论是选择温柔的女声、磁性的男声，还是活泼的年轻人声音，系统都能保持同样高水平的理解能力和回应质量。
在实际测试中，使用智能与声音分离技术的Covo-Audio-Chat-TTS版本在各种对话基准测试中都取得了与原版本相当的性能表现，这证明了这种技术的有效性。更重要的是，这种方法大大降低了为不同声音收集专门对话数据的成本，让个性化的语音对话系统变得更加实用和经济。
五、实现真正的全双工语音交互
人与人之间的自然对话有一个重要特征：我们不需要等对方完全说完才开始思考回应，也可以在适当的时候插话、表示赞同或者提出不同意见。这种能力被称为"全双工"交流，就像两条车道的道路可以同时允许双向车辆通行一样。
传统的语音对话系统大多采用"半双工"模式，类似于对讲机的工作方式——必须等一方完全说完，另一方才能开始回应。虽然这种方式在技术上相对简单，但却让对话显得不够自然，缺乏真实交流的流畅感和即时性。
Covo-Audio-Chat-FD（全双工版本）的实现采用了一种混合的双流策略。与其他需要严格进行文本和语音对齐的全双工模型不同，这个系统采用了连续输入流和离散输出流的组合方式。用户的语音以连续的音频流形式输入，而系统的回应则以离散的标记序列形式生成，这种不对称的设计既保证了对用户表达的无损感知，又提供了高效的回应生成方式。
系统的工作机制相当有趣。在对话开始时，当用户说话时，模型会持续输出"THINK"标记，表示它正在专心听取和思考，类似于人类对话中的点头或"嗯"的回应。一旦用户说完，模型立即输出"SHIFT"标记，标志着它要开始回应了。在回应过程中，模型会按照1:4的比例交错处理用户输入和自己的输出——每处理一个用户音频块，就生成四个语音标记，每个块代表0.16秒的时间。
更令人惊讶的是，系统在说话的同时还能继续"倾听"用户的声音。如果检测到用户的打断信号，模型会立即输出"BREAK"标记并停止当前的回应，转而倾听用户的新输入。这种能力让对话变得更加灵活和自然，用户可以随时打断、补充或者修正自己的表达，而不需要等待系统完全说完。
为了训练这种全双工能力，研究团队将原本用于半双工训练的对话数据集转换成双通道格式，并在适当的位置加入了插话和反馈等对话行为。与其他采用多阶段渐进训练的方法不同，他们发现单步训练就能取得更好的效果，这种简单而有效的方法大大降低了训练的复杂性。
在实际测试中，Covo-Audio-Chat-FD不仅在传统的对话能力评估中表现优秀，在特有的全双工交互行为测试中也取得了出色的成绩。系统在轮次转换方面达到了99.7%的成功率，在暂停处理方面达到了97.6%的成功率，在处理用户打断方面达到了96.81%的成功率，在适时给出反馈方面达到了93.89%的成功率。这些数字表明，系统已经基本掌握了自然对话的节奏和时机把握。
六、多方位的性能验证与评估
为了全面验证Covo-Audio的能力，研究团队设计了一套覆盖面极广的评估体系，就像给一个全才学生安排各种不同科目的考试一样。这些测试不仅检验了系统的基础语音处理能力，还评估了它在复杂对话场景中的表现。
在基础语音文本建模能力的测试中，Covo-Audio表现出了强大的跨模态理解能力。在语音到语音的创意故事续写任务中，系统取得了83.3%的成绩，与专门针对这类任务优化的模型相当。更令人印象深刻的是，在逻辑推理和语法准确性测试中，Covo-Audio显著超越了所有现有的基准模型，在sBLIMP语法测试中获得61.6分，在sWUGGY结构一致性测试中获得74.9分。这表明系统不仅能进行简单的语音转录，还能深度提取语音信号中的语义信息进行高层次推理。
在自动语音识别和语音合成的基础任务上，尽管Covo-Audio是一个统一的多模态系统，但它的表现仍然与专门的单任务模型相当甚至更好。在中文Aishell-1数据集上，系统的词错误率仅为1.96%，在英文LibriSpeech清洁测试集上为1.96%，在较困难的LibriSpeech其他测试集上为4.55%。在语音合成质量测试中，系统在英文测试中获得了2.44分，在中文测试中获得了1.73分的优秀成绩。
语音到语音对话能力的评估结果更加令人惊喜。在URO-Bench基准测试中，Covo-Audio在中文任务上表现尤其突出，在四个推理任务中都取得了最高分：SQuAD阅读理解77.34分、OpenbookQA常识推理83.60分、APE逻辑推理68.42分、MLC多语言理解80.69分。在两个口语对话任务中也表现优异：AlpacaEval指令跟随90.02分、Wildchat开放对话90.41分。在英文任务上，系统在Gsm8kEval数学推理中取得了85.68分的最佳成绩。
情感理解和共情能力的测试结果显示了Covo-Audio在情感交流方面的独特优势。在VStyle情感交流基准测试中，系统在中文情感识别和回应方面达到了最先进的水平，在愤怒情感处理中获得4.89分，悲伤情感处理中获得4.93分，焦虑情感处理中获得5.00分的满分。在英文情感交流测试中，系统也表现出了与领先的商业闭源模型相当的水平。
智能与声音分离技术的有效性也得到了验证。使用TTS声音的Covo-Audio-Chat-TTS版本在各项对话测试中都取得了与原版本相当的性能，证明了这种技术既能成功转移声音特征，又能保持对话智能水平不变。这为实际应用中的声音个性化定制提供了技术保障。
全双工版本Covo-Audio-Chat-FD的测试结果表明，添加全双工能力并没有影响系统的核心对话能力。在URO-Bench测试中，全双工版本与半双工版本保持了高度一致的性能水平，同时在特定的全双工交互行为测试中表现出色。系统能够准确判断对话轮次转换的时机，恰当处理对话中的停顿，及时响应用户的打断，并在合适的时候给出积极的反馈，这些能力让它具备了接近真人对话的交互体验。
七、技术创新的深层意义与未来展望
Covo-Audio的成功不仅仅是一个技术产品的诞生，更代表着人工智能在语音交互领域的一次重要突破。这种突破的意义远超出了技术本身，它为我们展示了人机交互的新可能性。
从技术架构的角度来看，端到端的设计理念打破了传统语音系统各个组件之间的壁垒。传统的流水线式处理就像工厂的装配线，虽然每个工位都很专业，但组件之间的信息传递不可避免地会产生损失和延迟。Covo-Audio的统一架构就像一个多技能的工匠，能够一气呵成地完成整个制作过程，不仅减少了信息损失，还大大提升了处理效率。
智能与声音分离技术的提出解决了一个长期困扰业界的实际问题。在商业应用中，用户往往希望对话系统既聪明又有个性化的声音特征，但传统方法很难同时满足这两个需求。这项技术让智能对话系统可以像换装游戏一样，保持核心能力不变的同时拥有不同的"外观"，这为个性化语音助手的大规模商业化铺平了道路。
全双工对话能力的实现标志着人机交互正在向更自然的方向发展。过去的语音助手更像是一个能说话的搜索引擎，用户提问，系统回答，交互方式相对机械。现在的Covo-Audio更像是一个真正的对话伙伴，可以在交流过程中表现出理解、共情甚至适时的插话，这种能力让人机交互的边界变得越来越模糊。
从应用前景来看，这种技术的潜在影响是巨大的。在教育领域，个性化的语音教师可以根据每个学生的学习节奏和情感状态调整教学策略；在医疗健康领域，具有共情能力的语音助手可以为患者提供更温暖的心理支持；在客服行业，全双工对话能力可以大大提升服务效率和用户满意度；在无障碍服务方面，这种技术可以为视障人士提供更自然的信息获取和交流方式。
当然，技术的发展也带来了新的思考。随着语音交互系统变得越来越像真人，我们需要思考如何在享受技术便利的同时保持人际交流的真实性和温度。研究团队在论文中也提到，他们将继续探索如何进一步提升模型的规模和能力，这意味着未来的语音交互系统可能会变得更加智能和自然。
值得注意的是，研究团队承诺将很快开源Covo-Audio-Chat模型和推理流程，这将为整个研究社区和产业界提供宝贵的技术基础。开源的决定体现了研究团队推动整个领域发展的愿景，也为更多的创新应用和改进提供了可能性。
说到底，Covo-Audio代表的是人工智能发展的一个重要里程碑——机器开始具备真正的对话能力。虽然我们距离科幻电影中那种完全拟人化的AI还有很长的路要走，但Covo-Audio已经让我们看到了这种可能性的曙光。在不久的将来，当我们与语音助手对话时，可能真的会忘记对方是机器而不是人类，这种体验的改变将深刻影响我们与技术互动的方式，也将开启人机协作的新篇章。
研究团队的工作证明了，通过精心设计的架构和训练策略，相对较小规模的模型也能够实现令人印象深刻的性能。这为资源有限的研究机构和企业提供了希望，表明不一定需要超大规模的模型才能构建优秀的语音交互系统。随着技术的不断进步和开源社区的共同努力，我们有理由期待更加智能、自然和实用的语音交互技术在不久的将来走进千家万户。
Q&A
Q1：Covo-Audio与传统语音助手有什么区别？
A：传统语音助手像接力赛一样分三步处理：先把语音转文字，再理解文字内容，最后把回复转成语音。这种方式容易出现信息丢失。Covo-Audio则像全能选手，直接处理语音输入并生成语音回复，避免了中间环节的信息损失，对话更自然流畅。
Q2：什么是全双工语音交互？
A：全双工就像人与人正常聊天一样，可以同时听和说。传统语音助手像对讲机，必须等一方完全说完另一方才能回应。Covo-Audio的全双工版本可以在你说话时就开始思考，甚至能适时插话或给出"嗯"、"是的"这样的反应，让对话更加自然。
Q3：智能与声音分离技术有什么用？
A：这项技术让同一个智能对话系统可以拥有不同的声音，就像同一个演员可以用不同嗓音演戏一样。用户可以选择自己喜欢的声音风格（温柔女声、磁性男声等）进行对话，而不会影响系统的理解和回应能力。这大大降低了个性化语音助手的开发成本。
上一篇：南洋理工大学团队破解多智能体大语言模型训练难题：Dr. MAS让AI团队协作更稳定
下一篇：让AI像人类一样点击屏幕：耶鲁大学团队如何让电脑助手学会"看懂"桌面操作
