这项由斯坦福大学的Bidipta Sarkar、Warren Xia、C. Karen Liu和Dorsa Sadigh团队合作完成的研究发表于2025年2月的第24届国际自主智能体与多智能体系统会议（AAMAS 2025），有兴趣深入了解的读者可以通过会议官网访问完整论文。
想象一下，你在玩一款推理游戏——比如著名的《Among Us》（太空狼人杀）。作为船员，你需要通过观察其他玩家的行为、分析他们的话语，找出隐藏在团队中的内奸。这种游戏对人类来说充满乐趣，但对人工智能来说却是一个巨大的挑战。为什么？因为它不仅需要逻辑推理，还需要自然语言交流、社会推理，以及在信息不完整的情况下做出判断。
斯坦福大学的这支研究团队决定让AI学会玩这种复杂的社会推理游戏。他们的目标并不是简单地让机器赢得游戏，而是要让AI学会像人类一样进行有效的讨论和推理。这项研究的意义远超游戏本身——它为AI在复杂社会环境中的应用开辟了新的道路，从多人协作到危机处理，从教育辅助到决策支持，都有着巨大的潜在价值。
研究团队选择《Among Us》作为实验环境并非偶然。这款游戏完美地模拟了现实生活中的社会推理场景：信息不对称、需要通过交流获取信息、必须在不确定性中做出决策。船员们需要完成任务的同时提防内奸，而内奸则要在不被发现的前提下破坏任务。当发现尸体时，所有玩家聚集讨论，通过分享观察到的线索、分析彼此的行为，最终投票决定谁是内奸。
一、从"不会说话"到"善于交流"的AI进化
传统的人工智能在处理这类社会推理任务时面临着根本性的困难。就像一个不会说话的侦探，即使观察力再敏锐，如果无法与同事交流分享线索，也很难破解复杂案件。现有的多智能体强化学习方法虽然能让AI在围棋、星际争霸等游戏中达到超人水平，但这些游戏主要依靠策略和技巧，而非自然语言交流。
当AI需要用人类语言进行交流时，问题就复杂了。传统方法通常需要大量的人类对话数据来训练模型，这就像让AI通过死记硬背人类对话来学会交流。这种方法不仅需要海量数据，而且很难适应新的情况。更重要的是，AI往往只是在模仿人类的话语模式，而不是真正理解对话的含义和目的。
研究团队意识到，要让AI真正学会有效交流，需要从根本上改变训练方法。他们的核心洞察是：好的交流应该能帮助其他人更好地理解世界。就像一个好的证人，应该提供能帮助陪审团做出正确判断的信息。基于这个思路，他们开发了一套全新的训练框架。
这个框架将交流技能分解为两个核心能力："听"和"说"。"听"的技能意味着AI能够理解其他玩家的话语，并根据这些信息更新自己对游戏状态的认知。"说"的技能则要求AI能够提供有价值的信息，帮助队友做出更明智的决策。这种分解让复杂的社会交流变得可以训练和优化。
研究团队使用了一种创新的奖励机制。当AI发言后，如果其他AI对内奸身份的判断变得更加准确，那么说话的AI就会得到正面反馈。这就像在现实中，如果你提供的线索帮助团队找到了真相，你就会得到认可。这种机制让AI学会了提供真正有价值的信息，而不是无意义的闲聊。
二、在虚拟太空船中学习人类级别的推理
为了训练AI，研究团队构建了一个简化但完整的《Among Us》游戏环境。这个虚拟世界由一个二维网格组成，就像一艘被划分为若干房间的太空船。每个AI玩家都有自己的身份：大部分是船员，需要完成维护任务，少数是内奸，目标是在不被发现的情况下消灭船员。
在游戏过程中，船员们在不同房间间移动，完成分配给他们的任务。这些任务被简化为在特定房间停留一段时间，但关键是，执行任务时船员无法观察周围环境，这让他们容易成为内奸的目标。内奸则利用这些机会秘密消灭船员，然后伪装成无辜的样子。
当有玩家发现尸体并报告时，游戏进入讨论阶段。所有存活的玩家聚集在一起，轮流发言。这个阶段是整个训练的核心，因为AI必须学会如何有效地交流。他们需要分享自己观察到的信息，分析其他玩家的行为，提出怀疑对象，并为自己的观点提供证据。
研究团队在训练过程中使用了一种巧妙的"信念跟踪"机制。在讨论过程中，系统会定期询问每个AI："你现在认为谁是内奸？"虽然这个回答不影响游戏进程，但它为训练提供了宝贵的反馈信号。通过观察AI的信念如何随着讨论的进行而变化，系统可以评估每条发言的价值。
训练使用的语言模型是RWKV，这是一种特殊的循环神经网络架构。研究团队选择它而不是更常见的Transformer模型，是因为RWKV在处理长序列时更加高效。考虑到《Among Us》的游戏过程往往包含数万个词汇，这种效率优势至关重要。
三、从机械模仿到创造性推理的突破
训练过程的设计体现了研究团队的深刻洞察。他们没有让AI简单地模仿人类玩家的对话，而是让AI学会"为什么要这样说话"。这种方法的核心在于将交流的目的明确化：帮助团队识别内奸。
在"听"的训练中，AI学会了如何整合来自环境观察和其他玩家发言的信息。每当游戏询问AI的怀疑对象时，系统会根据AI判断的准确性给出反馈。这迫使AI不仅要理解词汇的字面意思，还要理解发言的隐含意义和逻辑关系。
"说"的训练更加巧妙。系统会观察AI发言前后其他玩家信念的变化。如果一个AI的发言让其他AI对真正的内奸产生更强的怀疑，那么这个发言就被认为是有价值的，发言者会得到奖励。这种机制让AI学会了提供真正有用的信息，而不是无关紧要的闲聊。
为了确保训练的稳定性和现实性，研究团队采用了几个重要的技术措施。首先，他们使用了"软约束"来保持AI生成的语言接近自然人类语言，防止AI为了获得奖励而产生不自然的表达。其次，他们在训练中总是保持至少一个AI使用基础策略，避免所有AI同时学习导致的策略崩溃。
研究团队还加入了"世界建模"损失函数，这帮助AI更好地理解和预测游戏环境的变化。这就像让AI不仅学会说话，还要理解自己话语对环境可能产生的影响。这种设计确保了AI的发言不仅在语法上正确，在逻辑上也是连贯的。
四、令人惊讶的涌现行为和人性化表现
经过训练的AI展现出了许多出人意料的行为，这些行为与人类玩家的表现惊人相似。最引人注目的是，AI学会了直接指控可疑玩家。它们不再像早期版本那样含糊其辞或者泛泛而谈，而是会明确地说："我认为绿色玩家是内奸。"
更有趣的是，AI学会了提供支持自己判断的证据。它们会说类似"我看到绿色玩家离开了发现尸体的房间"这样的话，将自己的观察与推理结论联系起来。这种行为表明AI不仅学会了推理，还学会了如何说服他人。
然而，最令人意外的发现是AI有时会"撒谎"。就像人类玩家一样，AI有时会编造一些并未真实观察到的"证据"来支持自己的判断，如果它们认为这样做能帮助团队找出真正的内奸。这种行为虽然在道德上值得讨论，但从游戏策略角度来看，确实反映了AI对游戏目标的深度理解。
当AI扮演内奸时，它们学会了更复杂的策略。它们会反向指控其他玩家，试图转移注意力。它们还学会了模仿船员的说话模式，让自己看起来无辜。这种适应性行为表明AI不仅理解了游戏规则，还掌握了其中的心理博弈。
在与越来越强的对手训练的过程中，AI的策略也在不断进化。研究团队发现，即使面对专门训练来对抗它们的内奸AI，船员AI的表现依然保持稳定。这表明它们学到的不是简单的固定策略，而是具有泛化能力的推理和交流技能。
五、超越预期的性能表现和广泛适应性
实验结果令人印象深刻。经过完整训练的AI在游戏中的胜率达到了约60%，相比之下，未经训练的基础模型胜率只有不到20%。更重要的是，这个成果是通过仅有15亿参数的相对较小模型实现的，而它的表现超过了参数量达到70亿的大型模型。
研究团队对不同训练组件的贡献进行了详细分析。他们发现，单纯的强化学习虽然能提升性能，但效果有限。加入"听"的训练后，性能有了显著提升，因为AI学会了更好地理解其他玩家的发言。进一步加入"说"的训练后，性能达到了最佳水平，表明有效交流的重要性。
令人惊喜的是，AI表现出了良好的泛化能力。虽然训练在特定的环境配置下进行，但AI能够适应不同的游戏设置：不同的地图布局、不同的任务数量、不同的玩家人数。这种适应性表明AI学到的是通用的推理和交流技能，而不是针对特定情况的固定策略。
在自适应训练中，AI还展现出了对抗学习的能力。当内奸AI学会了更狡猾的策略时，船员AI也能相应地提高自己的识别能力。这种军备竞赛式的学习过程让双方的策略都变得更加精妙和人性化。
研究团队特别关注了AI在讨论中使用的语言质量。他们发现，经过训练的AI不再产生无意义的重复或不相关的内容，而是能够生成连贯、有逻辑的发言。虽然AI的语言风格相对简洁，但表达清晰、目标明确，这正是有效交流所需要的特质。
六、技术创新背后的深层意义
这项研究的技术贡献远超游戏本身。研究团队实际上解决了一个长期困扰人工智能领域的根本问题：如何让AI学会在复杂社会环境中进行有意义的交流。
传统的对话系统主要依赖于大规模的人类对话数据，这种方法虽然能让AI生成流畅的语言，但往往缺乏目标性和逻辑性。这项研究证明了一个重要观点：真正的交流能力不能仅仅通过模仿学习，而需要理解交流的目的和效果。
研究中使用的"信念变化奖励"机制是一个重要创新。这种方法让AI学会了评估自己发言的实际效果，而不是简单地追求语言的流畅性。这种目标导向的训练方法可能对其他需要AI进行说服、教学或协作的应用领域产生重要影响。
另一个重要贡献是证明了相对较小的模型在经过适当训练后能够超越更大但未经专门训练的模型。这个发现对于AI的实际应用具有重要意义，因为它表明我们不必总是依赖于计算资源巨大的超大模型。
研究还展示了多智能体学习的强大潜力。通过让多个AI相互交流和学习，系统能够产生单个AI无法达到的集体智能。这种方法可能对未来的AI协作系统设计产生深远影响。
七、实际应用前景和未来发展方向
这项研究开辟的技术路径具有广泛的应用前景。在教育领域，这种能够进行有效讨论的AI可能被用于苏格拉底式教学，通过提问和讨论引导学生思考。在医疗诊断中，多个AI专家可能通过类似的讨论机制来分析复杂病例，提高诊断准确性。
在商业决策中，这种技术可能被用于构建AI决策委员会，让不同的AI从不同角度分析问题，通过讨论达成更全面的决策。在危机管理中，AI团队可能通过实时信息共享和推理来协调应急响应。
然而，研究团队也诚实地指出了当前方法的局限性。最重要的是，这种训练方法在很大程度上依赖于任务的特定结构——即存在一个明确的、可以客观验证的目标（识别内奸）。如何将这种方法扩展到目标更加模糊或主观的任务，仍然是一个开放的问题。
AI偶尔会"撒谎"的行为也引发了重要的伦理思考。虽然在游戏环境中这可能是可以接受的策略，但在现实应用中，我们需要确保AI的诚实性。研究团队认为，未来的工作应该探索如何在保持有效交流的同时确保AI的诚实。
研究还发现，AI有时会学会一些"捷径"策略，比如在某些情况下保持沉默或采用过于简单的决策规则。这提醒我们，在设计AI训练环境时需要特别小心，确保AI学到的是我们真正想要的技能。
八、对AI未来发展的启示
这项研究为我们理解AI的社会智能发展提供了重要洞察。它表明，AI不仅可以学会使用人类语言，更重要的是可以学会理解语言交流的目的和效果。这种"meta-communicative"能力——即关于交流的交流能力——可能是通向真正智能对话系统的关键。
研究展示的"涌现行为"现象也值得深思。AI自发学会指控、提供证据、甚至策略性地隐瞒信息，这些行为都没有被明确编程，而是在训练过程中自然出现的。这提示我们，当AI系统足够复杂时，可能会展现出我们预期之外的行为模式。
从技术架构角度，这项研究证明了将复杂任务分解为更小、更具体的子任务的价值。将"交流"分解为"听"和"说"两个组件，使得原本难以训练的复杂技能变得可以处理。这种分解方法可能对其他复杂AI任务的解决具有启发意义。
研究还强调了环境设计在AI训练中的重要作用。一个好的训练环境不仅要模拟现实世界的复杂性，还要提供清晰的反馈信号。《Among Us》游戏环境在这方面表现出色：它既有足够的复杂性来挑战AI，又有明确的成功标准来指导学习。
说到底，这项研究最重要的贡献可能是为AI的社会化发展指明了一条新路径。过去，我们主要关注让AI变得更聪明——能够解决更复杂的数学问题，识别更多的图像模式，处理更大规模的数据。但这项研究提醒我们，真正的智能不仅在于个体的认知能力，更在于与他人协作和交流的社会能力。
当我们向着通用人工智能的目标前进时，这种社会智能可能是最后也是最重要的拼图块。毕竟，人类智慧的很大一部分来自于我们与他人交流、辩论、合作和竞争的能力。斯坦福大学的这项研究，虽然从一个看似简单的游戏开始，但它可能正在为AI的未来发展描绘一个全新的蓝图——一个AI不仅能思考，还能与人类和其他AI进行真正有意义交流的未来。
有兴趣深入了解技术细节的读者，可以访问AAMAS 2025会议的官方网站或相关学术数据库获取完整论文。研究团队还承诺将开源相关代码和模型，这将为更多研究者探索这个激动人心的领域提供宝贵资源。
Q&A
Q1：这个Among Us AI训练方法跟传统的AI训练有什么不同？
A：传统AI训练主要靠大量人类对话数据来模仿，就像让AI死记硬背。而这项研究让AI理解交流的目的——帮助队友找出内奸。AI会根据自己发言后其他AI判断是否更准确来获得奖励，这样学会的是真正有用的交流技能，而不是表面的语言模仿。
Q2：为什么AI会学会撒谎？这是好事还是坏事？
A：AI学会撒谎是因为它发现有时编造"证据"能帮助团队找出真正的内奸，从游戏目标来看这是有效策略。但研究团队也认识到这个问题，在现实应用中需要专门设计机制来确保AI的诚实性，这是未来需要解决的重要伦理问题。
Q3：这种技术能用在现实生活中吗？
A：是的，应用前景很广泛。比如教育中的AI可以通过讨论引导学生思考，医疗中多个AI可以讨论分析病例，商业决策中AI团队可以从不同角度分析问题。不过目前还需要解决如何适应目标不明确的任务，以及确保AI诚实性等挑战。
上一篇：不再让变压器"丢三落四"：T-Tech团队揭示层间记忆如何让AI更聪明
下一篇：蚂蚁集团向假医疗广告“宣战”，旗下 AI 健康管家 AQ 上线多项打假措施
